Le Clocktower Bench de Dwarkesh Patel place GPT-6 Astra en tête des modèles d'IA dans un jeu de mensonge et de détection
Patel a fait jouer 386 parties de Blood on the Clocktower entre modèles pour environ 20 000 dollars de crédits d'API ; il indique qu'Astra gagne environ 92 % des parties contre Claude Opus 4.6, soit un écart d'environ 430 Elo, l'avance d'OpenAI venant surtout du camp des gentils.
Pourquoi c’est important
Blood on the Clocktower est un jeu de déduction sociale où une équipe maléfique ment à une équipe bonne qui doit trouver son Démon ; il teste donc ensemble la coordination à long terme, le bluff et la pondération des preuves. Patel a remplacé le conteur humain par un conteur programmatique et classé 11 modèles par un ajustement Bradley–Terry ; il dit que les modèles d'OpenAI ont gagné environ 580 Elo entre GPT-5.4 et GPT-6 Astra, surtout en traitant chaque indice avec plus de scepticisme. Un petit test d'équipes mixtes Opus 5.5 et GPT-5.6 Sol n'a fait mieux que ni l'un ni l'autre. À suivre : les nouveaux modèles ajoutés à clocktowerbench.com.
Faits clés
- 386 parties avec un modèle pour tout le camp bon et un autre pour tout le camp mauvais
- Astra gagne environ 92 % des parties contre Claude Opus 4.6, soit environ 430 Elo d'écart
- Les modèles d'OpenAI ont gagné environ 580 Elo entre GPT-5.4 et GPT-6 Astra
- Environ 20 000 dollars de crédits d'API dépensés
- 11 modèles classés ; 1500 Elo est leur moyenne
- Équipes mixtes Opus 5.5 / GPT-5.6 Sol : 132 parties de plus, un peu sous la moyenne de leurs membres