O Clocktower Bench de Dwarkesh Patel coloca o GPT-6 Astra no topo dos modelos de IA em um jogo de mentira e detecção
Patel fez os modelos jogarem 386 partidas de Blood on the Clocktower, gastando cerca de US$ 20.000 em créditos de API; ele relata que o Astra vence cerca de 92% das partidas contra o Claude Opus 4.6, uma diferença de cerca de 430 Elo, com a vantagem da OpenAI sobretudo no lado do bem.
Por que importa
Blood on the Clocktower é um jogo de dedução social em que uma equipe do mal mente para uma equipe do bem que precisa achar seu Demônio, testando ao mesmo tempo coordenação de longo prazo, blefe e peso das evidências. Patel substituiu o narrador humano por um programático e classificou 11 modelos com um ajuste Bradley–Terry; diz que os modelos da OpenAI ganharam cerca de 580 Elo entre o GPT-5.4 e o GPT-6 Astra, principalmente por tratar cada evidência isolada com mais ceticismo. Um pequeno teste de equipes mistas de Opus 5.5 e GPT-5.6 Sol não superou nenhum dos dois. Vale acompanhar novos modelos em clocktowerbench.com.
Fatos principais
- 386 partidas com um modelo como todo o lado bom e outro como todo o lado mau
- Astra vence cerca de 92% contra o Claude Opus 4.6, cerca de 430 Elo de diferença
- Modelos da OpenAI ganharam cerca de 580 Elo entre o GPT-5.4 e o GPT-6 Astra
- Cerca de US$ 20.000 em créditos de API
- 11 modelos classificados; 1500 Elo é a média
- Equipes mistas Opus 5.5 / GPT-5.6 Sol jogaram 132 partidas extras e ficaram um pouco abaixo da média de seus membros