Clocktower Bench de Dwarkesh Patel sitúa a GPT-6 Astra al frente de los modelos de IA en un juego de mentira y detección
Patel jugó 386 partidas de Blood on the Clocktower entre modelos, con unos 20.000 dólares en créditos de API; informa de que Astra gana cerca del 92% frente a Claude Opus 4.6, unos 430 puntos Elo de diferencia, con la ventaja de OpenAI sobre todo en el bando bueno.
Por qué importa
Blood on the Clocktower es un juego de deducción social en el que un equipo malvado miente a un equipo bueno que debe encontrar a su Demonio, así que mide a la vez coordinación a largo plazo, farol y valoración de pruebas. Patel sustituyó al narrador humano por uno programático y calificó 11 modelos con un ajuste Bradley–Terry; dice que los modelos de OpenAI ganaron unos 580 Elo entre GPT-5.4 y GPT-6 Astra, sobre todo por tratar con más escepticismo cada prueba aislada. Una pequeña prueba de equipos mixtos de Opus 5.5 y GPT-5.6 Sol no mejoró a ninguno. Habrá que seguir los nuevos modelos que se añadan a clocktowerbench.com.
Datos clave
- 386 partidas con un modelo como todo el bando bueno y otro como todo el malvado
- Astra gana cerca del 92% frente a Claude Opus 4.6, unos 430 Elo de diferencia
- Los modelos de OpenAI ganaron unos 580 Elo entre GPT-5.4 y GPT-6 Astra
- Unos 20.000 dólares en créditos de API
- 11 modelos calificados; 1500 Elo es su media
- Equipos mixtos Opus 5.5 / GPT-5.6 Sol jugaron 132 partidas extra y quedaron algo por debajo de la media de sus miembros