Dwarkesh Patels Clocktower Bench setzt GPT-6 Astra an die Spitze der KI-Modelle in einem Täuschungs- und Entlarvungsspiel
Patel ließ Modelle 386 Partien Blood on the Clocktower spielen und gab rund 20.000 Dollar an API-Guthaben aus; laut ihm gewinnt Astra etwa 92 % der Partien gegen Claude Opus 4.6, rund 430 Elo Abstand, wobei OpenAIs Vorsprung vor allem auf der guten Seite liegt.
Warum es wichtig ist
Blood on the Clocktower ist ein soziales Deduktionsspiel, in dem ein böses Team ein gutes Team belügt, das seinen Dämon finden muss; es prüft also Langzeitkoordination, Bluffen und Beweisabwägung zugleich. Patel ersetzte den menschlichen Erzähler durch einen programmatischen und bewertete 11 Modelle mit einem Bradley–Terry-Fit; seiner Aussage nach gewannen OpenAIs Modelle zwischen GPT-5.4 und GPT-6 Astra rund 580 Elo, vor allem weil sie einzelne Hinweise skeptischer behandeln. Ein kleiner Test gemischter Teams aus Opus 5.5 und GPT-5.6 Sol schnitt nicht besser ab als beide allein. Neue Modelle auf clocktowerbench.com sind der Punkt zum Beobachten.
Die wichtigsten Fakten
- 386 Partien mit einem Modell als gesamtem guten Team und einem anderen als gesamtem bösen Team
- Astra gewinnt etwa 92 % der Partien gegen Claude Opus 4.6, rund 430 Elo Abstand
- OpenAIs Modelle gewannen zwischen GPT-5.4 und GPT-6 Astra etwa 580 Elo
- Rund 20.000 Dollar API-Guthaben ausgegeben
- 11 Modelle bewertet; 1500 Elo ist ihr Durchschnitt
- Gemischte Teams aus Opus 5.5 / GPT-5.6 Sol spielten 132 weitere Partien und lagen etwas unter dem Durchschnitt ihrer Mitglieder