Dwarkesh PatelのClocktower Benchで、嘘と見破りのゲームを行うAIモデルの首位はGPT-6 Astra

Patelはモデル同士で「Blood on the Clocktower」を386ゲーム行い、API費用に約2万ドルを使った。AstraはClaude Opus 4.6に対し約92%の勝率(約430 Elo差)で、OpenAIの優位は主に善陣営側にあるという。
なぜ重要か
Blood on the Clocktowerは、悪の陣営が嘘をつき、善の陣営がデーモンを見つける社会的推理ゲームで、長期の協調、ブラフ、証拠の重み付けを同時に試す。Patelは人間のストーリーテラーをプログラム化したものに置き換え、Bradley–Terry適合で11モデルを評価した。GPT-5.4からGPT-6 Astraの間にOpenAIモデルは約580 Elo向上し、主に個々の証拠をより懐疑的に扱う点が理由だという。Opus 5.5とGPT-5.6 Solの混成チームの小規模試験は、どちらの単独チームも上回らなかった。clocktowerbench.comに追加される新モデルが注目点。
要点
- 一つのモデルが善陣営全員、別のモデルが悪陣営全員を担当する386ゲーム
- AstraはClaude Opus 4.6に約92%の勝率、約430 Elo差
- GPT-5.4からGPT-6 AstraでOpenAIモデルは約580 Elo向上
- API費用に約2万ドルを使用
- 11モデルを評価、1500 Eloがその平均
- Opus 5.5 / GPT-5.6 Sol混成チームは追加132ゲームを行い、メンバー平均をやや下回った