Dwarkesh Patel 的 Clocktower Bench 显示 GPT-6 Astra 在 AI 说谎与识谎游戏中排名第一
Patel 让模型对战了 386 局《血染钟楼》，花费约 2 万美元 API 额度；他称 Astra 对 Claude Opus 4.6 约 92% 的胜率，相当于约 430 Elo 差距，OpenAI 的优势主要体现在好人阵营。
为何重要
《血染钟楼》是一款社交推理游戏：邪恶阵营向必须找出恶魔的善良阵营撒谎，因此同时考验长程协作、虚张声势和证据权衡。Patel 用程序化说书人取代了真人说书人，并用 Bradley–Terry 拟合给 11 个模型评分；他称从 GPT-5.4 到 GPT-6 Astra，OpenAI 模型提升约 580 Elo，主要因为对单条证据更加怀疑。Opus 5.5 与 GPT-5.6 Sol 的小规模混编队测试并未优于任一方。接下来可关注 clocktowerbench.com 新增的模型。
要点
- 386 局，一个模型扮演全部好人、另一个扮演全部邪恶阵营
- Astra 对 Claude Opus 4.6 胜率约 92%，相差约 430 Elo
- 从 GPT-5.4 到 GPT-6 Astra，OpenAI 模型提升约 580 Elo
- 约花费 2 万美元 API 额度
- 共评级 11 个模型，1500 Elo 为其平均值
- Opus 5.5 / GPT-5.6 Sol 混编队额外打了 132 局，评分略低于成员平均