100タスクの理論計算機科学ベンチマークTCSExamで、GPT-6 Astraが71.9で首位
Andrew Chi-Chih Yao氏らによるこのarxiv論文は、回答をLeanカーネルまたは実行可能なチェッカーで検証しており、20タスクのLite版ではOpus 5.5が72.3でトップ、両セットは共通の8エージェントをほぼ同じ順に並べた。
なぜ重要か
TCSExamは、言語モデルのエージェントが試験形式の問題を解くだけでなく理論計算機科学に貢献できるかを測ろうとするものです。定理証明、ソルバー開発、構成に加え、未解決予想への直接的な挑戦も含み、回答はLeanカーネルまたは実行可能なチェッカーで検証されます。100タスクのFull版ではGPT-6 Astraが71.9、20タスクのLite版ではOpus 5.5が72.3でトップで、両セットは共通の8エージェントをほぼ同じ順に並べました(スピアマン0.93)。評価からソルバー出力や数学的構成の改善が得られたとも報告しています。エージェントが未解決予想を解き始めるかに注目です。
要点
- 2026年11月5日にarXivへ投稿(2611.07962)
- TCSExam-Fullは専門家が確認した100タスク、TCSExam-Liteは20タスク
- 回答はLeanカーネルまたは実行可能なタスクチェッカーで検証
- Fullで8エージェント、Liteで9エージェントを評価
- FullはGPT-6 Astraが71.9、LiteはOpus 5.5が72.3でトップ
- 共通の8エージェントでFullとLiteの順位が一致(スピアマン0.93)