TCSExam 是含 100 项任务的理论计算机科学基准，GPT-6 Astra 以 71.9 分居首
这篇 arXiv 论文作者包括姚期智，答案由 Lean 内核或可执行检查器验证；Opus 5.5 以 72.3 分领跑 20 项任务的 Lite 集，两个集合对 8 个共同智能体的排序几乎一致。
为何重要
TCSExam 试图衡量基于语言模型的智能体能否为理论计算机科学做出贡献，而不只是解答考试式题目。它涵盖定理证明、求解器工程和构造，并包含对公开猜想的直接尝试，答案由 Lean 内核或可执行检查器验证。GPT-6 Astra 在 100 项任务的完整集上得 71.9 分，Opus 5.5 以 72.3 分领跑 20 项任务的 Lite 集，两个集合对 8 个共同智能体的排序几乎一致（斯皮尔曼系数 0.93）。作者还报告评测产出了改进的求解器结果和数学构造。后续值得关注智能体是否开始解决公开猜想。
要点
- 2026 年 11 月 5 日提交至 arXiv（2611.07962）
- TCSExam-Full 含 100 项专家审核任务，TCSExam-Lite 含 20 项
- 答案由 Lean 内核或可执行任务检查器验证
- 完整集评测 8 个智能体，Lite 集评测 9 个
- GPT-6 Astra 以 71.9 分领先完整集；Opus 5.5 以 72.3 分领先 Lite 集
- 两个集合对 8 个共同智能体的排序一致（斯皮尔曼系数 0.93）