FrontierPhysics基准:没有AI模型在168次研究任务运行中通过超过46次
42位物理学家编写了覆盖9个领域的56项任务;共测试22个模型的26种配置,任务集已公开。
为何重要
FrontierPhysics要求智能体完成端到端物理研究任务,而非测验式答题。据arXiv预印本,168次运行中没有模型通过超过46项。这表明现有智能体即便在短基准上表现好,仍难胜任长科学流程。该文属于更难科学评测浪潮。关注后续榜单、哪些实验室尝试,以及带工具的智能体能否缩小差距。
要点
- arXiv:2611.06910
- 168次评测运行
- 没有模型通过超过46项
- 端到端物理研究任务
- 预印本,未经同行评审