谷歌新基准 Physical-Engineering's Last Exam 显示所有前沿模型得分均低于 50%

为何重要

谷歌称，前沿模型在许多学术基准上已超过 90%，但此前没有测试检验智能体能否端到端地完成安全且符合规范的设计。PLE 为每个智能体提供平均 61 个文件的项目文件夹，包括 CAD 图纸和 BIM 模型，只有通过全部硬性安全检查才得分。表现最好的配置满足了 91% 的单项约束，但只有 41.3% 的交付物通过全部检查。谷歌发现模型选择的影响远大于智能体框架。接下来可关注 ple-bench.com 的公开排行榜。