METR:Anthropic 模型能力在 AI 辅助下提升速度接近翻倍

独立高权限评估:AECI 基准自 2025 年 10 月起增速约 1.9 倍;当前加速多数归因于 AI 辅助研发,报告有大量删改。
为何重要
METR 在 Anthropic 内部用十一周审阅内部基准、算力指标与员工访谈。结论是:在明确可评分任务上,能力提升速度约为 2024 年 3 月至 2025 年 10 月的两倍,并猜测当前加速约 80% 来自 AI 辅助研发,但 AI 尚未对最关键训练环节做出高度显著的全自主贡献。Anthropic 删改了 METR 认为最有信息量的大部分证据。需关注后续 AECI 是否显示加速持续高于 2 倍。
要点
- AECI 自 2025 年 10 月起增速约 1.9 倍(95% CI 1.5–2.8)
- 当前加速约 80% 归因于 AI 辅助研发(粗略估计)
- 并非由训练算力扩张加速驱动
- 2026-08-12 至 10-29 为期 11 周的高权限评估
- Anthropic 删改了多数最关键证据
- 尚未观察到对关键训练的高度显著全自主贡献