ZH ▾
SNAPE REP RT 头版 →
进展中科学与数学11月02日 17:51 UTC

MIT CSAIL 研究人员称 GPT-6 Astra 仅修改 Qwen3.5-0.8B 0.016% 的权重即修复其缺陷,无需训练

Three-panel figure from the blog: Astra reads a game network's weights, fixes a car policy, and lifts Qwen3.5-0.8B on MATH-500 from 7.9% to 48.1%
Rikiya Takehi et al., MIT CSAIL

作者在一篇称为“非常早期结果”的博客中表示,GPT-6 Astra 直接读取原始权重,定位 Qwen 的推理循环问题并手动修补,使 MATH-500 从 7.9% 升至 48.1%,IFEval 提升 3 倍;尚未经过同行评审。

在 Sparks of Weight-Space Programming (Takehi et al., MIT CSAIL) 阅读全文 分享

为何重要

改变神经网络的行为通常需要基于梯度的训练或专门工具。这篇博客称,通用前沿模型只需自然语言指令,就能读取原始权重、判断网络被训练来做什么、诊断 Qwen 模型卡本身提示过的缺陷并直接修补。作者强调结果非常早期,且以博客而非论文形式发布,但已在 GitHub 公开完整推理记录。接下来值得关注独立复现,以及团队称正在构建的基准和工具框架。

要点

  • GPT-6 Astra 修改了 Qwen3.5-0.8B 0.016% 的权重
  • 相同采样设置下 MATH-500 从 7.9% 升至 48.1%
  • IFEval 指令遵循提升 3 倍
  • 未使用梯度或训练循环
  • Astra 仅凭权重识别出四个 PPO 训练网络各自对应的游戏
  • 第一作者 Rikiya Takehi 署名 MIT CSAIL

来源

更多科学与数学报道
Snape Report 更多报道头版 →