MIT CSAILの研究者、GPT-6 AstraがQwen3.5-0.8Bの重みの0.016%を直接編集して修正したと報告 学習は不要

著者が「ごく初期の結果」とするブログ記事によると、GPT-6 Astraは生の重みを読み、Qwenの推論ループの原因を特定して直接修正。MATH-500は7.9%から48.1%に、IFEvalは3倍に。査読は経ていない。
なぜ重要か
ニューラルネットの振る舞いを変えるには、通常は勾配による学習か専用ツールが必要だった。この記事は、汎用のフロンティアモデルが自然言語の指示だけで生の重みを読み、ネットが何のために学習されたかを見抜き、Qwen自身のモデルカードが警告する不具合を診断して直接修正できたと報告する。著者は結果がごく初期で、論文ではなくブログでの公表だと強調するが、全トレースをGitHubで公開した。独立した再現と、チームが構築中というベンチマークとハーネスが注目点だ。
要点
- GPT-6 AstraがQwen3.5-0.8Bの重みの0.016%を編集
- 同じサンプリング設定でMATH-500が7.9%から48.1%に
- IFEval(指示追従)が3倍
- 勾配も学習ループも使わず
- PPOで学習した4つのネットのゲームを重みだけから特定
- 筆頭著者Rikiya TakehiはMIT CSAIL所属