JA ▾
SNAPE REP RT トップページ →
続報科学・数学11月02日 17:51 UTC

MIT CSAILの研究者、GPT-6 AstraがQwen3.5-0.8Bの重みの0.016%を直接編集して修正したと報告 学習は不要

Three-panel figure from the blog: Astra reads a game network's weights, fixes a car policy, and lifts Qwen3.5-0.8B on MATH-500 from 7.9% to 48.1%
Rikiya Takehi et al., MIT CSAIL

著者が「ごく初期の結果」とするブログ記事によると、GPT-6 Astraは生の重みを読み、Qwenの推論ループの原因を特定して直接修正。MATH-500は7.9%から48.1%に、IFEvalは3倍に。査読は経ていない。

Sparks of Weight-Space Programming (Takehi et al., MIT CSAIL) で読む 共有

なぜ重要か

ニューラルネットの振る舞いを変えるには、通常は勾配による学習か専用ツールが必要だった。この記事は、汎用のフロンティアモデルが自然言語の指示だけで生の重みを読み、ネットが何のために学習されたかを見抜き、Qwen自身のモデルカードが警告する不具合を診断して直接修正できたと報告する。著者は結果がごく初期で、論文ではなくブログでの公表だと強調するが、全トレースをGitHubで公開した。独立した再現と、チームが構築中というベンチマークとハーネスが注目点だ。

要点

  • GPT-6 AstraがQwen3.5-0.8Bの重みの0.016%を編集
  • 同じサンプリング設定でMATH-500が7.9%から48.1%に
  • IFEval(指示追従)が3倍
  • 勾配も学習ループも使わず
  • PPOで学習した4つのネットのゲームを重みだけから特定
  • 筆頭著者Rikiya TakehiはMIT CSAIL所属

出典

科学・数学の関連記事
Snape Report のほかの記事トップページ →