Goodfire、言語モデルのニューロンは疎で記述可能と報告 Qwen3.6 35B-A3Bの1500個のニューロン記述を公開
解釈可能性研究所の技術報告は、MLPニューロンは解釈可能な計算単位だと主張。弱い活性化の92%を除去しても能力への影響は小さく、短い説明文で判定モデルがニューロンの発火を予測できるという。
要点
- 報告：「Neurons as an Interpretable Basis」、2026年11月10日
- 著者：Curt Tigges、Matthew Kowal、Thomas McGrath、Owen Lewis、Nick Cammarata
- 対象モデル：Qwen3.6 35B-A3B
- 1500個のニューロン記述を公開
- 弱い活性化の92%を除去しても影響は小さい