Goodfire发现语言模型神经元稀疏且可描述,公开Qwen3.6 35B-A3B中1500个神经元的描述

这家可解释性实验室的技术报告认为,MLP神经元是可解释的计算单元:去除最弱的92%激活对能力影响有限,简短描述即可让评审模型预测神经元何时激活。
要点
- 报告:《Neurons as an Interpretable Basis》,2026年11月10日
- 作者:Curt Tigges、Matthew Kowal、Thomas McGrath、Owen Lewis、Nick Cammarata
- 研究模型:Qwen3.6 35B-A3B
- 公开1500个神经元的描述
- 去除最弱的92%激活影响有限