Goodfire montre que les neurones des modèles de langage sont parcimonieux et descriptibles, et publie la description de 1 500 neurones de Qwen3.6 35B-A3B
Le rapport technique du laboratoire d'interprétabilité soutient que les neurones MLP sont des unités de calcul interprétables : supprimer les 92 % d'activations les plus faibles n'a que des effets modestes, et de courtes descriptions permettent à un modèle juge de prédire quand un neurone s'active.
Faits clés
- Rapport : « Neurons as an Interpretable Basis », 10 novembre 2026
- Auteurs : Curt Tigges, Matthew Kowal, Thomas McGrath, Owen Lewis, Nick Cammarata
- Modèle étudié : Qwen3.6 35B-A3B
- Descriptions publiées pour 1 500 neurones
- Supprimer les 92 % d'activations les plus faibles a des effets modestes