Goodfire conclui que neurônios de modelos de linguagem são esparsos e descritíveis e publica descrições de 1.500 neurônios do Qwen3.6 35B-A3B
O relatório técnico do laboratório de interpretabilidade argumenta que neurônios MLP são unidades de computação interpretáveis: remover os 92% de ativações mais fracas tem efeitos modestos nas capacidades, e descrições curtas permitem a um modelo juiz prever quando um neurônio dispara.
Fatos principais
- Relatório: "Neurons as an Interpretable Basis", 10 de novembro de 2026
- Autores: Curt Tigges, Matthew Kowal, Thomas McGrath, Owen Lewis, Nick Cammarata
- Modelo estudado: Qwen3.6 35B-A3B
- Descrições publicadas para 1.500 neurônios
- Remover os 92% de ativações mais fracas tem efeitos modestos