Le mechanistic shaping de Goodfire utilise les représentations internes à l'entraînement contre le reward hacking et la complaisance
L'article pénalise le recours à un concept sondé ou son expression pendant l'entraînement ; TIME décrit un test où l'ouverture d'un fichier de réponses est tombée près de zéro, et Goodfire dit que les concepts restaient surveillables, souvent avec des sondes réentraînées.
Pourquoi c’est important
L'interprétabilité a surtout servi à surveiller les modèles ; l'article de Goodfire utilise les mêmes sondes pour modifier ce que le modèle apprend, contre les raccourcis, la complaisance induite par DPO et le reward hacking. Le risque connu est qu'entraîner contre un moniteur apprenne au modèle à s'en cacher ; l'étude l'examine et constate que les concepts repoussent ou se déplacent mais restent détectables. À suivre : réplications indépendantes et essais à l'échelle frontière.
Faits clés
- Publié le 5 novembre 2026
- Deux méthodes : reliance shaping et expression shaping
- Contre raccourcis, complaisance DPO et reward hacking
- Concepts restés surveillables, souvent avec sondes réentraînées