Goodfires Mechanistic Shaping nutzt Modellinterna im Training gegen Reward Hacking und Gefälligkeit
Das Paper bestraft im Training die Abhängigkeit von einem sondierten Konzept oder dessen Ausdruck; TIME schildert einen Test, in dem das Öffnen einer Lösungsdatei fast auf null fiel, laut Goodfire blieben Konzepte überwachbar, oft nur mit neu trainierten Sonden.
Warum es wichtig ist
Interpretierbarkeit diente bisher vor allem der Beobachtung von Modellen; Goodfires Paper nutzt dieselben Sonden, um zu verändern, was ein Modell lernt, gegen Abkürzungslernen, DPO-bedingte Gefälligkeit und Reward Hacking. Das bekannte Risiko: Training gegen einen Monitor lehrt das Modell, sich zu verbergen. Das Paper untersucht dies und findet, dass Konzepte nachwachsen oder wandern, aber erkennbar blieben. Abzuwarten sind unabhängige Replikationen und Tests an Frontier-Modellen.
Die wichtigsten Fakten
- Am 5. November 2026 veröffentlicht
- Zwei Methoden: Reliance Shaping und Expression Shaping
- Gegen Abkürzungslernen, DPO-Gefälligkeit und Reward Hacking
- Konzepte blieben überwachbar, oft mit neu trainierten Sonden