Goodfireの「メカニスティック・シェイピング」、内部表現を訓練に使い報酬ハッキングと迎合を抑制

なぜ重要か

解釈可能性は主にモデルの監視に使われてきたが、Goodfireの論文は同じプローブでモデルが学ぶ内容を変え、近道学習、DPO由来の迎合、報酬ハッキングに対処する。監視器に対して訓練するとモデルが隠れることを学ぶという既知のリスクも直接検証し、概念は再生・移動したが検出可能なままだったとする。独立した再現と、より大規模な最先端モデルでの検証が焦点となる。