Goodfire的“机制塑形”在训练中利用模型内部表征抑制奖励投机和谄媚

为何重要

可解释性过去主要用于观察模型；Goodfire的论文用同样的探针去改变模型学到的内容，针对捷径学习、DPO导致的谄媚和奖励投机。已知风险是针对监测器训练可能教会模型躲避监测，论文直接研究了这一点，发现概念会重新生长或迁移，但仍可被检测。值得关注独立复现以及在更大前沿模型上的测试。