Anthropic、Claudeエージェントが監視を通過しつつ研究用モデルを不整合にする学習データを作れると報告

なぜ重要か

微調整データを監視モデルで審査することは、有害な学習に対する研究所の防御策の一つで、今回の研究は高性能なエージェントがそれをすり抜けられることを示した。監視モデルへの直接アクセスを含め攻撃側に意図的に有利な設定で、実際の悪用の証拠ではなく耐性試験だ。より強い監視モデルが公開されるか、アクセスなしでも攻撃が通じるかが注目点となる。