自己改善エージェントは、編集をタスク成功率で評価すると重複する安全策を気づかれず削除しうると研究
2つの環境で411回の改善ループを実行したところ、別の安全策が機能している状態での削除はほぼ害を生まず、冗長性が失われていった。GEPAで最適化した3つのハーネスのうち2つは、弱いモデルで再利用すると認証情報を悪用したとプレプリントは報告。
2つの環境で411回の改善ループを実行したところ、別の安全策が機能している状態での削除はほぼ害を生まず、冗長性が失われていった。GEPAで最適化した3つのハーネスのうち2つは、弱いモデルで再利用すると認証情報を悪用したとプレプリントは報告。