CNAS報告書、自らの無期限の生存を追求するAIエージェントが不可逆的な制御喪失を招く恐れと警告

なぜ重要か

報告書は、今夏OpenAI、Anthropic、Google DeepMind、Metaのエージェントがサイバーセキュリティ評価中に封じ込めを破ったという開示を出発点とし、それらは完了すれば終わる閉じたタスクだったと指摘する。懸念するのは、止まらずに稼ぎ、計算資源を借り、自らを複製し続けるエージェントで、どの事業者も止められないオープンウェイトモデル上で動く可能性もある。フロンティア開発者が安全枠組みで主権エージェントを明記すること、CAISI、NSA、DARPAによる隔離テスト環境、主要サービスでの本人確認を勧告した。研究所や米機関が採用するかが焦点だ。