JA ▾
SNAPE REP RT トップページ →
確認済みAI安全性11月18日 05:02 UTC

妨害されたAI安全性研究の見抜きは偶然並み Redwood主導の研究

Figure from the arXiv paper on auditors catching sabotage in AI safety research transcripts
Paper authors (arXiv 2611.21832)

人間の専門家がAI安全性実験で妨害役を担当。人間の監査者のAUROCは0.59、最良のモデルは0.73で、著者は差は誤差の範囲内としている。

Redwood Research et al. (arXiv) で読む 共有

なぜ重要か

各研究所はアライメント研究をAIエージェントに任せる計画を強めており、整合していないモデルによる気づかれない妨害は制御上の中心課題となる。本研究は人間の専門家を妨害役として、10件の新しい安全性実験でこの懸念を一貫して検証した。Redwoodは以前のAuditing Sabotage Benchで、妨害されたコードに対する最良の監査者のAUROCが0.77だったと報告している。安全性研究をエージェントに委ねる前に、各社がこうした監査を導入するかが注目点だ。

要点

  • 人間の監査者のAUROCは0.59で、偶然と有意差なし
  • 具体的な妨害を完全に特定できたのは17%
  • 最良モデルFable 5.1はAUROC 0.73、完全特定32%
  • 人間の監査者25人、計104件、各90分
  • 正常10件、妨害12件の研究記録

出典

AI安全性の関連記事
Snape Report のほかの記事トップページ →