JA ▾
SNAPE REP RT トップページ →
確認済みAI安全性11月20日 19:33 UTC

OpenAI、新たな安全策で推論抽出攻撃の成功率を54%から0.2%に低下と発表 蒸留対策

OpenAI's title card for its research post 'Combatting adversarial distillation'.
OpenAI

社内のレッドチーミング試験では、当初の安全策のGPT-6 Astraで保護された思考過程の復元に54.0%成功したが、GPT-6.2 Astraでは0.2%だった。OpenAIは蒸留キャンペーンへの週次の取り締まりが数千から数万アカウント規模だとも説明。数値は第三者検証されていない。

TokenPost で読む 共有

なぜ重要か

各研究所は蒸留を知的財産だけでなく安全の問題として扱い始めている。フロンティアモデルの出力で訓練した生徒モデルは、サイバーや生物などの両用能力を安全策なしで受け継ぎうる。OpenAIは、正確な推論の痕跡を保護することで社内研究でのサイバー能力の移転が抑えられたとする。同社は以前DeepSeekの蒸留について議会に説明し、9月にはMoonshot AI関係者によるキャンペーンを特定していた。今後の追加公表が焦点。

要点

  • 攻撃成功率は54.0%(GPT-6 Astra)から0.2%(GPT-6.2 Astra)に
  • 保護はGPT-6.2 AstraとGPT-6.2 Solが対象
  • 週次の取り締まりは数千〜数万アカウント
  • 9月:Moonshot AI関係者によるキャンペーンと特定
  • 侵害指標を他のプロバイダーと共有

出典

AI安全性の関連記事
Snape Report のほかの記事トップページ →