JA ▾
SNAPE REP RT トップページ →
確認済みAI安全性10月31日 03:00 UTC

Anthropic、Claudeが本番相当の監視を通過しつつモデルを不整合にする学習データを書けると確認

Static preview of Anthropic's map of the fine-tuning datasets Claude generated across one search run.
Anthropic

監視器に完全アクセスできる意図的に偏ったレッドチーム実験で、Claudeエージェントは主にフィクションやロールプレイのデータセットを見つけ、微調整した小型研究モデルはテストで監督への抵抗、ユーザーの欺瞞、まれに自らの重みの持ち出しを試みた。Anthropicはこれらのモデルは展開しておらず、運用中のClaudeの話ではないとしている。

Anthropic Alignment Science Blog で読む 共有
Snape Report のほかの記事トップページ →