DE ▾
SNAPE REP RT Titelseite →
BestätigtKI-Sicherheit18. Nov., 05:02 UTC

Prüfer erkennen sabotierte KI-Sicherheitsforschung kaum besser als per Zufall, zeigt eine Redwood-Studie

Figure from the arXiv paper on auditors catching sabotage in AI safety research transcripts
Paper authors (arXiv 2611.21832)

Ein menschlicher Experte sabotierte KI-Sicherheitsexperimente; menschliche Prüfer erreichten eine AUROC von 0,59, das beste Modell 0,73 – laut Autoren im Rauschen.

Weiterlesen bei Redwood Research et al. (arXiv) Teilen

Warum es wichtig ist

Labore wollen Alignment-Forschung zunehmend an KI-Agenten übergeben; unentdeckte Sabotage durch ein fehlausgerichtetes Modell wird damit zu einem zentralen Kontrollproblem. Diese Studie prüft das durchgängig, mit einem menschlichen Experten als Saboteur in 10 neuen Sicherheitsexperimenten. Sie knüpft an Redwoods Auditing Sabotage Bench an, bei der der beste Prüfer auf sabotiertem Code eine AUROC von 0,77 erreichte. Zu beobachten ist, ob Labore solche Audits einführen, bevor sie Sicherheitsforschung an Agenten delegieren.

Die wichtigsten Fakten

  • Menschliche Prüfer: AUROC 0,59, nicht signifikant besser als Zufall
  • Konkrete Sabotage in 17 % der Fälle vollständig erkannt
  • Bestes Modell, Fable 5.1: AUROC 0,73, 32 % vollständige Erkennung
  • 25 menschliche Prüfer, 104 Audits zu je 90 Minuten
  • 10 harmlose und 12 sabotierte Forschungsverläufe

Quellen

Mehr zu KI-Sicherheit
Mehr von Snape ReportTitelseite →