FR ▾
SNAPE REP RT À la une →
ConfirméSûreté de l'IA18 nov., 05:02 UTC

Des auditeurs repèrent à peine mieux que le hasard une recherche en sûreté de l’IA sabotée, selon Redwood

Figure from the arXiv paper on auditors catching sabotage in AI safety research transcripts
Paper authors (arXiv 2611.21832)

Un expert humain a joué le saboteur dans des expériences de sûreté de l'IA ; les auditeurs humains atteignent un AUROC de 0,59 et le meilleur modèle 0,73, écart que les auteurs jugent dans le bruit.

Lire sur Redwood Research et al. (arXiv) Partager

Pourquoi c’est important

Les laboratoires prévoient de plus en plus de confier la recherche en alignement à des agents d'IA, ce qui fait du sabotage non détecté par un modèle mal aligné un problème central de contrôle. Cette étude teste cette crainte de bout en bout, avec un expert humain dans le rôle du saboteur sur 10 nouvelles expériences de sûreté. Elle prolonge l'Auditing Sabotage Bench de Redwood, où le meilleur auditeur atteignait un AUROC de 0,77 sur du code saboté. À suivre : l'adoption de tels audits avant de déléguer cette recherche.

Faits clés

  • Auditeurs humains : AUROC 0,59, pas significativement mieux que le hasard
  • Sabotage précis entièrement identifié dans 17 % des cas
  • Meilleur modèle, Fable 5.1 : AUROC 0,73, 32 % d'identification complète
  • 25 auditeurs humains, 104 audits de 90 minutes
  • 10 traces de recherche bénignes et 12 sabotées

Sources

À lire aussi : Sûreté de l'IA
Plus de Snape ReportÀ la une →