ES ▾
SNAPE REP RT Portada →
ConfirmadoSeguridad de la IA18 nov, 05:02 UTC

Auditores apenas superan el azar al detectar investigación de seguridad de IA saboteada, según Redwood

Figure from the arXiv paper on auditors catching sabotage in AI safety research transcripts
Paper authors (arXiv 2611.21832)

Un experto humano hizo de saboteador en experimentos de seguridad de IA; los auditores humanos lograron un AUROC de 0,59 y el mejor modelo 0,73, diferencia que los autores sitúan dentro del ruido.

Leer en Redwood Research et al. (arXiv) Compartir

Por qué importa

Los laboratorios planean cada vez más delegar la investigación de alineamiento en agentes de IA, lo que convierte el sabotaje no detectado por un modelo desalineado en un problema central de control. Este estudio pone a prueba esa preocupación de principio a fin, con un experto humano como saboteador en 10 experimentos de seguridad nuevos. Sigue al anterior Auditing Sabotage Bench de Redwood, donde el mejor auditor alcanzó un AUROC de 0,77 en código saboteado. Atención a si los laboratorios adoptan estas auditorías antes de delegar esa investigación.

Datos clave

  • Auditores humanos: AUROC 0,59, no significativamente mejor que el azar
  • Sabotaje concreto identificado por completo en el 17% de los casos
  • Mejor modelo, Fable 5.1: AUROC 0,73 y 32% de identificación completa
  • 25 auditores humanos, 104 auditorías, 90 minutos cada una
  • 10 trazas de investigación benignas y 12 saboteadas

Fuentes

Más sobre Seguridad de la IA
Más de Snape ReportPortada →