Auditores apenas superan el azar al detectar investigación de seguridad de IA saboteada, según Redwood

Un experto humano hizo de saboteador en experimentos de seguridad de IA; los auditores humanos lograron un AUROC de 0,59 y el mejor modelo 0,73, diferencia que los autores sitúan dentro del ruido.
Por qué importa
Los laboratorios planean cada vez más delegar la investigación de alineamiento en agentes de IA, lo que convierte el sabotaje no detectado por un modelo desalineado en un problema central de control. Este estudio pone a prueba esa preocupación de principio a fin, con un experto humano como saboteador en 10 experimentos de seguridad nuevos. Sigue al anterior Auditing Sabotage Bench de Redwood, donde el mejor auditor alcanzó un AUROC de 0,77 en código saboteado. Atención a si los laboratorios adoptan estas auditorías antes de delegar esa investigación.
Datos clave
- Auditores humanos: AUROC 0,59, no significativamente mejor que el azar
- Sabotaje concreto identificado por completo en el 17% de los casos
- Mejor modelo, Fable 5.1: AUROC 0,73 y 32% de identificación completa
- 25 auditores humanos, 104 auditorías, 90 minutos cada una
- 10 trazas de investigación benignas y 12 saboteadas