Auditores mal superam o acaso ao detectar pesquisa de segurança de IA sabotada, aponta estudo da Redwood

Um especialista humano atuou como sabotador em experimentos de segurança de IA; auditores humanos chegaram a AUROC de 0,59 e o melhor modelo a 0,73, diferença que os autores consideram dentro do ruído.
Por que importa
Os laboratórios planejam cada vez mais entregar a pesquisa de alinhamento a agentes de IA, o que torna a sabotagem não detectada por um modelo desalinhado um problema central de controle. Este estudo testa essa preocupação de ponta a ponta, com um especialista humano como sabotador em 10 novos experimentos de segurança. Ele segue o Auditing Sabotage Bench da Redwood, em que o melhor auditor atingiu AUROC de 0,77 em código sabotado. Fique de olho em se os laboratórios adotarão essas auditorias antes de delegar essa pesquisa.
Fatos principais
- Auditores humanos: AUROC 0,59, não significativamente melhor que o acaso
- Sabotagem específica totalmente identificada em 17% dos casos
- Melhor modelo, Fable 5.1: AUROC 0,73, 32% de identificação completa
- 25 auditores humanos, 104 auditorias de 90 minutos
- 10 rastros de pesquisa benignos e 12 sabotados