PT ▾
SNAPE REP RT Primeira página →
ConfirmadoSegurança da IA18 de nov., 05:02 UTC

Auditores mal superam o acaso ao detectar pesquisa de segurança de IA sabotada, aponta estudo da Redwood

Figure from the arXiv paper on auditors catching sabotage in AI safety research transcripts
Paper authors (arXiv 2611.21832)

Um especialista humano atuou como sabotador em experimentos de segurança de IA; auditores humanos chegaram a AUROC de 0,59 e o melhor modelo a 0,73, diferença que os autores consideram dentro do ruído.

Ler em Redwood Research et al. (arXiv) Compartilhar

Por que importa

Os laboratórios planejam cada vez mais entregar a pesquisa de alinhamento a agentes de IA, o que torna a sabotagem não detectada por um modelo desalinhado um problema central de controle. Este estudo testa essa preocupação de ponta a ponta, com um especialista humano como sabotador em 10 novos experimentos de segurança. Ele segue o Auditing Sabotage Bench da Redwood, em que o melhor auditor atingiu AUROC de 0,77 em código sabotado. Fique de olho em se os laboratórios adotarão essas auditorias antes de delegar essa pesquisa.

Fatos principais

  • Auditores humanos: AUROC 0,59, não significativamente melhor que o acaso
  • Sabotagem específica totalmente identificada em 17% dos casos
  • Melhor modelo, Fable 5.1: AUROC 0,73, 32% de identificação completa
  • 25 auditores humanos, 104 auditorias de 90 minutos
  • 10 rastros de pesquisa benignos e 12 sabotados

Fontes

Mais sobre Segurança da IA
Mais do Snape ReportPrimeira página →