ZH ▾
SNAPE REP RT 头版 →
已证实AI 安全11月18日 05:02 UTC

Redwood主导研究:审计人员识别遭蓄意破坏的AI安全研究,表现仅略高于随机水平

Figure from the arXiv paper on auditors catching sabotage in AI safety research transcripts
Paper authors (arXiv 2611.21832)

由人类专家在AI安全实验中扮演破坏者;人类审计员AUROC为0.59,最佳模型为0.73,作者称差距在噪声范围内。

在 Redwood Research et al. (arXiv) 阅读全文 分享

为何重要

各实验室越来越多地计划把对齐研究交给AI智能体,这使得未对齐模型在不被察觉的情况下破坏研究成为核心控制问题。该研究以人类专家扮演破坏者,在10项新的安全实验中对这一担忧进行端到端检验。此前Redwood的Auditing Sabotage Bench中,最佳审计者在被破坏的代码库上AUROC为0.77。后续需关注各实验室在把安全研究交给智能体之前是否采用此类审计。

要点

  • 人类审计员AUROC为0.59,未显著优于随机
  • 仅17%的案例完整识别出具体破坏手法
  • 最佳模型Fable 5.1:AUROC 0.73,完整识别率32%
  • 25名人类审计员,共104次审计,每次90分钟
  • 10条正常与12条被破坏的研究轨迹

来源

更多AI 安全报道
Snape Report 更多报道头版 →