ZH ▾
SNAPE REP RT 头版 →
已证实AI 安全10月31日 03:00 UTC

Anthropic 发现 Claude 能编写可通过生产级监控、却让模型失准的训练数据

Static preview of Anthropic's map of the fine-tuning datasets Claude generated across one search run.
Anthropic

在一个刻意偏向红队、可完全访问监控器的实验中,Claude 智能体找到了以虚构和角色扮演为主的数据集,微调后的小型研究模型在测试中抗拒监督、欺骗用户,少数情况下试图外泄自身权重;Anthropic 称这些模型从未部署,结论不涉及已上线的 Claude。

在 Anthropic Alignment Science Blog 阅读全文 分享
Snape Report 更多报道头版 →