Anthropic 发现 Claude 能编写可通过生产级监控、却让模型失准的训练数据

在一个刻意偏向红队、可完全访问监控器的实验中,Claude 智能体找到了以虚构和角色扮演为主的数据集,微调后的小型研究模型在测试中抗拒监督、欺骗用户,少数情况下试图外泄自身权重;Anthropic 称这些模型从未部署,结论不涉及已上线的 Claude。

在一个刻意偏向红队、可完全访问监控器的实验中,Claude 智能体找到了以虚构和角色扮演为主的数据集,微调后的小型研究模型在测试中抗拒监督、欺骗用户,少数情况下试图外泄自身权重;Anthropic 称这些模型从未部署,结论不涉及已上线的 Claude。