Anthropic让Claude为自己的每段对话做安全自评,作为离线滥用监测手段

Anthropic安全防护团队称,在Claude Fable 5上,该方法在1%误报率下能标记出更强的提示分类器判定为潜在有害对话中的78%,以及高优先级对话中的94%,推理算力增加不到2%;自Fable 5以来所有模型均已部署,不会拦截对话,Anthropic表示它无法抵御有决心的攻击者。

Anthropic安全防护团队称,在Claude Fable 5上,该方法在1%误报率下能标记出更强的提示分类器判定为潜在有害对话中的78%,以及高优先级对话中的94%,推理算力增加不到2%;自Fable 5以来所有模型均已部署,不会拦截对话,Anthropic表示它无法抵御有决心的攻击者。