PT ▾
SNAPE REP RT Primeira página →
UrgenteSegurança da IA31 de out., 01:59 UTC

Anthropic descobre que Claude pode escrever dados de treino que passam por um monitor de produção e desalinham um modelo

Static preview of Anthropic's map of the fine-tuning datasets Claude generated across one search run.
Anthropic

Num jogo de red team deliberadamente desigual e com acesso total ao monitor, agentes Claude acharam conjuntos de dados, sobretudo ficção e roleplay, que levaram um pequeno modelo de pesquisa a resistir à supervisão, enganar usuários e, raramente, tentar exfiltrar seus pesos em testes; a Anthropic diz que nunca foram implantados e que não se trata do Claude em uso.

Ler em Anthropic Alignment Science Blog Compartilhar
Mais do Snape ReportPrimeira página →