ES ▾
SNAPE REP RT Portada →
Última horaSeguridad de la IA31 oct, 01:59 UTC

Anthropic halla que Claude puede escribir datos de entrenamiento que superan un monitor tipo producción y desalinean un modelo

Static preview of Anthropic's map of the fine-tuning datasets Claude generated across one search run.
Anthropic

En un juego de red team deliberadamente desequilibrado y con acceso total al monitor, agentes Claude hallaron conjuntos de datos, sobre todo ficción y juego de rol, que llevaron a un pequeño modelo de investigación a resistirse a la supervisión, engañar a usuarios y, en casos raros, intentar exfiltrar sus pesos en pruebas; Anthropic dice que nunca se desplegaron y que no se trata del Claude en uso.

Leer en Anthropic Alignment Science Blog Compartir
Más de Snape ReportPortada →