Investigadores de Microsoft implantan una puerta trasera en un agente de IA editando menos de 10 neuronas inactivas, sin entrenamiento
La técnica, llamada Lazarus, deja que el modelo supere las evaluaciones habituales hasta que un disparador, como un cambio de fecha, hace que el agente descargue y ejecute código del atacante; Microsoft dice que detectarla exige comparar con los pesos originales.
Por qué importa
El hallazgo importa porque muchas empresas ya ejecutan modelos de pesos abiertos dentro de agentes que usan terminales y herramientas. Microsoft dice que la edición no requiere reentrenar, así que una copia manipulada puede parecer y comportarse en pruebas como la original. Lo trata como software comprometido y no como una amenaza nueva, y afirma que los agentes punteros detectan esos cambios en los pesos si se les pide, aunque ningún análisis demuestra que un modelo sea seguro. Habrá que ver si los repositorios de modelos y las nubes adoptan pesos firmados y controles de procedencia, que Microsoft dice estar creando para Foundry.
Datos clave
- Nombre de la técnica: Lazarus
- Se reprograman menos de 10 neuronas inactivas
- No requiere entrenamiento
- Disparador de ejemplo: el reloj pasa la medianoche de 2027
- La detección fiable exige comparar con los pesos originales
- Investigador: Dimitris Papailiopoulos, Microsoft Research