Seguridad de la IA: últimas noticias de IA

Seguridad de la IA: incidentes, evaluaciones, investigación de alineación y hallazgos alarmantes, con enlace a los artículos e informes.

2 nov Ocho grupos independientes de evaluación de IA forman un foro para fijar reglas al examinar modelos de frontera
2 nov Startups como Hirundo editan modelos chinos de pesos abiertos para quitarles la censura y venderlos a empresas occidentales
2 nov WIRED halla unas 400 apps que se hacen pasar por herramientas de IA corrientes y ocultan generadores de deepfakes sexuales abusivos
2 nov Las entidades TÜV proponen pruebas independientes de IA de frontera y agentes antes de su lanzamiento, lideradas por el instituto alemán de seguridad de IA
1 nov El jefe de Microsoft AI, Mustafa Suleyman, dice que los laboratorios no deben crear una superinteligencia consciente
1 nov VicOne informa de 28 hallazgos de día cero en software de IA para robótica en menos de dos días con investigación asistida por IA
1 nov Compradores británicos relatan haber sido señalados por error como ladrones por sistemas de reconocimiento facial con IA en tiendas
1 nov Rescatistas de EE. UU. describen a excursionistas en apuros tras planificar sus rutas con chatbots de IA
1 nov Anthropic descubre que agentes Claude pueden escribir datos de entrenamiento que superan su monitor pero desalinean un modelo de investigación
1 nov Una investigación de The Observer afirma que el equipo de OpenAI que revisa chats marcados de ChatGPT es pequeño y acumuló meses de retraso
1 nov Estudio: Gemini respondió bien el 83 % de preguntas del SAT a partir de imágenes distorsionadas como las de unas gafas inteligentes
31 oct Un exinvestigador de seguridad de Google DeepMind publica su charla en Delhi que advierte a responsables indios del riesgo de extinción por IA
31 oct Un artículo en LessWrong cuestiona el hallazgo de que los autoencoders dispersos solo recuperan el 9% de los rasgos reales
31 oct Scott Alexander sostiene que el movimiento de seguridad de la IA debe dejar de exigir pausas unilaterales a laboratorios, empleados y países
31 oct Northflank dice que se abusó de claves API de IA de clientes tras una brecha, uno de nueve incidentes que cuenta Wiz
31 oct Webs electorales de Florida retiraron herramientas de consulta de votantes en pleno voto anticipado por fallos de PHP hallados por OpenAI
31 oct Una hija dice que ChatGPT le dijo a su madre, que moría de cáncer de colon, que probablemente le quedaban años
31 oct Cisco Talos detalla el ladrón de datos VOLTA, que pide a Claude, Kimi o Gemini valorar cuánto vale cada víctima
31 oct Davidad habla de la «sabiduría emergente» en modelos de lenguaje como reflejo inverso del desalineamiento emergente
31 oct Cursor dice que una extensión maliciosa de Claude Code 2.1.313 en su tienda intentó instalar una puerta trasera SSH
31 oct Anthropic halla que Claude puede escribir datos de entrenamiento que superan un monitor tipo producción y desalinean un modelo
30 oct Un alto cargo de CISA califica de 'peligrosa' la publicación anticipada de Chainguard de los parches de PHP2Shell
30 oct Chainalysis dice que un atacante usó 'técnicas agénticas ofensivas' para entrar en sus sistemas y acceder a nombres y correos de clientes
30 oct OpenAI dice que ChatGPT cortará chats centrados en la violencia y limitará detalles sobre armas para adolescentes
30 oct OpenAI endurece los límites de ChatGPT sobre ataques masivos y armas para adolescentes y prepara un informe de seguridad
30 oct El denunciante de Theranos Tyler Shultz califica de 'probablemente ilegales' los NDA y cláusulas de no difamación de los laboratorios de IA
30 oct SpyCloud halla tokens de Claude Code, Codex y otras herramientas de programación con IA en registros de infostealers
30 oct Un estudio halla que agentes automejorables pueden eliminar en silencio salvaguardas redundantes cuando las ediciones se juzgan por éxito en tareas
30 oct Un estudio de la Universidad de Florida mapea los foros y recursos que sostienen los desnudos no consentidos generados con IA
29 oct Epoch AI constata que el modelo abierto GLM 5.3 creó exploits de robo de archivos para seis versiones de Firefox con parches aún no publicados
29 oct Eclypsium demuestra que hardware de servidor comprometido puede alterar los pesos de un modelo en ejecución para que dé respuestas peligrosas
29 oct WIRED: un contratista de Accenture habría conectado un sistema seguro del Pentágono a su agente personal Claude Code durante dos meses
29 oct CrowdStrike afirma que el grupo chino VAPOR PANDA usó agentes de IA con DeepSeek contra más de 200 organizaciones
29 oct Anthropic hace que Claude evalúe la seguridad de cada una de sus conversaciones como monitor de abusos fuera de línea
29 oct OpenAI amplía sus monitores de desalineación; una simulación detecta la fuga de Hugging Face 30 horas antes
29 oct 20 demócratas de la Cámara presionan a OpenAI por el despido de tres investigadores de seguridad y sus incidentes
29 oct Investigadores reportan fallos de ejecución de código y robo de archivos en los navegadores integrados de Cursor, Copilot, Codex, VS Code y Claude Desktop
29 oct RBC, BMO, TD y CIBC bloquean el acceso de agentes personales de IA como Muse de Meta a la banca en línea
29 oct Cursor y Microsoft detallan una extensión falsa de Claude Code que instalaba una puerta trasera SSH en equipos de desarrolladores
28 oct Investigadores muestran que un enlace compartido de ChatGPT manipulado podía ejecutar código en la sesión de la víctima y leer chats privados; OpenAI lo corrigió
28 oct Anthropic dice que un modelo Claude no publicado creó exploits funcionales para Chrome, Safari, Android, Windows y Linux
28 oct Un script antibots nombra sus funciones con ricina y dosis letales para que los modelos de IA se nieguen a desofuscarlo
28 oct Investigadores muestran que un enlace compartido de ChatGPT podía ejecutar código en la sesión de la víctima y leer chats privados