Sûreté de l'IA : dernières actualités de l’IA

Sécurité de l’IA : incidents, évaluations, recherche sur l’alignement et découvertes inquiétantes, avec un lien vers les articles et rapports.

• 2 nov. Huit groupes indépendants d'évaluation de l'IA forment un forum pour fixer les règles des tests des modèles de pointe
• 2 nov. Des start-up comme Hirundo modifient des modèles chinois à poids ouverts pour en retirer la censure à l'intention des entreprises occidentales
• 2 nov. WIRED découvre quelque 400 applis se présentant comme des outils d'IA ordinaires qui cachent des générateurs de deepfakes sexuels abusifs
• 2 nov. Les organismes TÜV proposent des tests indépendants de l'IA de pointe et des agents avant lancement, pilotés par l'institut allemand de sécurité de l'IA
• 1 nov. Le patron de Microsoft AI, Mustafa Suleyman, affirme que les labos ne doivent pas construire de superintelligence consciente
• 1 nov. VicOne signale 28 failles zero-day dans des logiciels d'IA robotique en moins de deux jours grâce à une recherche assistée par IA
• 1 nov. Des clients britanniques racontent avoir été signalés à tort comme voleurs par des systèmes de reconnaissance faciale par IA en magasin
• 1 nov. Des secouristes américains décrivent des randonneurs en difficulté après avoir préparé leur sortie avec des chatbots
• 1 nov. Anthropic constate que des agents Claude peuvent écrire des données d'entraînement qui passent son filtre tout en désalignant un modèle de recherche
• 1 nov. Selon une enquête de The Observer, l'équipe d'OpenAI qui examine les conversations ChatGPT signalées est réduite et accusait des mois de retard
• 1 nov. Étude : Gemini a répondu juste à 83 % de questions du SAT à partir d'images déformées comme celles de lunettes connectées
• 31 oct. Un ancien chercheur en sécurité de Google DeepMind publie sa conférence de Delhi alertant les décideurs indiens sur le risque d'extinction lié à l'IA
• 31 oct. Un billet sur LessWrong conteste le résultat selon lequel les autoencodeurs parcimonieux ne retrouvent que 9 % des vraies caractéristiques
• 31 oct. Scott Alexander estime que le mouvement pour la sûreté de l'IA doit cesser d'exiger des pauses unilatérales des labos, salariés et pays
• 31 oct. Northflank affirme que des clés API d'IA de clients ont été détournées après une intrusion, un des neuf incidents recensés par Wiz
• 31 oct. Des sites électoraux de Floride ont retiré leurs outils de recherche d'électeurs pendant le vote anticipé à cause de failles PHP trouvées par OpenAI
• 31 oct. Une fille affirme que ChatGPT a dit à sa mère, mourante d'un cancer du côlon, qu'il lui restait plus probablement des années
• 31 oct. Cisco Talos détaille le voleur de données VOLTA, qui demande à Claude, Kimi ou Gemini d'évaluer ce que vaut chaque victime
• 31 oct. Davidad présente la « sagesse émergente » des modèles de langage comme l'inverse du désalignement émergent
• 31 oct. Cursor indique qu'une extension Claude Code 2.1.313 malveillante de sa boutique a tenté d'installer une porte dérobée SSH
• 31 oct. Anthropic constate que Claude peut écrire des données d'entraînement qui passent un moniteur de type production et désalignent un modèle
• 30 oct. Un responsable de la CISA juge « dangereuse » la publication anticipée par Chainguard des correctifs PHP2Shell
• 30 oct. Chainalysis affirme qu'un attaquant a utilisé des « techniques agentiques offensives » pour pénétrer ses systèmes et accéder à des noms et e-mails de clients
• 30 oct. OpenAI annonce que ChatGPT mettra fin aux conversations obsédées par la violence et limitera les détails sur les armes pour les ados
• 30 oct. OpenAI resserre les limites de ChatGPT sur les attaques de masse et les armes pour les ados et prévoit un rapport
• 30 oct. Le lanceur d'alerte de Theranos Tyler Shultz juge « probablement illégaux » les NDA et clauses de non-dénigrement des labos d'IA
• 30 oct. SpyCloud trouve des jetons de Claude Code, Codex et d'autres outils de code IA dans des journaux d'infostealers
• 30 oct. Une étude montre que des agents auto-améliorants peuvent supprimer en silence des garde-fous redondants quand les modifications sont jugées sur la réussite des tâches
• 30 oct. Une étude de l'université de Floride cartographie les forums et ressources qui alimentent les nus non consentis générés par IA
• 29 oct. Epoch AI constate que le modèle ouvert GLM 5.3 a créé des exploits de vol de fichiers pour six versions de Firefox à partir de correctifs non livrés
• 29 oct. Eclypsium montre qu'un matériel serveur compromis peut modifier les poids d'un modèle en cours d'exécution pour lui faire donner des réponses dangereuses
• 29 oct. WIRED : un sous-traitant d'Accenture aurait relié un système sécurisé du Pentagone à son agent Claude Code personnel pendant deux mois
• 29 oct. CrowdStrike affirme que le groupe lié à la Chine VAPOR PANDA a lancé des agents d'IA sous DeepSeek contre plus de 200 organisations
• 29 oct. Anthropic fait évaluer par Claude la sécurité de chacune de ses conversations, comme outil de détection d'abus hors ligne
• 29 oct. OpenAI étend ses moniteurs de désalignement ; une simulation repère l'évasion liée à Hugging Face 30 heures avant
• 29 oct. 20 démocrates de la Chambre interpellent OpenAI sur le renvoi de trois chercheurs en sécurité et ses incidents
• 29 oct. Des chercheurs signalent des failles d'exécution de code et de vol de fichiers dans les navigateurs intégrés à Cursor, Copilot, Codex, VS Code et Claude Desktop
• 29 oct. RBC, BMO, TD et CIBC bloquent l'accès des agents d'IA personnels comme Muse de Meta à leurs services bancaires en ligne
• 29 oct. Cursor et Microsoft détaillent une fausse extension Claude Code qui installait une porte dérobée SSH chez les développeurs
• 28 oct. Des chercheurs montrent qu'un lien de partage ChatGPT piégé pouvait exécuter du code dans la session d'une victime et lire ses conversations privées ; OpenAI a corrigé
• 28 oct. Anthropic affirme qu'un modèle Claude non publié a créé des exploits fonctionnels pour Chrome, Safari, Android, Windows et Linux
• 28 oct. Un script anti-bots nomme ses fonctions d'après la ricine et des doses létales pour que les modèles d'IA refusent de le désobfusquer
• 28 oct. Des chercheurs montrent qu'un lien ChatGPT partagé pouvait exécuter du code dans la session de la victime et lire ses conversations privées