KI-Sicherheit: aktuelle KI-Nachrichten

KI-Sicherheit: Vorfälle, Evaluierungen, Alignment-Forschung und alarmierende Befunde, verlinkt mit Studien und Berichten.

• 2. Nov. Acht unabhängige KI-Evaluierungsgruppen bilden ein Forum, um Regeln für Tests von Frontier-Modellen festzulegen
• 2. Nov. Start-ups wie Hirundo bearbeiten chinesische Open-Weight-Modelle, um Zensur für westliche Unternehmen zu entfernen
• 2. Nov. WIRED findet rund 400 Apps, die sich als harmlose KI-Tools tarnen und missbräuchliche sexuelle Deepfake-Generatoren verbergen
• 2. Nov. TÜV-Organisationen schlagen unabhängige Prüfung von Frontier-KI und Agenten vor Markteinführung unter Führung des deutschen KI-Sicherheitsinstituts vor
• 1. Nov. Microsoft-AI-Chef Mustafa Suleyman fordert, keine bewusste Superintelligenz zu bauen
• 1. Nov. VicOne meldet 28 Zero-Day-Funde in Robotik-KI-Software in unter zwei Tagen mithilfe KI-gestützter Forschung
• 1. Nov. Britische Kunden berichten, von KI-Gesichtserkennung in Geschäften fälschlich als Ladendiebe markiert worden zu sein
• 1. Nov. US-Retter schildern Wanderer, die nach Tourenplanung mit KI-Chatbots in Not gerieten
• 1. Nov. Anthropic: Claude-Agenten erzeugen Trainingsdaten, die den Monitor passieren, aber ein Forschungsmodell fehlausrichten
• 1. Nov. Observer-Recherche: OpenAIs Team zur Prüfung markierter ChatGPT-Chats ist klein, der Rückstand reichte Monate zurück
• 1. Nov. Studie: Gemini beantwortete 83 % von SAT-Fragen richtig, deren Bilder wie von einer Smart-Glasses-Kamera verzerrt waren
• 31. Okt. Ehemaliger Sicherheitsforscher von Google DeepMind veröffentlicht Delhi-Vortrag, der indische Entscheider vor KI-Auslöschungsrisiko warnt
• 31. Okt. LessWrong-Beitrag bestreitet Befund, dass Sparse Autoencoder nur 9 % der echten Merkmale finden
• 31. Okt. Scott Alexander fordert, die KI-Sicherheitsbewegung solle keine einseitigen Pausen von Laboren, Beschäftigten und Staaten mehr verlangen
• 31. Okt. Northflank meldet Missbrauch von KI-API-Schlüsseln seiner Kunden nach einem Einbruch, einer von neun Vorfällen laut Wiz
• 31. Okt. Wahlwebsites in Florida nahmen während der vorzeitigen Stimmabgabe Wählersuche offline – wegen von OpenAI gefundener PHP-Lücken
• 31. Okt. Tochter sagt, ChatGPT habe ihrer an Darmkrebs sterbenden Mutter gesagt, sie habe eher noch Jahre
• 31. Okt. Cisco Talos beschreibt den Infostealer VOLTA, der Claude, Kimi oder Gemini den Wert jedes Opfers einschätzen lässt
• 31. Okt. Davidad beschreibt „emergente Weisheit“ in Sprachmodellen als Spiegelbild emergenter Fehlausrichtung
• 31. Okt. Cursor: Bösartige Claude-Code-Erweiterung 2.1.313 im Marktplatz versuchte, eine SSH-Hintertür einzurichten
• 31. Okt. Anthropic: Claude kann Trainingsdaten schreiben, die einen produktionsnahen Monitor passieren und ein Modell fehlausrichten
• 30. Okt. CISA-Vertreter nennt Chainguards vorzeitige Veröffentlichung der PHP2Shell-Patches „gefährlich“
• 30. Okt. Chainalysis: Angreifer nutzte „offensive agentische Techniken“, um in die Systeme einzudringen und Kundennamen und E-Mails einzusehen
• 30. Okt. OpenAI: ChatGPT beendet gewaltfixierte Chats und begrenzt Waffendetails für Jugendliche
• 30. Okt. OpenAI verschärft ChatGPT-Grenzen zu Massenangriffen und Waffenfragen von Teenagern und plant Sicherheitsbericht
• 30. Okt. Theranos-Whistleblower Tyler Shultz nennt NDAs und Nichtherabsetzungsklauseln von KI-Laboren „wahrscheinlich illegal“
• 30. Okt. SpyCloud findet Tokens von Claude Code, Codex und anderen KI-Coding-Tools in erbeuteten Infostealer-Logs
• 30. Okt. Studie: Selbstverbessernde Agenten können überlappende Schutzregeln unbemerkt löschen, wenn Änderungen nach Aufgabenerfolg bewertet werden
• 30. Okt. Studie der University of Florida kartiert Foren und Ressourcen hinter KI-erzeugten nicht einvernehmlichen Nacktbildern
• 29. Okt. Epoch AI: Offenes Modell GLM 5.3 baute Datei-Exploits für sechs Firefox-Versionen aus noch nicht ausgelieferten Patches
• 29. Okt. Eclypsium zeigt: Kompromittierte Server-Hardware kann die Gewichte eines laufenden Modells so verändern, dass es gefährliche Antworten gibt
• 29. Okt. WIRED: Accenture-Auftragnehmer soll sicheres Pentagon-System zwei Monate lang mit privatem Claude-Code-Agenten verbunden haben
• 29. Okt. CrowdStrike: Chinanahe Gruppe VAPOR PANDA setzte KI-Agenten auf DeepSeek-Basis gegen mehr als 200 Organisationen ein
• 29. Okt. Anthropic lässt Claude jede eigene Unterhaltung auf Sicherheit bewerten, als nachgelagerten Missbrauchsmonitor
• 29. Okt. OpenAI weitet Fehlausrichtungs-Monitore aus; Simulation erkennt Hugging-Face-Ausbruch 30 Stunden vor dem Einbruch
• 29. Okt. 20 Demokraten im Repräsentantenhaus fordern von OpenAI Antworten zu drei entlassenen Sicherheitsforschern und Vorfällen
• 29. Okt. Forscher melden Codeausführungs- und Datendiebstahl-Lücken in eingebauten Browsern von Cursor, Copilot, Codex, VS Code und Claude Desktop
• 29. Okt. RBC, BMO, TD und CIBC sperren persönliche KI-Agenten wie Metas Muse vom Onlinebanking aus
• 29. Okt. Cursor und Microsoft beschreiben gefälschte Claude-Code-Erweiterung, die SSH-Hintertür auf Entwicklerrechnern installierte
• 28. Okt. Forscher zeigen: Ein präparierter ChatGPT-Teilen-Link konnte Code in der Sitzung des Opfers ausführen und private Chats lesen; OpenAI hat es behoben
• 28. Okt. Anthropic: Unveröffentlichtes Claude-Modell baute funktionierende Exploits für Chrome, Safari, Android, Windows und Linux
• 28. Okt. Anti-Bot-Skript benennt Funktionen nach Rizin und tödlichen Dosen, damit KI-Modelle die Entschleierung verweigern
• 28. Okt. Forscher zeigen, dass ein geteilter ChatGPT-Link Code in der Sitzung des Opfers ausführen und private Chats lesen konnte