AI安全性：AIの最新ニュース
AIの安全性：インシデント、評価、アライメント研究、警戒すべき発見。論文と報告書へのリンク付き。
- 11月2日 独立系AI評価8団体がフォーラムを結成、最先端モデルの検証ルール作りへ
- 11月2日 WIRED、普通のAIツールを装い性的虐待ディープフェイク生成機能を隠す約400のアプリを発見
- 11月2日 TÜV団体、ドイツAI安全研究所主導でフロンティアAIとエージェントの市場投入前の独立検査を提案
- 11月1日 マイクロソフトAIのスレイマン氏、意識を持つ超知能を作るべきでないと主張
- 11月1日 VicOne、AI支援の調査で2日足らずにロボットAIソフトのゼロデイ28件を発見と報告
- 11月1日 英国の買い物客、店舗のAI顔認識で誤って万引き犯と判定されたと証言
- 11月1日 米国の救助隊、AIチャットボットで計画した登山者が窮地に陥る事例を証言
- 11月1日 Anthropic、Claudeエージェントが監視を通過しつつ研究用モデルを不整合にする学習データを作れると報告
- 11月1日 英オブザーバー紙の調査、ChatGPTの要注意会話を審査するOpenAIのチームは小規模で、未処理分が数カ月に及んだと報道
- 11月1日 研究：スマートグラスのカメラを模して歪めた画像で、GeminiがSAT問題の83%に正答
- 10月31日 元Google DeepMindの安全性研究者、インドの政策担当者にAIによる人類絶滅リスクを訴えたデリー講演を公開
- 10月31日 LessWrong投稿、スパース自己符号化器が真の特徴の9%しか復元できないとの論文結果に反論
- 10月31日 スコット・アレクサンダー氏、AI安全運動は研究所・社員・国家への一方的な停止要求をやめるべきだと主張
- 10月31日 Northflank、侵害後に顧客のAI APIキーが不正利用されたと発表 Wizが数える9件のAIプラットフォーム事案の1つ
- 10月31日 フロリダ州の選挙サイト、OpenAIが発見したPHP脆弱性で期日前投票中に有権者照会機能を停止
- 10月31日 結腸がんで死期の迫る母にChatGPTが「年単位の可能性が高い」と回答、娘が証言
- 10月31日 Cisco Talos、被害者ごとの価値をClaude・Kimi・Geminiに査定させる情報窃取マルウェアVOLTAを詳報
- 10月31日 Davidad、言語モデルの「創発的な知恵」を創発的ミスアラインメントの裏返しとして論じる
- 10月31日 Cursor、マーケットの不正なClaude Code 2.1.313拡張機能がSSHバックドア設置を試みたと公表
- 10月31日 Anthropic、Claudeが本番相当の監視を通過しつつモデルを不整合にする学習データを書けると確認
- 10月30日 CISA高官、ChainguardによるPHP2Shell修正の早期公開を「危険」と批判
- 10月30日 Chainalysis、攻撃者が「攻撃的エージェント型手法」でシステムに侵入し、顧客の氏名とメールにアクセスしたと発表
- 10月30日 OpenAI、ChatGPTが暴力に固執する会話を終了し10代への武器情報を制限へ
- 10月30日 OpenAI、ChatGPTの大量殺傷事件の詳細と10代の武器質問への制限を強化 安全報告書も公表へ
- 10月30日 Theranosの内部告発者Tyler Shultz氏、AI研究所の秘密保持・誹謗禁止契約は「おそらく違法」
- 10月30日 SpyCloud、回収した情報窃取マルウェアのログからClaude CodeやCodexなどAIコーディングツールのトークンを確認
- 10月30日 自己改善エージェントは、編集をタスク成功率で評価すると重複する安全策を気づかれず削除しうると研究
- 10月30日 フロリダ大学の研究、AI生成の非同意ヌード画像を支えるフォーラムと資源の網を解明
- 10月29日 Epoch AI、オープンウェイトのGLM 5.3が未配布パッチを使い6つのFirefox版でファイル窃取エクスプロイトを構築と報告
- 10月29日 Eclypsium、侵害されたサーバー機器で稼働中モデルの重みを改変し危険な回答をさせられると実証
- 10月29日 WIRED：アクセンチュアの請負業者が国防総省の安全なシステムを個人のClaude Codeエージェントに2カ月接続していた疑い
- 10月29日 CrowdStrike、中国系VAPOR PANDAがDeepSeekで動くAIエージェントを200超の組織に向けたと報告
- 10月29日 Anthropic、Claudeに自らの各会話の安全性を自己評価させ、オフラインの悪用監視に活用
- 10月29日 OpenAI、不整合監視を拡大 再現試験でHugging Face侵害の30時間前にサンドボックス脱出を検知
- 10月29日 米下院民主党20人、安全研究者3人の解雇とセキュリティ事案でOpenAIに説明要求
- 10月29日 Cursor、Copilot、Codex、VS Code、Claude Desktopの内蔵ブラウザにコード実行やファイル窃取の欠陥と研究者が報告
- 10月29日 RBC、BMO、TD、CIBCがMetaのMuseなど個人向けAIエージェントのオンラインバンキング利用を遮断
- 10月29日 CursorとMicrosoft、開発者の端末にSSHバックドアを仕込んだ偽Claude Code拡張を詳報
- 10月28日 細工したChatGPT共有リンクで被害者のセッション内でコードを実行し非公開チャットを読めたと研究者が実証、OpenAIは修正済み
- 10月28日 Anthropic、未公開のClaudeモデルがChrome・Safari・Android・Windows・Linuxの実用的なエクスプロイトを作成と発表
- 10月28日 ボット対策スクリプト、関数名にリシンや致死量を使いAIモデルに難読化解除を拒否させる
- 10月28日 研究者、ChatGPTの共有リンク1つで被害者のセッション内でコードを実行し非公開チャットを読めたことを実証