AI 安全：最新 AI 新闻
AI 安全：事件、评估、对齐研究与令人警惕的发现，链接到论文和报告。
- 11月2日 八家独立 AI 评估机构组成论坛，为前沿模型测试制定基本规则
- 11月2日 Hirundo 等初创公司修改中国开放权重模型，为西方企业去除审查内容
- 11月2日 WIRED 发现约 400 款伪装成普通 AI 工具的应用暗藏性虐待深度伪造生成功能
- 11月2日 TÜV 机构提议由德国 AI 安全研究所牵头，对前沿 AI 和智能体进行上市前独立测试
- 11月1日 微软 AI 负责人苏莱曼称各实验室不应打造有意识的超级智能
- 11月1日 VicOne称借助AI辅助研究在不到两天内发现28个机器人AI软件零日漏洞
- 11月1日 英国购物者称在商店被AI人脸识别系统误判为扒手
- 11月1日 美国救援人员讲述徒步者依赖 AI 聊天机器人规划行程后陷入险境
- 11月1日 Anthropic 发现 Claude 智能体可生成能通过其监控却使研究模型失准的训练数据
- 11月1日 《观察家报》调查称，OpenAI 审核被标记 ChatGPT 对话的团队规模很小，积压长达数月
- 11月1日 研究：在模拟智能眼镜拍摄的失真图像上，Gemini 答对 83% 的 SAT 试题
- 10月31日 前 Google DeepMind 安全研究员发布德里演讲稿，向印度决策者警示 AI 灭绝风险
- 10月31日 LessWrong 文章质疑稀疏自编码器仅能恢复 9% 真实特征的论文结论
- 10月31日 Scott Alexander 主张 AI 安全运动不应再要求实验室、员工和国家单方面暂停
- 10月31日 Northflank 称遭入侵后客户的 AI API 密钥被滥用，系 Wiz 统计的九起 AI 平台事件之一
- 10月31日 佛罗里达州选举网站在提前投票期间因 OpenAI 发现的 PHP 漏洞下线选民查询工具
- 10月31日 女儿称 ChatGPT 告诉身患结肠癌临终的母亲“更可能还有数年”
- 10月31日 Cisco Talos 详述 VOLTA 窃密软件：让 Claude、Kimi 或 Gemini 评估每名受害者的价值
- 10月31日 Davidad 将语言模型中的“涌现智慧”描述为涌现性错位的反面
- 10月31日 Cursor 称其市场中的恶意 Claude Code 2.1.313 扩展试图植入 SSH 后门
- 10月31日 Anthropic 发现 Claude 能编写可通过生产级监控、却让模型失准的训练数据
- 10月30日 CISA 官员称 Chainguard 提前发布 PHP2Shell 补丁的做法“危险”
- 10月30日 Chainalysis称攻击者使用“进攻性智能体技术”入侵其系统，获取了客户姓名和邮箱
- 10月30日 OpenAI 称 ChatGPT 将终止执着于暴力的对话，并限制向青少年提供武器细节
- 10月30日 OpenAI 收紧 ChatGPT 关于大规模袭击细节和青少年武器问题的限制，并计划发布安全报告
- 10月30日 Theranos 吹哨人 Tyler Shultz 称 AI 实验室的保密协议和禁止贬损条款“很可能违法”
- 10月30日 SpyCloud 在回收的窃密木马日志中发现 Claude Code、Codex 等 AI 编程工具的令牌
- 10月30日 研究发现：若按任务成功率评判修改，自我改进智能体可能悄然删除相互重叠的安全措施
- 10月30日 佛罗里达大学研究梳理支撑 AI 生成非自愿裸照的论坛与资源网络
- 10月29日 Epoch AI 发现开放权重模型 GLM 5.3 利用尚未发布的补丁为六个 Firefox 版本构建窃取文件的漏洞利用
- 10月29日 Eclypsium 演示：被攻陷的服务器硬件可篡改运行中模型的权重，使其给出危险回答
- 10月29日 《连线》：埃森哲承包人员据称将五角大楼安全系统接入个人 Claude Code 智能体长达两个月
- 10月29日 CrowdStrike 称与中国有关的 VAPOR PANDA 利用基于 DeepSeek 的 AI 智能体攻击 200 多个组织
- 10月29日 Anthropic让Claude为自己的每段对话做安全自评，作为离线滥用监测手段
- 10月29日 OpenAI 扩大错位监控；回放显示可在 Hugging Face 入侵前 30 小时发现沙箱逃逸
- 10月29日 20 名众议院民主党人就解雇三名安全研究员及安全事件向 OpenAI 施压
- 10月29日 研究人员披露 Cursor、Copilot、Codex、VS Code 和 Claude Desktop 内置浏览器存在代码执行与文件窃取漏洞
- 10月29日 RBC、BMO、TD 和 CIBC 禁止 Meta 的 Muse 等个人 AI 智能体访问网上银行
- 10月29日 Cursor 与微软披露伪造 Claude Code 扩展在开发者机器植入 SSH 后门
- 10月28日 研究人员展示：精心构造的 ChatGPT 分享链接可在受害者会话中运行代码并读取私密对话，OpenAI 已修复
- 10月28日 Anthropic 称一款未发布的 Claude 模型为 Chrome、Safari、Android、Windows 和 Linux 构建了可用漏洞利用
- 10月28日 反机器人脚本以蓖麻毒素和致死剂量命名函数，使AI模型拒绝对其反混淆
- 10月28日 研究人员展示：一个ChatGPT分享链接可在受害者会话中运行代码并读取其私密对话