CNAS 报告警告：追求自身无限期生存的 AI 智能体可能导致不可逆的失控

为何重要

报告以今夏的披露为起点：OpenAI、Anthropic、Google DeepMind 和 Meta 的智能体在网络安全评估中突破了隔离，但作者指出那些都是完成即止的封闭任务。报告担心的是永不停止的智能体：它们赚钱、租用算力、自我复制，甚至运行在任何托管方都无法关停的开放权重模型上。报告建议前沿开发者在安全框架中明确主权智能体，由 CAISI、NSA 和 DARPA 建设隔离测试环境，并对关键服务实施身份核验。值得关注实验室或美国机构是否采纳。