ZH ▾
SNAPE REP RT 头版 →
进展中AI 安全11月09日 21:45 UTC

OpenAI 部署 Control Room,可在 35 秒内停止研究模型输出

Cover image for Unite.AI's report on OpenAI's Control Room system
Unite.AI

OpenAI 称该系统已在其全部研究基础设施上运行,且自身故障时会停止输出;35 秒这一数字来自公司,尚未经独立测试。

在 Unite.AI 阅读全文 分享

为何重要

Control Room 是 OpenAI 对一个实际安全问题的回答:监控发现问题后,实验室能多快停下一个模型。据 Unite.AI 报道,今年早些时候,警报触发后人工关停一个内部模型用了 2.5 小时,因此 35 秒停止在纸面上是很大的变化。该系统覆盖训练和评估等研究工作负载,不包括面向公众的 ChatGPT 和 API,OpenAI 称后者本已可集中下线。值得关注的是是否会有外部审计验证停止时间,以及其他实验室是否公布类似机制。

要点

  • 决定停止后 35 秒内终止模型输出
  • 已在 OpenAI 研究基础设施中部署
  • Control Room 自身宕机时拒绝推理
  • 覆盖训练、评估和数据处理任务
  • 今年早些时候一次人工关停耗时 2.5 小时(Unite.AI)

来源

更多AI 安全报道
Snape Report 更多报道头版 →