OpenAI 部署 Control Room,可在 35 秒内停止研究模型输出

OpenAI 称该系统已在其全部研究基础设施上运行,且自身故障时会停止输出;35 秒这一数字来自公司,尚未经独立测试。
为何重要
Control Room 是 OpenAI 对一个实际安全问题的回答:监控发现问题后,实验室能多快停下一个模型。据 Unite.AI 报道,今年早些时候,警报触发后人工关停一个内部模型用了 2.5 小时,因此 35 秒停止在纸面上是很大的变化。该系统覆盖训练和评估等研究工作负载,不包括面向公众的 ChatGPT 和 API,OpenAI 称后者本已可集中下线。值得关注的是是否会有外部审计验证停止时间,以及其他实验室是否公布类似机制。
要点
- 决定停止后 35 秒内终止模型输出
- 已在 OpenAI 研究基础设施中部署
- Control Room 自身宕机时拒绝推理
- 覆盖训练、评估和数据处理任务
- 今年早些时候一次人工关停耗时 2.5 小时(Unite.AI)