随着我们的模型能力越来越强，相关的安全与安保风险也越来越大，能够检测潜在问题并在需要时迅速让模型停止运行，正变得越来越关键。为解决这个问题，我们构建了 Control Room。

Control Room 是一个中央系统，用于追踪我们研究基础设施中的模型工作负载，并在出现安全或安保问题时迅速将其停止。它连接了每一个研究推理工作负载，包括用于模型训练和评估的智能体采样、数据处理等。它与我们的失准监测系统协同工作，并在做出干预决定后 35 秒内停止模型输出，以停止或暂停某个任务。它的设计目标是即使其他系统发生故障也能继续工作，并且在 Control Room 自身宕机时也能停止模型输出。

Control Room 已部署在我们需求最迫切的研究基础设施中。我们的外部模型服务栈本身在性质上已经更加集中化，并具备成熟的运维能力，可在需要时迅速下线模型部署。

工作原理

Control Room 通过集成几个系统来工作：工作负载、推理引擎，以及集中式的Control Room 服务。

  • The工作负载是正在运行的任务，例如强化学习实验、评估、大批量采样或数据处理任务。我们要求每一个执行智能体推理的研究工作负载都必须关联一个已获批的安全案例。

  • The推理引擎，或简称引擎，就是模型本身。你可以把引擎理解为模型的大脑，直接运行在 GPU 上。一个工作负载通常使用一个或多个模型，这些模型可能运行在一个或多个不同的推理引擎上。同一个推理引擎也可能被多个不同的工作负载使用。

  • Control Room 服务追踪任务，并控制它们是否被允许继续生成模型输出。引擎在满足请求之前会先向 Control Room 服务确认。如果某个任务已被停止，该服务会拒绝请求，从而阻止进一步输出。

Control Room 的集成方式如下：

  • 启动新任务时，工作负载代码会向 Control Room 请求一个新的 job_id。

  • 每当工作负载需要从模型采样 token 时，它会向运行该模型的推理引擎发起请求，并传入 job_id。引擎会向 Control Room 请求许可来满足该请求，并将 job_id 一并传给 Control Room。

  • Control Room 会检查该任务是否已被终止，如果已终止，则拒绝该推理请求。引擎会以拒绝来回应工作负载的推理请求，从而阻止该任务继续产生模型输出。

Control Room 如何工作

步骤 1

一位研究员决定启动一个任务

流程始于研究员启动一个任务——例如，一个实验或一次评估。

01 / 13

示例：对监控警报做出反应

我们所有的前沿强化学习任务都在监控器下运行。一个监控器是另一个模型，它会检查被训练模型正在做的一切，并在检测到问题时发出警报。例如，我们最近的DNS 相关事件⁠（在新窗口中打开）就是被监控器捕获的。

Control Room 与我们的监控系统按以下方式集成：

  • 如果监控系统检测到潜在问题，根据细节和严重程度，监控系统可能会决定停止该任务。

  • 在这种情况下，监控系统会向 Control Room 发送消息以停止该任务，并传入 job_id。Control Room 会记录该任务已被终止。

  • 下次，拥有该 job_id 的任务向运行在任何引擎上的任何模型发起推理请求以采样更多 token 时，该请求将被拒绝，从而阻止进一步的模型输出。

速度与可靠性

从 Control Room 收到停止任务的指令那一刻起，到无法再取得进一步进展那一刻止，最长时间为 35 秒。这 35 秒的延迟来自推理授权的缓存层，以支撑所需的流量规模。我们正努力将这个数字降至零，以便能够立即终止任务。

工作负载（包括实验、评估任务等）通常由研究人员或研究团队拥有和运营。因此，工作负载代码经常变化，并不是实现关键承重安全防护的理想位置。正因如此，我们的实现被设计为能够容忍有缺陷或损坏的工作负载代码。

我们通过在推理层实现终止机制来做到这一点。工作负载代码高度多样且分散。相比之下，整个 OpenAI 研究中使用的推理代码路径数量非常少，而且它们的部署更加集中和统一。这意味着推理层可以充当瓶颈，使我们能够获得强有力的保证：研究中运行的所有模型推理，在每次推理请求时都必须经过 Control Room 的授权检查。我们还持续运行智能体和程序化扫描，以检查用户不会意外或恶意启动未实现或禁用 Control Room 的违规引擎实现。

最后，我们的系统“故障关闭”，这意味着引擎中的 Control Room 集成配置为：如果 Control Room 服务宕机——无论是由于系统错误，还是因为任何其他原因被禁用，包括被恶意行为者篡改——那么所有推理请求都将被拒绝，直到 Control Room 恢复正常运行。故障关闭现已推广到所有前沿模型研究工作负载，并将在未来几天内完成向所有其余研究工作负载的推广。

Control Room 只是我们实现安全前沿模型训练与部署的整体方法的一部分。在未来几个月里，我们将继续加强和扩展该系统，同时加大对失准行为和安全漏洞监控的投入。如果你想帮助构建用于安全可靠地开发和部署 AGI 的系统，我们⁠正在招聘⁠！