我们已与四家独立评估机构——Apollo Research、METR、Transluce 和 Goodfire——签署协议,开展第一阶段的嵌入式评估。随着 AI 能力快速提升、潜在风险不断增长,来自独立评估的公开报告可以让人们更清楚地了解实验室如何评估和管理这些风险。

嵌入式评估让独立专家能够在较长时间内深入接触实验室的内部模型和系统,以评估模型对齐情况以及防护措施的有效性,尤其是在与我们的安全案例相关的方面。根据每项评估的具体需求,评估人员可以访问我们研究人员使用的一些相同内部资源,包括模型检查点、源代码、训练和评估数据、监控系统、技术文档,以及与负责相关工作的研究人员和工程师的讨论。这种访问权限为评估人员提供了证据和背景,以便开展独立评估并发现我们可能未曾预料到的失效情况。

我们的初步评估聚焦于模型在训练和内部使用期间的对齐与防护措施,作为我们安全案例的补充。这些评估建立在我们对第三方评估的优先事项和原则以及多年来与第三方评估机构合作的基础上,包括最近对我们内部监控系统⁠(在新窗口中打开)进行的一次具备深度内部访问权限的试点评估,以及对Hugging Face 事件⁠(在新窗口中打开)的调查。我们将利用所学到的经验,在未来几个月深化与独立专家的合作。这些努力也支持我们在《白宫超级智能协议》下作出的承诺,我们同意对我们的安全控制措施进行独立评估。这些合作有助于在整个行业推动更强大的独立评估和公开透明度共同标准。

我们的试点嵌入式评估机构

Apollo Research

在本次试点评估中,Apollo Research⁠(在新窗口中打开)将评估模型是否会暗中违背开发者的意图行事,以及我们的防护措施能否检测到此类行为。评估将依据来自训练、安全测试和内部使用的证据。Apollo 将分两个阶段评估四项主张:

  1. 训练没有激励颠覆行为。

  2. 强评估和红队测试不会诱发颠覆行为。

  3. 模型在内部使用期间未尝试过颠覆行为。

  4. 颠覆行为背后的推理过程可以被检测到。

在 Apollo 评估的第一阶段,我们将提供对选定的公开和未公开模型及训练检查点的访问权限、相关训练数据和评估结果、训练干预记录、监控系统和已标记行为,以及能够提供背景信息的研究人员,并提供开展独立测试所需的工具和算力。

Goodfire

Goodfire⁠(在新窗口中打开)将派驻可解释性研究人员,并使用 Goodfire 平台分析模型内部结构。其评估的主要目标是训练运行监控、调试和对齐。其评估的主要受众是 OpenAI 内部研究人员,他们将利用这些发现来改进安全性。Goodfire 还将在合作推进过程中发布经验教训和发现。

METR

我们打算与METR⁠(在新窗口中打开)开展两项评估,聚焦于模型对齐和监控:

  • 对齐评估:在第一阶段,METR 将评估我们迄今为止规模最大的强化学习运行中的失准行为,包括我们现有测试和监控可能遗漏的失败情况。在选定的运行范围内以及商定的访问权限、资源和安全安排下,METR 将独立设定评估优先级,并迭代开展搜索、分析和诱导实验。访问权限将包括对该运行的相关检查点、训练和评估 rollout 以及失准监控记录进行采样。在第一阶段,评估将聚焦于我们规模最大的前沿 RL 运行。1

  • 监控评估:我们最近与 METR 合作开展了一次监控压力测试演练2。我们已初步同意再开展一次监控评估⁠(在新窗口中打开)我们打算将其范围扩大,但这有待双方就评估范围达成一致。

Transluce

Transluce⁠(在新窗口中打开)将对我们训练后对齐评估进行初步评估,检查其质量和覆盖范围。在初步评估中,我们将向 Transluce 提供选定公开和未发布模型的访问权限、我们的训练后对齐评估及相关结果、支持模型行为的数据和安全案例文档,以及能够提供背景信息的研究人员,同时提供开展独立测试所需的工具和算力。

OpenAI 和 Transluce 还计划在 2027 年初进行约八周的后续评估,届时将获得更多模型的更广泛访问权限、对我们对齐评估的更深入访问,以及关于评估结果如何影响模型发布决策的信息。

嵌入式评估的协议

我们在评估方参与下制定了协议和流程,以在深度访问与安全、保密、监督以及评估的独立性和完整性之间取得平衡。我们分享这些内容,是为了说明我们将如何与嵌入式评估方合作,并推动关于嵌入式评估规范的讨论——这些规范尚未标准化。我们预计,随着我们进一步了解如何最好地开展这些评估,这些协议将需要不断演进。特别是在嵌入式评估的早期阶段,我们预计会出现技术访问挑战、空间限制、不断演变的安全协议以及其他意外问题。我们希望与嵌入式评估方合作应对这些挑战,并分享经验教训。

范围界定与迭代

每次评估合作都从约定的范围开始,并明确开展严格评估所需的访问权限、资源和安全安排。有些评估针对特定的安全声明进行检验;另一些则给评估者留出空间,在既定系统或训练运行中发现意外的失效模式。无论哪种情况,评估者都需要自由地循证据而行、改进方法,并在发现结果值得时提出进一步评估。我们还设有一套流程,用于在评估推进过程中处理额外的访问需求。当直接访问可能暴露我们最敏感的 IP(例如模型权重或架构)时,我们会考虑替代方案,包括让评估者与 OpenAI 研究人员配对开展分析。

安全、现场的环境

需要访问敏感机密信息的评估者将在 OpenAI 办公室现场工作,并获得 OpenAI 设备来开展工作。主要目的是保护他们所访问信息的安全。现场工作也让评估者有机会与专职人员交流,后者可以帮助他们熟悉访问权限,并为评估提供背景信息。我们还期望我们的嵌入式评估者至少遵循3与 OpenAI 员工在运行实验和评估时相同的安全标准。

监督与争议解决

我们的安全与安保委员会(SSC)是 OpenAI 基金会董事会下属的独立监督委员会,将对嵌入式评估拥有可见性,并能在评估之前、期间和结束时行使监督职责。他们将收到未经涂改的报告,评估者和 SSC 在评估期间可以相互交流,包括私下交流。OpenAI 与任何评估者之间的分歧将上报至安全咨询小组和 OpenAI 高管,后者将在规定期限内解决分歧,SSC 将在分歧上报时及时获悉任何此类分歧。如果分歧仍然存在,该事项将提交 SSC 解决。

员工讨论与证明

与员工的讨论有助于评估者了解内部信息以及工作背后的背景。OpenAI 将授权并向能够与评估者交谈的员工提供指导,评估者可根据需要请求与更多员工交谈。为鼓励开放、坦诚的交流并保护我们员工的隐私,这些讨论均为不公开记录,这意味着它们可以为评估提供参考,但不得公开发布或归因于员工。通过单独的证明途径,评估者可以请求 OpenAI 出具经证实的声明,以核实、更正或澄清他们在与员工交谈中了解到的情况。这些声明不归因于个人,也不旨在描述个人观点。评估者可以发布 OpenAI 予以证实的声明,或披露 OpenAI 拒绝证实某项声明。

利益冲突披露与冷却期

清晰、透明地管理利益冲突——包括涉及个人关系、财务利益的冲突4以及其他问题——对于评估的诚信和独立性至关重要。冷却期5也需要精心设计,以便评估者能够在各实验室之间负责任地开展工作,同时谨慎处理竞争性信息。我们正与评估者合作,为利益冲突和冷却期制定明确的流程,包括在缓解措施上允许灵活性,并在要求回避的决定上保持透明。

发布与负责任披露期

评估者在发布其评估时保持独立性,但我们将保留对机密信息进行删改的权利,这与我们此前的第三方合作一致。我们还可能要求延迟负责任披露,以便有时间对可能构成安全或安保风险的发现采取行动,并修复仍然存在的问题。

公开报告将帮助人们理解这些发现及其局限性,而更详细的机密报告则为监督机构提供采取行动所需的证据。我们希望这些评估能够改进我们识别和应对风险的方式,并为公众评判我们的安全工作提供更清晰的依据。

展望未来

这些评估为我们持续进行的对齐与安全工作带来了独立视角。公开报告其发现将使这项工作更加透明,并就风险如何被识别和应对提供更强有力的保证。我们预计第一阶段的评估将逐步发展为更长期、持续嵌入的合作,从而能够持续提供第三方安全信号,并针对我们最关键的安全主张和安全案例提出改进建议。

我们将继续与多个独立第三方合作,帮助构建一个拥有多元专业知识和方法的健康评估生态。有些调查需要对敏感系统进行持续的现场工作;另一些则主要评估已部署或即将部署的模型,或审阅公开文档。

在未来几个月里,我们将支持围绕更广泛安全问题的外部评估。我们还在探索未来的嵌入式评估,以考察我们对安全框架的遵守情况,以及我们的组织文化和流程。我们致力于扩大这项工作,并帮助建设维持这项工作所需的能力和共同标准。