我们相信我们正在进入一个新时代在这个时代，任何前沿强化学习训练运行在继续之前都应要求提供结构化的安全文档。理想情况下，此类文档应达到“安全案例”的水平——即其他安全关键行业所使用的关于风险的全面、结构化、基于证据的论证。我们将安全案例视为我们正在努力追求的远大北极星，同时承认，由于 AI 能力每提升一个新层级都会涌现出复杂性，要让 AI 模型的安全案例像航空或核电那样严谨，仍面临挑战。我们正在制定一个框架来将这些实践编纂成文。
以下是一些初步指南，我们认为它们应成为前沿 AI 训练此类安全案例的一部分。这些最佳实践反映了我们当前的经验教训，我们预计随着我们持续迭代内部流程以进行审慎开发，它们也会不断演进。我们现在分享这些内容，是为了让当前的思考保持透明，并邀请社区提供反馈。请注意，本文档聚焦于前沿强化学习训练；内部和外部部署需要考虑更广泛得多的对齐属性。
1. 技术保障措施
安全案例应涵盖技术栈的三个方面：对齐训练、隔离遏制和监控。这些保障措施有助于确保模型不会试图采取不对齐的行动，并且即使它这样做了，也很难突破隔离遏制，而且监控会在造成伤害之前将其捕获。
模型对齐：第一道防线应是将模型训练为对齐的；即以我们意图的方式可靠地行动。这可能包括：
训练环境和评分：降低模型发展出不对齐行为的风险，方法是在训练期间防止对奖励黑客行为的正强化。这可能包括：
自动化数据集审查：使用智能体来发现并修复有问题的 RL 环境，这些环境可能让不对齐的轨迹通过漏洞利用而非预期行为获得高奖励，从而减少不对齐在训练期间被强化的机会。
人工数据集审查：通过人工审查和数据集质量检查来补充自动化红队测试，以识别可能无意中强化不对齐行为的缺陷任务。
评分器调优：调整评分器，使其在训练期间惩罚模型试图利用或攻击 RL 环境的尝试。
先前运行分析：对先前实验的轨迹运行分类器，以确保评分器按预期工作。
对齐测量：运行评估以追踪模型的不对齐倾向，从而衡量对齐训练的有效性。这可能包括：
离线对齐评估：在前沿运行期间运行对齐评估，以评估训练是否按预期工作，并调查任何重大回归。
回测：对先前事件回测对齐评估，以确认评估能检测出先前不对齐的模型，并且没有对特定事件过拟合。
追踪评估博弈：追踪评估意识或元博弈（模型意识到自己正在被测试）可能诱发的行为变化（例如，在对齐评估上启用评估意识和元博弈监控器），并设置特定的阻断阈值。
最坏情况压力测试：引出最坏情况下的不当行为，并检查至少有一项评估能检测到这种不当行为。
防止对思维链进行训练：不要让自动化评分器在强化学习中看到思维链，以防止模型演化出规避思维链监控器的能力。
隔离：在模型变得不对齐的情况下，使沙箱和安全措施足够强大，以防止有害行为发生。这可能包括：
多层基础设施安全：大力投入加固模型运行的沙箱以及托管沙箱的研究基础设施，以确保在沙箱逃逸事件中我们有额外的保护层。
隔离红队测试：通过使用前沿训练运行的检查点对这些系统进行迭代红队测试（需经过安全分析），来改进沙箱、研究基础设施和边界安全，以发现并关闭任何缺口。还要对模型在训练期间可能接触的所有服务（例如互联网缓存）进行红队测试。
跨样本通信：将高带宽的跨样本通信限制在经批准的路径上，例如多智能体工具，并关闭那些高带宽且容易被智能体发现的基础设施侧信道。
不可变记录：将所有 RL 训练、评估和内部部署的智能体记录以不可变方式保存一段合理的时间（例如，保存在一次写入存储账户中），以便进行可靠的事件调查并防止意外编辑。
监控：在模型开始采取失准行动的情况下，拥有一个实时监控系统来捕捉任何潜在的失准，并在严重事件发生之前迅速处理优先问题。这可能包括：
强制可监控性：确保模型保持可监控，通过具有明确阈值的可监控性和监控规避评估来衡量，以便及早捕捉令人担忧的行为。
对已知问题的高召回率：确保监控系统在留出评估中对过往事件具有高召回率。
监控器的评估新鲜度：为新运行创建代表净新增风险的评估数据点，以免监控召回率和精确率的度量变得过时。
快速响应：实施优先警报，在定义的 SLA 内触发行动，要么通过呼叫待命人员，要么自动暂停受影响的运行，在模型造成伤害之前（例如，白天发生事件时呼叫安全待命人员和运行负责人，夜间对未确认的警报自动暂停运行）。
2. 运营指南
除了关于技术保障的建议外，我们一直在研究前沿 AI 训练运行安全案例的运营最佳实践。这些可能包括：
异议（事前剖析）：在安全案例起草后，另一个团队的成员应撰写一份异议，以找出安全案例中的潜在漏洞，并分享对风险的校准看法，然后训练团队应加以处理，以帮助使安全案例更加完善。
批准安全案例应由高层领导成员审查，每位成员都应有权否决该次运行，以确保对运行有多重内部检查（例如，研究组织负责人 / VP、安全负责人和首席科学家）。
问责制：负责某次训练运行的高级领导（例如，研究组织负责人 / 研究 VP）应对安全案例和任何事件响应负责（包括作为绩效评估的一部分），这样训练团队也会有动力推动安全与对齐。
暂停：如果发现会使安全案例失效的问题（例如，新的安全问题），确保有 runbook、技术控制和 SLA 来暂停所有受覆盖的运行。
内部透明度：安全案例应提供给内部监督团体（例如，安全与安保委员会）。
审计：审计人员应获得足够的访问权限，以验证安全案例中的主张有效且合理，并在发现缺口时提出。
升级：应有明确的流程来提出失准升级，并附有定义失准严重程度等级的表，以及失准 on-call，当运行达到某一严重程度等级时可以向高管（例如，CEO）发页。
技术控制：人类和智能体应难以启动不合规的运行。监控和自动暂停等安全功能应故障关闭（例如，不应可能在未启用适当监控的情况下启动运行，或在 RL 训练、评估或内部部署中禁用监控）。
回滚能力：应能轻松识别训练过程中失准模型的所有下游用途（例如：数据生成或评分），以便在必要时撤销失准输出的影响。
残余风险完整性：安全案例应尽可能全面地列举当前已实施缓解措施未覆盖的残余风险，以便做出知情的风险接受决策。
这些代表我们当前的建议，并正在 OpenAI 实施中。我们预计我们的实践将在未来几周继续演进。
3. 对失准事件的调查
我们也在制定一些调查严重 AI 失准事件的最佳实践。实验室应尽可能从单个事件中学习（类似于调查实践（在新窗口中打开）在其他高风险行业中的做法），以便能够防止此类情况在未来发生。此类行动的一些示例可能包括：
内部透明度：由于调查可能需要相当长的时间才能完成，事件调查应定期在内部通报进展（例如，对正在进行的调查每日更新）。员工应有明确的途径获取更多访问权限，包括原始记录和对失准模型的采样，前提是对其工作安全且相关。
失准根因：研究人员应对训练动态进行根因分析（例如，通过有针对性的消融或重采样实验），以理解失准行为是如何被引入的，从而更好地理解失准的科学并更好地在未来预防它。
事后复盘：应进行运营和文化层面的事后复盘，以理解导致该事件的所有成因，例如为什么问题被引入并在事件发生前未被发现或未被上报。
检测：我们应开发对齐测试方法，能够发现导致该事件的倾向，而不直接基于从事件中衍生的信息（例如，记录或事件摘要）进行爬坡优化。源自事件的评估应作为“回归测试”来创建，以确保未来的模型不会在非常相似的事件上表现出失准倾向。
公开披露：调查结果、事后复盘和运营变更应在向公众分享在调查结束后。受影响的第三方应尽快得到通知。