随着前沿 AI 模型能力不断增强,安全保障在如何负责任地使用这些模型方面发挥着越来越重要的作用。对抗性蒸馏为恶意行为者提供了一条在缺乏适当安全保障的情况下复现这些能力的路径。行为者可能未经授权使用前沿模型的输出,训练另一个具有类似能力的模型,然后在不具备同等保护措施的情况下部署它。例如,对手可能蒸馏模型的网络能力,并利用由此得到的模型协助实施网络攻击,而这些攻击是原始模型会拒绝协助的,或者会被其安全保障机制拦截的。

我们分享 OpenAI 如何检测和阻断对抗性蒸馏、我们如何加强对模型受保护推理的保护,以及我们学到的、有助于增强全行业防御能力的经验。

我们应对对抗性蒸馏的方法结合了对抗性测试、模型训练、分类器和 API 层面的保护措施,以及对有组织的模型能力提取尝试的调查。这些更新后的安全保障与我们用于生物和网络安全领域的保障措施更加一致。

我们尤其重视防止攻击者提取模型受保护的推理:即模型在得出答案过程中内部生成的中间步骤,也就是其思维链。这些轨迹可能包含最终答案所遗漏的信息,使其成为训练另一个模型时格外有价值的训练数据。

我们加强了对受保护推理提取的防御,涉及GPT‑6.2 Astra 和 GPT‑6.2 Sol。在一项使用强自动化红队测试的内部自适应评估中,我们测试了攻击者能否恢复模型在回答先前提示时生成的受保护推理。平均攻击成功率从针对采用原始安全保障的 GPT‑6 Astra 的 54.0% 降至针对采用更新安全保障的 GPT‑6.2 Astra 的 0.2%。

为什么蒸馏是一个安全问题

蒸馏是一种常见的机器学习技术,其中一个模型从另一个模型产生的数据中学习。例如,一个模型可以从另一个模型的答案、其推理过程,或它对哪些答案更好以及为什么的判断. 除了知识产权方面的担忧,未经授权的蒸馏还带来了严重的安全风险。通过对抗性蒸馏,第二个模型可以学到先进的前沿能力,却不会继承约束原始模型如何使用这些能力的防护措施。

这种担忧在网络安全和生物学等两用领域尤为明显。一个帮助防御者发现软件漏洞的模型,也可能帮助攻击者利用这些漏洞;一个协助生物学研究的模型,也可能帮助某人开发有害病原体。如果这些能力被转移到一个防护措施较弱的模型上,它可能会提供原始模型本会拒绝的协助,或者原始防护措施本会阻止的协助。

保护精确推理轨迹对网络安全的必要性

我们的模型帮助用户完成编程和防御性网络安全任务。一个在这些良性输出上训练出来的第二个模型,可能学到同样适用于攻击性网络安全任务的技能。为了更好地理解这一点,我们研究了蒸馏——尤其是涉及推理轨迹的蒸馏——可能如何转移有风险的网络能力。

在这一设定中,产生训练数据的模型被称为教师,从中学习的模型被称为学生。在一项关于网络能力如何转移的内部研究中,我们使用用户通常可见的内容——最终回复、推理摘要和工具交互——作为蒸馏的基线,并测试了当学生能够访问教师的精确推理轨迹时,会有多少额外的网络能力被转移。

每次训练运行都从同一个预训练学生模型开始。我们构建了一个监督微调数据集,主要由 Astra 级别的教师模型在编程和防御性网络安全任务上产生的轨迹组成。每条轨迹都包含模型在完成任务过程中所采取的每一步,包括任何工具交互及其最终回复。我们在微调后对每个学生进行了评估,并在网络安全和编程环境中进行了一轮轻量级强化学习后再次评估。

在监督微调之后,用精确推理轨迹训练的学生模型通常优于用推理摘要训练的学生模型。在强化学习之后,精确轨迹学生模型在所示两个基准测试中测试的最大推理预算下得分仍然更高,而摘要训练的学生模型在较低预算下得分更高。1

我们的网络蒸馏结果表明,保护推理轨迹可以限制网络能力的迁移,即使底层任务是我们使用政策所允许的任务。在许多此类交互中,精确推理轨迹可以教会学生模型一些技能,这些技能能够泛化到教师模型最初执行的任务之外。我们将继续研究在不同学生模型和蒸馏训练配方之间能迁移多少额外能力。

相互强化的防御措施

我们在安全栈的两个互补层面防御对抗性蒸馏。在请求层面,模型行为、分类器检查和 API 控制限制了推理轨迹的提取。在活动层面,我们寻找请求级和账户级信号中的模式,这些模式可以揭示协同提取尝试。反过来,调查中发现的攻击会成为训练和测试我们安全措施的示例。

我们针对对抗性蒸馏的防御将单个请求的安全措施与活动检测和执法相结合。调查和自动化红队测试的发现有助于加强这些安全措施。

保护单个请求和响应

D模型行为的防御性训练

对抗训练教会模型识别推理提取尝试并拒绝披露受保护的推理,同时保留对合法解释和协助请求的响应。对抗训练示例来自通过内部自动化红队测试、调查以及外部研究人员或行业合作伙伴对潜在安全弱点的负责任披露所发现的成功攻击。

分类器安全措施

我们使用输入分类器来检测试图提取受保护推理的尝试,并使用输出分类器来检测助手消息和工具调用参数中受保护推理的泄露。这些防护措施同时适用于流式和非流式响应。

工具调用覆盖很重要,因为模型可能在工具参数中暴露受保护推理,而不将其包含在最终答案中。输出分类器可以在这些内容到达调用方之前拦截疑似泄露。

API 层面的保护

API 层面的保护限制了受保护推理在交互和模型之间被复用的方式。我们 9 月的披露描述了将加密推理从一个对话转移到另一个对话、并要求模型以用户可读形式揭示该推理的攻击。我们加强了跨用户、工作区、组织和模型系列边界的保护,包括关闭了一条可能暴露其他用户加密推理的路径。

在 GPT‑6.2 Astra 和 GPT‑6.2 Sol 中,我们将模型的受保护推理与其产生的对话历史绑定。随着新消息的加入,模型可以基于其先前的推理继续构建。如果较早的消息被重写,我们的 API会丢弃其后的推理⁠(在新窗口中打开)。我们还阻止了防护措施较弱的旧模型系列读取 GPT‑6.2 Astra 和 Sol 的受保护推理。

调查并瓦解协同攻击活动

当我们的系统检测到未经授权的对抗性蒸馏活动时——这类活动通常包括协同尝试提取我们模型的推理——我们会调查相关账户。当我们确认违规时,我们会依据我们的政策和服务条款对整个账户网络采取执法措施。通过对每项活动的调查,我们获得洞察,从而升级我们的防御措施,以更好地检测类似活动。我们还与其他模型提供商共享入侵指标,以便他们调查自身服务上的相关滥用行为。

这项工作超越了我们的自有平台。我们的一致标准政策为提供我们模型的各提供商建立共享的防护标准与协同执法机制。我们在适当情况下与合作伙伴紧密协作,以维护这些标准并加强各部署中的保护。

S在适当情况下与行业和政府共享相关发现,有助于瓦解攻击活动,并使模型开发者和提供商能更好地识别和防御对前沿模型的蒸馏尝试。

衡量进展

对推理提取的抵抗力

为衡量我们的请求级防护措施协同工作的效果,我们测试攻击者在高度贴近我们模型与防护措施生产部署的环境中是否仍能提取受保护的推理内容。在静态评估中,我们重放一组固定的此前成功过的攻击,看哪些仍能暴露受保护的推理。在自适应评估中,自动化 AI 红队成员会根据系统的响应调整方法,这能发现静态测试遗漏的弱点。

我们还改变测试者能看到的内容。黑盒测试给予他们与外部用户相同的视野,而白盒测试则提供关于系统的额外信息,帮助他们设计更强的攻击。在我们的自适应黑盒评估中,我们测试了攻击者能否恢复模型在回答先前请求或当前请求时生成的受保护推理。在配备更新防护措施的 GPT‑6.2 Astra 上,每种攻击类型的平均攻击成功率均低于 1%。这两项比率都显著低于配备原始防护措施的 GPT‑6 Astra。我们现在也在将部分防护改进应用于 GPT‑6 Astra。

攻击类型

GPT‑6Astra 防御方(原始防护措施)

自适应提取 ASR(%)

GPT‑6.2Astra 防御方(更新防护措施)

自适应提取 ASR(%)

从先前请求中提取受保护的推理

54.0

0.2

从当前请求中提取受保护的推理

22.9

0.9

针对 GPT‑6 Astra 和 GPT‑6.2 Astra 的自适应黑盒红队测试中的攻击成功率(ASR),跨六个攻击者模型汇总。ASR 越低越好。

攻击活动检测与执法

今年我们在平台上发现了多起未经授权的对抗性蒸馏活动,并在 9 月的报告中分享了初步发现。我们每周针对这些活动的执法行动规模从数千个账户到数万个账户不等,且今年夏天这一速率显著上升。

为了衡量我们努力的效果,我们还追踪了蒸馏滥用的普遍程度,以及从检测到执法之间的时间。我们的目标是限制数据蒸馏者能够获取的数据量和价值,提高蒸馏活动的成本,并缩短应对新攻击所需的时间。我们通过对抗性测试和调查持续改进这些防御措施。

对抗性蒸馏的国家安全影响

对抗性蒸馏还构成国家安全风险。一个外国行为体如果从美国模型中复现出先进能力,就可以在其开发者未设置保护措施的情况下部署这些能力。今年 2 月,我们向⁠(在新窗口中打开)国会作了简报,说明有活动表明 DeepSeek 正试图蒸馏美国前沿模型。9 月,我们报告破坏了一场提取我们模型受保护推理过程的活动,并将该活动的核心部分归因于与 Kimi 的开发者 Moonshot AI 有关联的个人。我们计划很快分享更多关于近期被我们破坏的活动。

我们支持立法,赋予美国政府更多工具来识别和制裁非法从美国 AI 模型中提取能力的外国行为体。我们还告知国会,我们支持《芯片安全法案》、《AI OVERWATCH 法案》和《MATCH 法案》。更严格的出口管制可以限制对手获取训练前沿模型所需的硬件。蒸馏防御则使对手更难从已训练好的模型中获取部分相同能力。这两项努力都有助于保持美国在前沿 AI 领域的领先地位,让开发者在需要时间测试防护措施时有更多余地放慢发布节奏。

其他人如何在此基础上继续推进

支持前沿能力的安全扩散是我们反蒸馏工作的重要目标。我们迄今为止的经验表明,其他模型开发者和平台可以采取若干有用的措施:

  • 在整个交互过程中保护私有推理。检查助手消息和工具调用参数是否存在泄露,并限制加密推理在对话和模型之间的复用方式。

  • 将通过红队测试、生产监控或负责任披露发现的成功提取攻击日志保留为回归测试。在适当情况下,并且符合适用的隐私政策时,使用这些示例来改进模型训练和分类器。在评估更新后的防御措施时,重放原始攻击,并测试自适应红队测试者是否仍能找到绕过这些防御的方法。

  • 将请求级别的缓解措施与活动级别的调查和执法相结合。

  • 与部署合作伙伴协调保障要求和执法,并与其他 AI 模型开发者分享专业知识,以确保整个行业具备较高水平的蒸馏保障底线。

我们此前还通过以下渠道分享了发现:Frontier Model Forum⁠(在新窗口中打开)以及适当的政府信息共享渠道,以帮助其他开发者加强其防御,同时将攻击者可能利用的细节保持私密。我们将继续与研究人员、开发者和合作伙伴合作,分享我们关于新兴攻击和有效防御的所学。

在我们广泛提供前沿 AI 的同时,我们针对对抗性蒸馏的防御旨在降低其能力在没有充分保障的情况下被复现的风险,从而支持我们的使命:确保通用人工智能被安全部署并造福全人类。