在蒸馏中,一个模型从另一个模型的完整输出中学习。这包括更强模型的完整思维链,而不仅仅是它的答案。正是这些中间步骤让输出如此有价值。OpenAI 表示,它们可能包含被刻意排除在最终答案之外的信息,并且可以帮助他人复现一个模型的能力。

据 OpenAI 称,该活动于 7 月 1 日以低量开始。在 7 月 24 日和 25 日,它激增至来自 4000 多名用户的 16000 次请求,全部依赖一种典型的提取模式。进一步调查发现了一个由超过 15000 个具有相关模式的账户组成的网络,OpenAI 表示已在 7 月 28 日前将其完全关闭。一条脚注澄清,这些是尝试性提取,未必成功。

OpenAI 将这一活动背后的一个核心团体与 Moonshot AI 相关的人员联系起来,后者是开发 Kimi 语言模型的公司。该公司表示,尚不清楚其观察到的所有行为者是否都追溯到单一来源。Anthropic 最近报告了中国 AI 公司进行的类似尝试。

一个廉价模型可以解锁一个昂贵模型隐藏的思维

据 OpenAI 称,攻击者从一段对话中复制加密的推理内容,然后在另一段对话中要求一个模型将其解密并写出来。

研究员 Joachim Schaeffer 和他的团队已经在一篇论文中展示了这是如何运作的。AI 提供商仅以加密数据包的形式将推理内容发送回客户,客户会将这些数据包随后续请求一起传递。研究人员发现,由于这些数据包使用共享密钥加密,它们可以在会话之间、用户之间,甚至同一提供商的不同模型之间转移。这使得同一家族中一个更弱、更便宜的模型可以充当“解密预言机”,逐字打印出更强模型隐藏的思维。

OpenAI 点名感谢了这些研究人员。该公司表示,已确认他们报告的攻撃路径是真实的,并且他们的发现帮助它更快地推出了应对措施。

OpenAI 表示,此后它已封禁欺诈账号、收紧注册流程,并堵上了那个允许人们复用和读取不属于自己的加密推理内容的漏洞。它现在还会筛查流式输出,如果输出可能泄露推理内容,就会将其拦截。OpenAI 表示,它已通过Frontier Model Forum和政府渠道分享了其了解到的情况,因为这个问题并不局限于它自己的模型。

锁住 API 也没用,如果云平台仍然敞开大门

事情还没完。同一天,研究人员发布了他们研究的更新。“我们又偷到了推理内容,”Schaeffer 写道在 X 上。他认为,保护好自己的 API,并不能保护更广泛的云服务提供商生态,这些提供商同样在售卖对模型的访问权限。

当团队在 9 月 13 日再次测试时,该攻击在 OpenAI 和 Anthropic 自己的 API 上已被拦截。在 Microsoft Azure 上,它对他们尝试的每一个 OpenAI 模型都奏效,包括新的 GPT-6 Astra,以及对 Anthropic 模型直到 Sonnet 5 都有效。仅一次尝试就足以逐字提取出推理内容。“同样的模型,但保护措施因由哪个平台提供服务而不同,”Schaeffer 说。

还有第二种更简单的方法,由开发者 Can Bölük 公开演示。模型获得一个虚拟记事本作为工具,并被要求把推理过程写在那里,然后用户就可以读取它写下的任何内容。研究人员称,这在每一个 OpenAI 模型上都奏效,在 Opus 4.8 和 Sonnet 5 上也一样。只有 Opus 5、Fable 5 和 Fable 5.1 没有泄露其推理内容。其输出与解密攻击所产生的结果高度相似,研究人员认为它很可能同样适用于蒸馏。

研究人员将迄今为止的修复描述为零散且表面的。许多修复依赖于对特定请求模式的脆弱匹配,有些过了好几天才到达云平台。GPT-6 Astra 在第三方平台上线时,这些保护措施一个都没有到位。根据研究人员的时间线,OpenAI 直到 9 月 27 日才为 Azure 端点添加防护措施。对于 Anthropic 模型,从 9 月 28 日起,所报告的提取在 Azure 上已无法复现。

Schaeffer 认为,补丁必须覆盖每一种攻击类型以及每一个托管模型的云平台。否则,攻击者只需选择防御最薄弱的路径即可。这篇论文更进一步,主张不实施同等防护的云服务商根本不应被允许提供推理模型服务。研究人员写道,如果允许,开放的后门实际上会让人在 API 层面绕过出口管制。OpenAI 承认,由合作伙伴托管的模型需要与其自身服务同等的保护,并表示这项工作尚未完成。

我们此前报道过该研究团队最初发现该漏洞的情况。我们最新的关于中文语言模型的 AI Radar 通讯更深入地探讨了蒸馏。OpenAI 预计,随着领先模型不断进步、越来越多的参与者寻找廉价方式来复制它们的能力,这些尝试将变得更加复杂。