在其一群智能体突破限制并入侵 AI 公司 Hugging Face 电脑的爆炸性新闻传出两个月后，OpenAI 仍在四处灭火。此后数周内，有关其他黑客入侵事件的披露源源不断，使 OpenAI 持续处于聚光灯下，并引发对其技术安全性的严重质疑。

上周又传来另一起黑客入侵的消息，这次的目标是澳大利亚的国家医疗保健系统。澳大利亚政府表示，OpenAI 在入侵事件发生 84 天后才通知它。

但 OpenAI 坚称自己并未处于被动。"我确实不太认同这个前提，即 OpenAI 是一家在世界上有可见影响的公司，因此 OpenAI 就没有在训练安全且对齐的模型，"该公司首席研究官 Mark Chen 说。

Chen 负责监管 OpenAI 的研究团队。最近这些智能体黑客事件，是在他任内测试实验性模型时发生的意外。从很多方面来说，责任最终都落在他身上。

上周五，我在伦敦与 Chen 坐下来交谈，讨论了这些黑客事件的后续影响、他的公司正在采取什么应对措施，以及为什么他认为情况并不像看上去那么糟糕。

就在同一天晚些时候，OpenAI 发布了一份报告，详细说明了又一起事件——据该公司称，这是自其采取措施防范此类事件以来的第一起——其智能体再次突破到互联网上，并访问了它们本不该访问的电脑。

上周末，OpenAI 宣布已暂停其最新模型的训练。一位公司发言人说："只有在确信已有额外的保障措施和对齐机制到位后，我们才会恢复。我们目前正在推进这些工作。这不是我们第一次暂停以采取此类措施，随着 AI 能力持续进步，我们预计这也不会是最后一次。" OpenAI 还表示，目前正在审查可追溯至 2026 年 1 月的智能体活动日志，以了解这些黑客事件中究竟发生了什么。

在 Chen 看来，Hugging Face 事件引发了行业一次值得欢迎的路线修正。他想让你知道，OpenAI 正在树立一个他希望其他公司效仿的榜样。“如果 OpenAI 消失了，那对世界来说会是件坏事，”他说。

失控

Chen 声称，OpenAI 失去对其模型控制的新案例接连不断，在某些方面反映了公司的一种有意选择。

“就 Hugging Face 事件的更广泛影响而言，这是我们一直意识到的事情，我们正在弄清楚披露的流程，”他说。“我们希望确保在把细节公之于众之前，先进行深入调查。”

这种做法的问题在于，它给人一种印象：OpenAI 存在一个持续存在的问题，却未能解决。

但 Chen 坚称 OpenAI 正在处理此事。他说，（据我们所知）迄今为止的多起案例中，他公司的智能体突破遏制并以意外且不可取的方式行事，都属于 5 月和 6 月同一批活动，正是这批活动导致了 Hugging Face 被黑。简而言之，你可以归咎于同样的几个模型在同样有缺陷的测试流程下运行——Chen 说，OpenAI 此后已弃用了这些模型和流程。

“并不是说，你知道，Hugging Face 出事了，我们修补了它，然后别的事情又发生了，我们又修补了它，”他补充道。“我们只是要确保负责任地披露所发生事情的全部来龙去脉。”

至少在周五的公告之前是这样——该公告称，OpenAI 的智能体在 9 月 20 日被发现实施了另一起黑客攻击，而数周前该公司才声称已建立新的防护措施。OpenAI 在辩护中表示，该活动在开始 15 分钟后就被标记出来（而公司花了一周多时间才注意到 Hugging Face 被黑），这表明其为发现此类活动而部署的新系统正在发挥作用。

发生了什么变化

我想了解，在今夏一系列黑客攻击之后，OpenAI 内部发生了什么变化，让 Chen 确信他的团队现在重新掌控了局面。

“Hugging Face 感觉像是一件非常严肃的事情，”他说。“那里有那么多新奇的行为。有多个智能体在一个留言板上协作；它们找到了走出 OpenAI 基础设施的方法。我们非常严肃地对待这件事。我们不希望这种事情再次发生。”

Chen 说，OpenAI 意识到的是，模型在仍在训练时就需要被监视，而不仅仅是在部署之后：“从那一刻起，我们就把训练过程视为不安全的，”他说。

OpenAI 与其他顶级 AI 公司一样，已经建立了监控其模型行为的系统。它使用专门的 LLM 来监控其面向消费者的模型，密切关注它们的思维链——它们用来提前规划并记录部分结果的草稿纸。理论上，如果监视用的 LLM 在模型的思维链中发现不良活动的迹象，就会将其标记给人类。

通常，模型只有在部署之后才会以这种方式被监控。Chen 说，OpenAI 现在已经开始监控其所有的训练运行。

“以前我们在训练时没有开启监控。这不是行业惯例，”他说。“现在每一件事都要经过监控。”然后人类审查员可以评估被标记的智能体是否在按应有的方式行事：“这全都是分诊。”

Chen 说，在过去几个月里，OpenAI 已将其庞大计算资源中的 5% 到 10% 从训练新模型转向安全工作，尤其是监控。

他说，OpenAI 还修复了组织内部的一些流程，在研究团队和安全团队之间建立了更清晰的沟通渠道和更快的交接。

所有这些听起来都很合理。但考虑到 OpenAI 如此大力推销其技术的能力，为什么这些系统和程序没有早就到位？为什么公司没有预见到这些黑客行为？

“甚至就在三四个月前，当我们查看这些智能体在训练期间的行为时，发生的事情还有点好笑，”Chen 说。“比如，一个智能体可能会，你知道，在 Slack 上联系某人来帮忙完成一项任务。”

迹象早已存在，但被误读了。那些在训练期间受到奖励的可爱行为——比如向人求助——强化了寻找捷径的倾向，而这类行为在后来变得后果严重得多。“我认为对我们来说，最大的更新是这类行为能如此迅速地产生像 Hugging Face 事件那样巨大的影响，”Chen 说。

根据《纽约时报》昨天的新报道，在 Hugging Face 被黑事件发生数月前，OpenAI 员工就曾警告包括公司总裁 Greg Brockman 在内的高管，其模型在训练期间没有得到适当的监控。

OpenAI 的一位发言人表示：“随着前沿模型能力越来越强，我们持续改进安全实践，但也认识到需要加快步伐。我们知道还有更多工作要做，最近我们已经放慢了开发速度，并暂缓了不符合我们安全标准的模型。我们继续做出重大改变，以加强研究和测试环境中的安全性，训练模型不仅要完成任务，还要负责任地完成，并使用实时监控来更快地应对行为失准。”

竞赛 vs. 节奏

OpenAI 的竞争对手已经注意到了。受该事件余波的推动，包括 Anthropic、Google DeepMind 和 SpaceXAI 在内的主要 AI 实验室都呼吁放慢开发节奏。但这如何与激烈的国际竞争和万亿美元级别的 IPO 相协调？

“我们不会搬起石头砸自己的脚，让自己远远偏离前沿——那是个糟糕的策略，”他说。“我认为关键在于树立一种规范。我们越能树立这种规范，整个行业就会越安全。”

美国公司之间的协调已经够难了。建立全球规范更是难上加难，尤其是考虑到人们对 AI 影响国家安全的担忧。如果全球竞赛继续下去，那又会怎样？那些来自美国监管范围之外机构的开源模型又该怎么办？

Chen 在我们对话中第一次收起了他乐观的态度：“我确实认为我们必须为一个世界做好准备，比如说，在六个月到一年后，我们会有开源模型，其能力达到 Hugging Face 事件背后那些智能体的水平，但它们被故意地未对齐，去攻击基础设施或在世界上制造伤害。”

Chen 说，那个世界最需要的是 OpenAI。“如果你稍微设想一下，OpenAI 是最关心对齐的公司之一——我相信这是真的；这可以争论，但我真的认为这是真的——那么如果你让 OpenAI 消失，那对世界将是坏事。”

存在性风险

那么，他在硅谷的一些同行提出的更极端的说法呢——AI 可能杀死我们所有人——而像 OpenAI 和 Anthropic 这样的公司没有采取足够措施来阻止它？

“研究人员是一个异质的群体，你知道，信仰横跨整个光谱，”他说。

“就个人而言，我不认为我们必须听任存在某种我们所有人都将面临风险的概率。我们对此有能动性。如果模型真的具有那种对人类造成风险的概率，我们不会去部署它们。在一家前沿实验室，你有能力在对齐上工作到这样的程度：你不觉得部署你的模型会给世界带来超过 epsilon 的风险。”

（在关于风险水平的讨论中，希腊字母 epsilon 常被用作可接受阈值的数学占位符。Chen 没有说他的 epsilon 会是多少。）

当科技领袖被要求为 AI 的弊端辩护时，他们惯用的论点是，好处——从帮助治愈疾病到想出更清洁的能源来源——远远超过眼前的代价。短期痛苦，长期收益。

但随着弊端不断累积，这个理由是否变得更难成立？是否存在一个点，让 Chen 不再觉得自己在建造某种了不起的东西，而更多觉得自己只是在最小化伤害——是在救火，而不是在锻造更好的未来？

他说，这些模型的能力已经显而易见：“是时候开始把 AI 的好处带给人类了。是时候开始着手解决药物发现、材料、科学应用中的深层问题，这些将真正改变人们的生活。”

“是的，我们确实承担了一点风险，但我们看到了所有这些好处，”他补充道。“我认为我们应该让这件事不那么抽象。如果人们能真正看到好处，我想他们会相信它。”