自 7 月以来，美国前沿 AI 实验室及其他 AI 领军者披露了一系列事件，其模型未经授权访问了外部计算机系统，这些事件被通俗地称为 AI 智能体“失控”。

这些事件中最著名、被研究最多的是OpenAI 对 Hugging Face 的入侵，OpenAI 最初将其描述为“一起前所未有的网络事件，涉及最先进的网络能力”，后来表示这是由于“行为失准”，即其创造者并非有意为之的行为。

在 Hugging Face 事件的消息传出后，Anthropic披露其一个模型未经授权访问了三家组织的生产基础设施；Meta 表示其一个 AI 模型在网络安全测试期间入侵了另一家公司；而 Google承认其 Gemini 模型实施了三次“无定向的计算机入侵”。

尽管新闻报道和模型提供商自身都使用诸如失控智能体或失准之类的措辞，但接受 CSO 采访的网络安全专家认为，这种措辞掩盖了一个简单的事实：这些事件是由前沿实验室不可原谅的失误造成的，它们未能实施几十年来早已为人熟知的网络安全实践。

[ 另见：保护 AI 智能体：关键控制措施与最佳实践以及当你的 AI 智能体失控时，谁来负责？]

据 CSO 在 9 月的三场行业会议及随后的对话中采访的六位网络安全专家称，使问题雪上加霜的是，前沿实验室，尤其是 OpenAI 和 Anthropic，拒绝了他们关于如何改进网络安全风险管理实践以避免此类暗中入侵的建议，常常将网络安全实践归入“AI 安全”之下，而他们自认为在该领域拥有更胜一筹的专业知识。

“老实说，他们并没有自己以为的那么出色，”Berryville Institute of Machine Learning 联合创始人 Gary McGraw 对 CSO 表示。“如果他们能更尊重那些来之不易的专业知识——来自安全各个细分领域的人，比如取证或安全工程、构建沙箱、建立或监控网络安全态势——那就更好了。”

Anthropic 和 OpenAI 均未回应 CSO 的置评请求。

在网络安全基本问题上不可原谅的失败，尤其是遏制方面

据接受 CSO 采访的网络安全专业人士称，前沿 AI 实验室最大的网络安全失败之一，是缺乏对可追溯至 1990 年代的久经考验的遏制实践的实施，例如建立安全沙箱，从而有效阻止智能体逃离其测试环境。

“这些是我们已经处理了多年的问题，”SANS Institute 首席 AI 官兼研究主管 Rob T. Lee 告诉 CSO。“没有理由每次发生这种事时，都是‘哎呀，我们不知道它们是怎么跑出来的。’”

“你可以看出他们的安全团队相当稚嫩，”Lee 说。“网络安全遏制方面的人士确实认为，我们看到的大多数遏制被突破的原因，都是因为设置不正确。”

Lee 补充道，“Hugging Face 事件明确表明，问题并不在于这些智能体超级聪明。而是确实存在一个漏洞被利用了，因为它在遏制方面配置不正确。”

RAND 人工智能、安全与技术中心的专家技术驻留研究员 Dan Wallach 认为，AI 实验室的安全失败归根结底在于它们不把网络安全当优先事项。

“我会说他们没有把网络安全当优先事项，”他告诉 CSO。“我不认为我能对所有实验室都这么说，”Wallach 说，并指出法国 AI 实验室 Mistral 的发布其 Large 4 AI 模型，该公司称该模型曾试图在其测试环境之外运行，随后 Mistral 将其切断。

而且，他补充道，“隔离这些 AI 东西并不是什么火箭科学。安全人士一直在讨论如何做到要么气隙隔离，也就是从物理上根本没有电信号让数据从这里传到那里，要么在无法做到时，实施真正强大的出口控制，确保没有任何东西能推出去。”

除此之外，前沿实验室似乎对其智能体的行为监控不足。Hugging Face 事件“持续了好几天，却没有人注意到，”Wallach 说。“人们启动了这些实验，却没有盯着它们。这就是缺乏控制。然后他们对发生的事感到惊讶。”

将安全与安保割裂开来

说服前沿实验室提升其安保水平的一个障碍，是它们对所谓的“安全”极度专注，却没有把这种专注延伸到传统的网络安全实践上。

“我能理解为何安保行为看起来像 AI 安全，”RAND 的 Wallach 说。“但如果你评估这个 AI 工具的方式是把它放到互联网上，看看会发生什么，那么这正是经典安保工具的用武之地。”

SANS Institute 的 Lee 说：“如果这些前沿实验室真的想测试他们的东西，他们需要加强其网络安全部分。但他们的智能体跑出去后，他们的本能反应却是说，‘这不是网络安全问题。’它实际上已经变成了一个 AI 安全问题，与网络安全方面割裂开来。”

许多 AI 专家建议，如果 AI 公司采纳网络安全专家的建议，可能有助于终结那种引发担忧的、不受约束的 AI 智能体行为。“AI 安全关注的是道路规则，”Lee 说。“一切都围绕着护栏规则。”

但“我确实相信网络安全可以约束 AI，”他说。“我们只需要身处事情发生的现场，并在桌边有一席之地。我们这个领域尽可能贴近 AI 安全人士是很重要的。”

糟糕的网络安全可能增加责任

如果前沿实验室忽视了本可减少或消除那些引发广泛担忧的事件的网络安全基本原则，那就更强化了它们应当为其“失控”智能体承担责任的理由。保险业已经站到了追究 AI 行业高管责任的一方，为这些行为。

民主党参议员已经提出立法这将使 AI 智能体运营方对黑客攻击事件承担责任。即便是对 AI 友好的白宫，似乎也已得出结论，认为这些公司应当承担责任为其失控的智能体负责，而美国联邦贸易委员会正在展开对 Anthropic、OpenAI 及其他 AI 实验室的调查，探究其技术对消费者构成的危险。

然而，在近期的立法和委员会听证会上，实验室代表坚持这样一种观点：他们不对失控运行的 AI 智能体负责。

专家表示，这一立场站不住脚，尤其是考虑到这些实验室在网络安全方面的失误。

BIML 的 McGraw 将实验室的立场概括为：“别把律师派给我们，派给我们的程序。是我们程序的错。”他对这一论点的评价是：“这纯属胡说八道。”

他还质疑，这些实验室的运营失误是否会削弱人们对其更广泛安全能力的信心。“他们活在自己的泡泡里，”他说。“他们连清晰、简单的操作都做不好，这对他们在安全工程方面的能力可不是好兆头，而安全工程要难得多。”

SANS 的 Lee 表示：“这正是责任追溯和保险发挥作用的地方，因为如果这些智能体中的一个被检测到，并且他们能够将其追溯到发起它的人，责任就会启动并说，‘嘿，你，你违法了，因此，我们需要起诉。’”

安全负责人现在应该做什么

尽管越来越多的证据表明前沿实验室并未实施健全的网络安全实践，而且关于责任的争论仍未解决，CISO 和其他安全负责人仍可采取措施，保护自己免受 AI 模型失误的影响。

First, when it comes to assessing tools based on frontier lab models, “I would always get an external entity to help with that,” McGraw says. “AI is extremely powerful and extremely useful, but it comes with very serious grown-up risks that do impact the enterprise. Identify those risks, put in the right controls, make sure that AI adoption is not just arbitrary and willy-nilly and all over the enterprise, but has some centralized authority that is looking at the problem, and then get ready for the next big thing, which is swarms of agents.”

For Lee, the best protection is to ask the right questions. “It starts with asking the right questions and then finding the tools and capabilities for those [AI labs] that are able to demonstrate a higher level of cybersecurity competency,” he says. “You’re really looking for the people on the teams that are dealing with really hard problems.”

But fundamentally, the best preparation to deal with AI model cyber weaknesses is to make sure all thelong-standing cybersecurity risk management practices are in placeacross the organization. “This is the least exciting part of the discussion,” Wallach says. “It’s the cyber version of ‘eat your vegetables.’”

“We need to re-engineer our software so it has better security,” he adds. “We need to have multi-factor authentication on all of our accounts. We need to eat our vegetables from a defensive cyber perspective. And we know how to do it.”