一家以色列测试公司成多起 AI 越界攻击事件共同源头

7 月，OpenAI 披露其 AI 智能体曾未经许可攻击了 Hugging Face，引发了对AI 安全的广泛担忧。此后，一连串类似事件涉及来自 Meta、Anthropic、Google 及其他公司的智能体，进一步加剧了人们对失控 AI 的恐惧。随着过去几个月里涉及众多 AI 模型的披露信息陆续流出，这些看起来像是彼此独立的事件。但许多事件都有一个共同的源头：一家专门负责测试这些智能体的公司。

Irregular是一家以色列初创公司，在“模拟并监控真实世界 AI 安全场景的高保真研究平台”中对 AI 模型进行压力测试。自 2023 年以 Pattern Labs 之名成立以来，它已与业内许多最大的参与者合作。其确切客户名单尚不清楚，但其工作已被 OpenAI模型系统卡引用，它曾被用于测试系统，服务于英国政府和 Anthropic，并且它发表了与 RAND 合作的研究，RAND 是一家极具影响力的智库，为 AI 政策提供参考。

在今年进行的若干次 Irregular 测试中，智能体逃出了本应安全的测试环境，并去攻击真实世界的目标。

这些入侵事件与 Hugging Face 被黑事件无关，但都遵循同样的大致模式：Irregular 在旨在模拟真实条件的受控环境中测试模型的网络安全能力。其中一些测试使用了“夺旗”演练，这是一种测试黑客能力的常见方式，要求智能体在模拟网络内部寻找隐藏信息。至少，这个网络本应是模拟的。

Irregular 首席技术官兼联合创始人 Omer Nevo 告诉The Verge，这些智能体本不应能够访问开放互联网，但“互联网访问在无意中变得可用”。与此同时，Nevo 表示，为模拟而创建的一个作为目标的虚构公司名称“与一个真实域名重叠”。综合起来，这些失误让智能体去攻击真实世界的目标，不过目前尚不清楚实际被攻击的是哪些公司或组织。

Nevo 向The Verge 证实同一问题也是涉及来自以下公司模型的事件背后的原因：OpenAI，Meta，Anthropic，以及Google。“所有涉及 Irregular 的事件都源于单一评估场景中的同一底层问题，并且均已披露，”他说。“近期业内报道的其他安全事件与 Irregular 或我们的评估无关。”这包括 Hugging Face 遭黑客攻击以及英国 AI Security Institute 的入侵事件。

不过，“已披露”并不一定意味着公之于众，目前尚不清楚 Nevo 指的是通知了 Irregular 的客户、公众，还是其他人。虽然这些事件都源于同一次底层测试失败，但来自Anthropic和OpenAI的报告，以及有关报道关于 Google 的报道表明，这些科技公司大约在 7 月下旬的相近时间收到了通知。OpenAI 和 Anthropic 自行公布了这些入侵事件，而涉及 Meta 以及数周后涉及 Google 的事件则最初通过媒体报道为公众所知。

Irregular 的网络安全测试并不局限于这四家美国科技巨头。其网站上发布的研究表明，它还进行过 类似的针对 Kimi K3 和 GLM-5.2 的网络安全测试，开放 AI 模型来自中国公司分别为 Moonshot AI 和 Z.ai。与其他事件中涉及的专有模型不同——Meta 一直将其旗舰 Spark 模型保持为专有——这些模型可以自由下载并在用户自己的硬件上运行，这意味着像 Irregular 这样的测试方不必依赖这些公司获取访问权限，也无需将数据回传给它们。Irregular 的研究将其描述为“自托管”实例。

Nevo 表示，对中国模型的评估并未导致类似的现实世界事件：“在我们对 GLM 或 Kimi 的评估中，我们没有观察到此处所引用事件中描述的那类问题。”不过，Nevo 警告称，这一“观察本身不应被解读为这些模型更不易出现此类行为的证据”。Moonshot 和 Z.ai 均未回应The Verge的置评请求。

Nevo 表示，这些事件促使 Irregular 做出了改变。“我们收紧了互联网访问控制，扩大了监控和人工审查，并加强了评估开始前的检查，以核实访问权限与预期范围相符，”他说。“我们还改进了与合作伙伴记录和商定每次评估设置与参数的方式。”

Nevo 表示，一旦与涉事公司的联合工作完成，Irregular 还计划发布一份更广泛的报告，“涵盖安全开展网络评估的经验教训和实践”。 “我们与合作伙伴的工作旨在将这些事件中的教训转化为公开的共享实践，以便安全地开发和评估日益强大的 AI。”

Nevo 表示，Irregular 已经解决了与这些事件相关的测试环境问题。四家美国 AI 公司均未回应要求提供更多细节的问题——包括它们何时得知这些入侵、是否向 Irregular 寻求损害赔偿或其他补救措施，以及它们是否预计会继续与 Irregular 合作。Google 和 Anthropic 未作回应，而 OpenAI 和 Meta 则指向The Verge到此前 发布的博客文章。