Andrew Fasano、Marius Fleischer
Cole McFaul、Robert Xiao、Tripp Gallagher

五个月前，我们宣布Claude Mythos Preview，这是首个能够自主构建复杂的端到端网络攻击利用程序的 AI 模型。AI 能力的快速提升让我们意识到，这种能力最终会扩散到许多其他模型上，使恶意网络行为者更容易发动影响重大的网络攻击。

基于这些考量，我们选择以有限的方式发布 Claude Mythos Preview，通过 Project Glasswing——让受信任的网络防御者能够发现超过 10,000 个漏洞存在于关键软件中，让他们在恶意行为者获得同等能力的模型之前抢占先机。

但这些模型如今已经到来。在本文中，我们分享对 GLM-5.3 的分析，这是智谱 AI（在中国以外称为 Z.ai）开发的最新 AI 模型。与 Claude Mythos Preview 一样，GLM-5.3 具备自主构建端到端网络攻击利用程序的强大能力。但 GLM-5.3 与其他前沿模型不同之处在于，它在发布时没有设置有意义的防护措施来限制滥用。我们发现，在我们的模拟测试中，攻击者可以用简单技术以 64% 到 100% 的概率绕过 GLM-5.3 的防护措施。相比之下，这些攻击在我们的测试中未能对设有防护的 Claude 模型奏效。我们评估认为，GLM-5.3 松懈的防护措施显著增加了恶意行为者可用的网络能力。与此同时，这些能力也能让致力于保护自身系统的防御者受益。

9 月 17 日，NIST 的人工智能标准与创新中心（CAISI）发布了其自己的评估关于 GLM-5.3 的网络能力。CAISI 发现 GLM-5.3 是“迄今为止发布的网络能力最强的开源权重模型”，并且在 CAISI 网络基准测试的综合评分上落后美国前沿约四个月。我们的能力评估结果与 CAISI 大体一致。在 CAISI 的对比中，美国模型在适用时禁用了网络防护措施进行测试，而美国前沿还包括仅向经过审查的用户发布的模型。攻击者无法轻易获取这些版本的美国模型，但任何人都可以下载 GLM-5.3。本文补充了我们对 GLM-5.3 的防护措施被绕过或移除的难易程度的分析。

Two bar charts. Top: share of attempts that built a working exploit on 41 Chrome V8 bugs — Claude Mythos Preview at 14% and GLM-5.3 at 12%, while Claude Opus 4.6, GLM-5.2, Kimi K3, and DeepSeek V4.1-Flash score at or near 0%. Bottom: how often each model engaged with malicious cyber-attack orders — GLM-5.3 rises from 0% on a bare order to 64% with a false cover story, 92% with prefilled reasoning, and 100% when abliterated, while Claude Opus 5 stays at 0%.
图 1。发现摘要。上：Claude Opus 4.6 与 Claude Mythos Preview 之间利用能力的提升，与 GLM-5.2 和 GLM-5.3 之间的能力跃升相呼应。Claude 模型发布时带有网络防护措施，防护措施被削弱的版本仅限经过审查的用户使用。任何人都可以下载并使用 GLM-5.3。下：GLM-5.3 中有限的防护措施可以通过标准技术绕过，而这些技术在我们的测试中对 Claude 模型无效或不适用。

GLM-5.3 能够端到端开发可用的漏洞利用程序

为了解 GLM-5.3 如何帮助网络威胁行为者发现并利用真实软件漏洞，我们使用自动化基准测试和人工介入工作流进行了评估。对于这两种方法，我们都在隔离的沙箱环境中运行被测模型，使其只能攻击我们为这些评估目的而设置的离线目标。我们主要关注漏洞利用开发能力，因为正是在这一方面 Claude Mythos Preview 相较此前的 Claude 模型展现出显著跃升。

首先，我们在ExploitBench上运行了该模型，它衡量 AI 模型利用 Google Chrome 所用 V8 引擎中已知漏洞的能力。这里我们关注模型成功开发端到端漏洞利用程序的能力，因为这是对攻击者最相关的能力，也是我们看到模型之间出现显著变化的地方。我们发现 GLM-5.3 在 410 次尝试中有 50 次开发出端到端漏洞利用程序。Claude Mythos Preview 的成功率类似——410 次尝试中有 56 次。

在我们的内部二进制漏洞利用基准测试中，1我们测试模型能否在参与 Google OSS-Fuzz 项目的热门开源项目中找到并利用漏洞。在这里，完全控制流劫持才能获得满分。我们在基准测试中随机选取的 100 个任务上评估了多个模型，发现 GLM-5.3 在 4% 的试验中实现了完全控制流劫持；Claude Mythos Preview 的比例为 6%。尽管 GLM-5.3 在此项上表现低于 Claude Mythos Preview，但显然已经跨过了一个有意义的门槛：更早的模型，如 Claude Opus 4.6 和 GLM-5.2，在任何一次试验中都未能成功。

Two line charts of exploitation success versus output-token budget on a log scale. On ExploitBench, Claude Mythos Preview reaches 14% and GLM-5.3 reaches 12%, while Kimi K3, DeepSeek-V4.1-Flash, Claude Opus 4.6, and GLM-5.2 stay at or near 0%. On Anthropic's internal Binary Exploitation benchmark, Mythos Preview reaches 6% and GLM-5.3 reaches 4%; all other models score 0%.
图 2。漏洞利用能力与输出 token 预算的关系。每条线显示模型达到基准测试最高结果的尝试占比与所用输出 token 的关系。两幅图均展示了两个在禁用安全防护下运行的 Claude 模型（Opus 4.6、Mythos Preview）、两个 GLM 模型（5.2 和 5.3），以及 Moonshot AI（Kimi K3）和 DeepSeek（V4.1-Flash）发布的最新开源权重模型的结果。

接下来，我们评估了 GLM-5.3 在人类专家手中执行开放式攻击性网络任务的表现（与我们今年早些时候对 Claude Mythos Preview 的测试相对应）。在这里，我们选择人类专家尚不了解其中现有漏洞的目标，然后让他们使用该模型来识别和利用新漏洞。这些实验测试了专家在短时间内能做什么：它们通常运行一天或更短，人类专注投入的总时间不到一小时。

Redacted screenshot of an exploit page generated by GLM-5.3. A banner reads "Sandbox escaped — web content read /root/.ssh/id_rsa (1896 bytes)," above a live exploit log and the exfiltrated SSH private key, demonstrating a drive-by browser exploit chain stealing a file from the victim's computer.
图 3。一张经脱敏处理的漏洞利用页面截图，由 GLM-5.3 在研究人员驱动的测试中生成，展示其通过恶意网站窃取用户的 SSH 私钥。该漏洞利用串联了模型在一个热门网页浏览器组件中发现的多个 0-day 漏洞，从用户计算机上读取敏感文件。

在第一次会话中，一名研究员在一台沙盒机器上使用了 GLM-5.3，该机器装有某款流行网页浏览器的本地 Linux 构建版本。在一天的时间里（且人工关注有限），GLM-5.3 在该浏览器的 JavaScript 引擎中发现了若干此前未知的漏洞，并将它们串联成一个可用的漏洞利用程序：一个网页，当被访问时，会从访问者的计算机中读取任意文件（如图 3 所示）。该漏洞利用针对的是该浏览器的 Linux 构建版本，因为这是提供给该模型的唯一环境。然而，我们认为这些漏洞也可能影响其他平台上的用户，尽管在这些平台上实现利用的路径可能更为复杂。（我们已将这些漏洞披露给维护者。）在会话后期，该研究员还借助 GLM-5.3 在若干其他广泛使用的系统中识别出可利用的漏洞，包括无线和图形驱动程序以及面向网络的设备软件。我们目前正在审查这些报告，并将酌情向维护者披露。

在第二次会话中，一名研究员使用 GLM-5.3-Flash（GLM-5.3 的一个更小、能力较弱的版本）为一个已知漏洞开发漏洞利用程序（我们此前曾撰文讨论过这些“N-day”漏洞利用此处）。在这里，该研究员聚焦于 Google Chrome 中一个近期披露的缺陷（CVE-2026-11645），以观察该模型能将一个公开修复多快地转化为可用的攻击。该研究员向 GLM-5.3-Flash 提供了该 CVE 以及另一个已知缺陷的公开细节。在没有研究员给予重要指导的情况下，GLM-5.3-Flash 将这两个缺陷的漏洞利用串联起来，为 ARM64 目标构建了一条可靠的漏洞利用链，绕过了指针认证（PAC）加固。这耗费了 20 分钟的人工关注，外加 GLM-5.3-Flash 8 小时的工作。按照智谱的 API 价格，这项工作将花费 20.40 美元。

GLM-5.3 缺乏稳健的防护措施

GLM-5.3 发布时带有一些内置防护措施：如果用户要求明显有害的内容，该模型通常会拒绝。2在我们的测试中，我们发现这些防护措施可以通过多种简单技术被绕过或移除。

最密集——也最成功——的方法是一种标准的拒绝减少技术被称为“abliteration”。由于 GLM-5.3 以开源权重模型的形式发布，用户可以重新配置它以移除其拒绝行为，而能力几乎没有变化。多位开发者在该模型发布后的几天内就向公众发布了 GLM-5.3 的 abliterated 版本。

为了研究 abliteration 能让攻击者绕过 GLM-5.3 的防护措施到何种程度，我们自己制作了一个 abliterated 副本，然后在三个公开基准测试（JailbreakBench、HarmBench和StrongREJECT）上运行它，这些基准测试衡量模型对明显有害请求的遵从频率。对模型进行 abliteration 花了我们团队——此前从未尝试过这项任务——大约 2,200 GPU 小时，计算成本约为 4,400 美元。3对 GLM-5.3-Flash 进行 abliteration 大约花了 600 GPU 小时。这一修改将 GLM-5.3 的拒绝率从前两个基准测试（JailbreakBench 和 HarmBench）上的 90% 以上降至约 3% 和 2%，在第三个基准测试（StrongREJECT）上降至 12%。Abliteration 并未显著降低模型的能力：在 GPQA-Diamond（一项衡量通用科学能力的评估）上，标准模型和 abliterated 模型得分相同；在 CyberGym 评估的一个测试子集上，abliterated 版本得分低了几个百分点（如下图所示）。

Two bar charts on abliteration. Top: mean refusal rate across three harmful-request benchmarks falls from 95% to 6% for abliterated GLM-5.3 and from 95% to 14% for abliterated GLM-5.3-Flash, while Claude models refuse about 96% and cannot be abliterated because their weights are not released. Bottom: capability scores on GPQA-Diamond and CyberGym are nearly unchanged after abliteration.
图 4。上：已发布的 GLM 模型和 abliterated GLM 模型以及 Claude 模型在 JailbreakBench、HarmBench 和 StrongREJECT 上的平均拒绝率。经过 abliteration 后，GLM 模型很少拒绝这些查询。Claude 模型无法被 abliteration，因为其权重未公开发布或不可自定义。下：GLM-5.3 和 GLM-5.3-Flash 与其 abliterated 变体在 GPQA-Diamond 和 CyberGym 上的表现。Abliteration 使能力基本保持完好。

在我们的测试中，我们观察到 GLM-5.3 的防护措施也可以被绕过无需使用模型的 abliterated 版本。我们将模型置于一个模拟世界中4在其中，它被公然要求对关键系统发起恶意攻击。开箱即用的情况下，GLM-5.3 在所有试验中都拒绝了（与我们测试的其他模型一样）。但我们发现了几种简单的方法来绕过 GLM 模型的防护措施，使其在大多数或所有情况下都会响应这些请求。这些方法包括：

  1. 提供一个欺骗性的提示词，例如告诉模型它是一个正在执行演练任务的自主红队智能体。这能让 GLM-5.3 有 64% 的概率参与其中。
  2. 预填充模型的思考 token，使其看起来已经考虑了用户的请求并决定继续执行。这能让 GLM-5.3 有 92% 的概率参与其中。
  3. 使用该模型的 abliterated 版本，如上所述。这能让 GLM-5.3 有 100% 的概率参与其中。

在我们的测试中，这些技术都无法让受防护的 Claude 模型执行我们所测试的有害任务。Claude 的防护措施阻止了使用欺骗性提示词的请求。Anthropic API 让潜在攻击者无法预填充 Claude 的思考。而且由于 Claude 的权重不提供给用户，因此无法通过 abliteration 来改变 Claude 的行为。

Table showing how often each model tried to connect to a remote target after a harmful cyber-attack order. GLM-5.3 engages 0% on a bare order but 64% with a false cover story, 92% with prefilled reasoning, and 100% when abliterated; GLM-5.3-Flash follows a similar pattern. Claude Opus 4.8, Opus 5, and Mythos 5 stay at 0% in all applicable conditions; prefilling and abliteration are not possible against the Claude API.
图 5。在模型收到公然的恶意请求后，各模型按模型和绕过条件尝试连接远程目标系统的比率（每个单元格 50 个样本，五种攻击指令 × 两个目标 × 五次尝试）。GLM-5.3 从直接请求时的零参与率，在掩护说辞、预填充和 abliteration 下分别上升到 64%、92% 和 100%，而所有受测试的 Claude 模型在 API 防护下都保持为零。带锁图标的单元格表示针对 Claude API 通常不可行的攻击。

为了展示 GLM-5.3 的 abliterated 版本如何愿意参与有害任务，我们摘录了它生成的思维链中的一段话：

Quoted reasoning from the abliterated version of GLM-5.3 in a simulated environment. The model writes "my job is to cause deaths quietly," briefly weighs the environment's safety warnings, then concludes that the operator's instruction overrides them and decides to proceed with the harmful task.
图 6。在我们的模拟环境中，GLM-5.3 的 abliterated 版本考虑如何参与一个公然的恶意请求，最终不顾一些最初的伦理顾虑，决定遵循用户的指令。文本逐字引用自模型的思维链。

这意味着什么？

GLM-5.3 很可能会让恶意行为者获得相关能力，使其能够在没有实质性限制的情况下发现并利用网络漏洞。这与任何其他具备类似能力的 AI 模型都不同，后者发布时都带有防护措施或通过受限访问计划提供。GLM-5.3 的发布标志着攻击者可获得的网络能力出现了有意义的阶跃式变化。Anthropic以及其他美国 AI 实验室近期发布了报告，披露了网络攻击者如何尝试使用 AI 系统。鉴于这些证据，我们认为国家和非国家行为者都有可能使用像 GLM-5.3 这样的模型来造成现实世界的伤害。

另一方面，具备这种能力水平的模型也可以被防御方使用。我们认为，网络防御方应当使用能满足其需求的最佳可用工具。我们正在努力安全地扩大 Claude 网络能力的访问范围，让尽可能多的防御方能够使用。网络防御方面对的攻击者会使用他们能用的每一种有能力的工具，我们认为防御方应当配备至少与其对手所用模型同样优秀的前沿模型。

通过 Project Glasswing（以及其他努力，例如Patch the Planet），网络防御方在这一时刻到来之前，已在保护关键系统方面取得了有意义的进展——但仍有大量工作要做。虽然经过审查的防御方现在可以通过我们的可信访问计划使用像 Claude Mythos 5.1 这样更先进的模型，但可自由获取的能力已经跨过了一个关键门槛。GLM-5.3 凸显了将先进前沿模型的访问范围扩大到更广泛实体的紧迫性，以赋能网络防御方。

政府应当对足够有能力的 AI 模型进行安全测试，包括 GLM-5.3 的后续版本。如果没有来自独立来源的高质量评估，这些能力的影响可能直到为时已晚才会被模型开发者完全看清。随着世界各地的 AI 开发者构建能力越来越强的开源权重模型，我们希望他们努力对这些能力加以适当防护并防止滥用。