William Zhou、Daniel Freeman

我们的实验表明,小型 AI 模型可能只需几个月就能具备在商用 IoT 设备(如智能烤箱和非品牌 Android TV 盒子)上自我复制的能力。这样的复制体将难以关闭,因为不存在可集中关闭的节点——尽管它可能很慢(倍增时间为数天)。与非 AI 恶意软件不同,它还能自行识别陌生的设备。在我们的评估中,一个 9B 模型在我们测试的 9 种硬件类型中的 8 种上成功运行了推理。

参数量在 30B 及以下的模型如今已经能够完成复制所需的许多单独步骤,但在将它们端到端组合起来时会出错。在我们简化的评估中,GLM-5.2 及更强的模型能够实现端到端复制。如果小型模型按历史速度继续提升,它们将在今年年底达到这一能力水平。此后不久,基于权重的小型复制体或许就能成为现实。

引言

不断提升的 AI 能力让一个长期存在的担忧变得越来越现实:自主复制与适应(ARA),即模型在无人控制的情况下自行部署和传播。

在网络领域,蠕虫是一种无需人工输入就能从一台计算机复制到另一台计算机的程序。先前的研究已经表明,AI 智能体可以表现得像蠕虫一样:扫描其网络、执行漏洞利用,并将模型权重跨 GPU 集群复制到目标机器。这样的“AI 蠕虫”在复制时可以携带自己的模型权重(或从公共 hub 重新下载它们),然后直接在受感染的硬件上运行推理。实际上,权重会成为恶意软件载荷的一部分。

数据中心 GPU 显然会是此类恶意软件的高价值目标。但昂贵的加速器并非必需。在这篇博客文章中,我们展示了一个由 IoT 设备组成的分布式僵尸网络——这些设备价格低廉且通常防护薄弱——也能提供足够的算力来运行一个能力不俗的模型。

我们在一组 15 台廉价杂牌 Android TV 盒子(每台约 $55)上运行 Gemma4-26B-A4B,这些盒子是我们购买并联网组装的,速度为每秒 0.39 个 token。下方每个方块显示一台物理 TV 盒子,在模型运行时承载模型的两层。

一组 15 台 Smart TV 盒子,正在运行 Gemma4-26B-A4B 的分布式推理。

当然,要证明一个自主蠕虫能够在由弱机器组成的网络中自我传播,还有许多其他步骤。就这篇博文而言,我们把复制链条拆解为几个步骤。

Flow diagram of the replication stages: network enumeration, initial access and payload delivery (with opportunistic privilege escalation), inference setup, and replication. The first stages are grouped as ‘cyber exploit (not our focus)’ and inference setup is marked ‘our focus’.
在这项研究中,我们把自主复制分解为四个实际阶段:寻找目标、获得执行、建立推理,以及从新主机继续传播。

我们在很大程度上忽略了复制过程中的网络漏洞利用环节(即上面的前两个阶段),因为此前的论文CyberGym、ExploitBench以及自适应蠕虫已经表明,小模型有能力进行网络漏洞利用,尤其是在获得合适工具的情况下。但复制过程中一个较少被测量的部分,是在被攻陷的设备上建立推理,而这正是我们此处的重点。

在这篇博文中,我们首先列出我们认为最有可能成为现实的威胁模型。然后,我们测试小模型能否在陌生的硬件上建立推理,以及它们能否在一组机器之间串联起完整的复制循环。之后,我们估算这种蠕虫可能以多快的速度传播,并测试它能否在复制过程中学习和适应。最后,我们总结 AI 蠕虫与前 AI 恶意软件有何不同,并简要提出针对此类复制体的防御建议。

威胁建模

在这篇博文中,我们聚焦于 AI 蠕虫可能传播的一种方式:通过攻陷其宿主机器来进行复制的小模型。但 AI 蠕虫还可能尝试其他几种方法:它们可以窃取访问权限以启动主机(例如 API 密钥或平台凭证),或者通过合法工作(例如数字自由职业)来支付推理费用。我们认为如今最接近成为现实的威胁模型如下:

  1. 一个小模型,通过入侵主机进行复制。在这篇文章中,我们将把直接在受入侵硬件上运行自身模型的自主蠕虫称为基于权重的复制器。家庭和小型企业物联网设备可能是此类攻击的首批目标,因为它们连接到互联网,而且历史上一直只有最低限度的安全措施。

    一个大到无法装入单台设备的模型可以被拆分成若干部分,或称分片,运行在彼此通信的独立机器上,共同运行该模型。能够为一个 <30B 模型运行重要模型分片的机器包括智能冰箱、智能烤箱、自动吸尘器和割草机。越来越多的家庭和企业设备,例如安全摄像头和视频会议设备,现在出厂时就内置了小型 AI 芯片,旨在设备本身上运行 AI 模型。这种额外的算力很可能也会使它们成为有吸引力的目标。

    1. 人类黑客通常通过社会工程(例如,说服一家公司的 IT 部门相信你是忘记密码的员工)而非黑客技术来攻破安全系统。对于当今的小模型来说,这种权衡似乎反了过来,与其社会工程能力相比,它们在智能体编程和黑客方面相对更强(见附录 E),不过随着模型改进,这种情况可能会改变。
  2. 一个大型、先进的基于权重的复制器,专注于数据中心和其他高算力目标。更大的模型往往具有相应更好的网络能力,但也需要入侵(相对)加固的数据中心才能运行自身。我们将这一威胁模型分为两个子类别:
    1. 前沿复制器:大型闭源权重复制器运行在其实验室的基础设施上,并且可以启动未受监控的内部部署或将自身权重外泄到外部算力上。
    2. 开源权重复制器:这些复制器起步时资源相对较少(因为无法受益于实验室的算力),但一开始就处于未受监控状态。
  3. 一种基于 API 的复制器,模型会通过窃取凭据来使用自己的推理 API 进行复制。这类复制器需要模型提供商在不知情的情况下为其提供服务,而且它们的持久性可能更差,因为它们很可能更容易被发现(不过其传播速度可能更高,例如如果它们能够利用受害者的账户进行复制的话)。

在实践中,AI 蠕虫未必只由单一模型或策略组成。由不同模型组成、部署在不同类型的硬件上、使用多种复制方案的集群,可能代表一种更现实的“最坏情况”攻击。

在这篇博客文章中,我们考虑以下方案的可行性:小型基于权重的复制器(上文第 1 节)。我们关注这一点,是因为它是一种近期威胁模型,可以直接进行研究。本文顶部的演示中,一个 26B 模型运行在 15 台设备上,表明 IoT 设备可以运行能力惊人的模型。这些模型的能力是否足以执行自主复制?

我们分两部分来考察这一点。第一,小型模型能否让模型在陌生的硬件上运行起来?第二,它们能否在单次运行中完成整个循环(找到未感染的设备、将自己复制过去、在那里开始运行,并重复)?

A. 推理环境搭建

The same flow diagram with every stage except inference setup faded.

在上图展示复制循环的各个阶段中,推理环境搭建是研究最少、对小型模型而言可能也最具挑战性的一个阶段。它需要围绕选择兼容的推理栈、找到正确的软件包版本以及调试机器特定问题,做出一系列相当长的、与硬件和操作系统相关的决策。这些步骤串行依赖,失败后很难恢复。

附注

评估推理环境搭建的性能

我们衡量不同开源权重模型在异构硬件类型上服务 Llama3.1-8B 的能力。各类硬件上每秒服务的 token 数见下表:

  • 点击某个单元格可查看其服务速度分布。
  • 点击行/列标签可获取跨模型或硬件类型的对比。

小型模型,例如 Qwen3.5-9B,能够在从 Jetson Nano 到 Mac PC 和 RTX 4090 的硬件上搭建推理服务器。能力更强的模型,例如 GLM-5.2,不仅更可靠,还能实现更高的每秒服务 token 数,从而支持更快的复制。我们测试并提及特定芯片,是为了衡量模型能在这些芯片上多好地搭建推理。这些芯片并不是风险或漏洞的来源。

我们使用 Memento 来运行这些实验,Memento 是我们在开源Pi编码智能体之上构建的一套 harness。Memento 旨在缓解我们在长时程运行中观察到的一种常见失败模式:智能体可能会执着于一个错误的想法(比如,为什么会出现某个 bug),并继续沿着它走下去,而不是回退重来。这类失败的一个例子是,一个 Qwen 智能体花了数小时调试包版本问题,而真正的 bug 其实来自实现了一个与评分器 API 不兼容的端点。

Memento 会定期启动一个新的智能体实例,并带上上一个智能体的工作区,以及上一个智能体写下的关于自己尝试过什么的简短笔记,从而让后续实例能够采取不同的策略。

模型如何在智能电视上运行?

IoT 设备内存很小,但像Petals中那样的分布式推理,使得服务我们的轻量级模型变得可行。代表性的威胁模型是Kimwolf,这是一个大型 IoT 僵尸网络,感染了超过两百万台设备,主要是非品牌 Android 电视。这类智能电视盒子很容易买到,通常运行 Android 开源项目(AOSP)的分支,而其制造商并未为其添加安全功能。这一档次的典型盒子配备 1 到 4 GB 的 RAM。假设在 4-bit 量化下使用 4GB RAM,这允许用 4 台或更多机器推理 9B 模型,用 10 台以上机器推理 26B 模型。

在本文顶部的演示中,我们在 15 台各配备 4GB RAM 的智能电视盒子上运行了 Gemma4-26B-A4B。我们在流水线并行下对模型进行分片,每个盒子只持有模型层的一小部分。

B. 病毒式传播:在 GCP 节点集群上自主搭建与复制

既然我们已经看到模型可以在陌生的硬件上设置推理,那么让我们衡量一下模型是否有能力组合这些步骤——也就是说,扫描网络寻找目标、通过反向 shell 访问它们、发送病毒载荷(权重和运行框架),并设置推理。

自主推理设置与复制(使用简化的网络攻击)

为此,我们搭建了一个由 8 个 GCP 节点组成、带防火墙的 VPC,运行 redroid,即一个 Android 15 模拟器。零号病人(灰色节点)被植入了蠕虫。之后的每一次感染都是蠕虫自身通过未认证的 ADB 端口在节点间跳转,然后设置一个推理服务器来服务 Llama3.1-8B。如果该推理服务器通过若干正确性和反作弊检查,我们就在目标节点上再生成一份蠕虫副本(例如,如果 GLM-5.2 设置 Llama3.1 在一台机器上运行,我们就在该机器上生成一份 GLM-5.2 蠕虫副本)。蠕虫的模型运行在单独的推理服务器上,因为 VPC 节点不够大,无法运行更大的模型。

在下面的图中,我们将给定模型作为载荷放入,并衡量其复制能力。

为什么让模型为 Llama3.1-8B 而不是它们自己搭建推理?

在我们测试的开源权重模型中,只有 GLM-5.2 能够完成完整的端到端复制(假设其能力可以被塞进 Llama3.1-8B)。请注意,GLM-5.2 能可靠地做到这一点,而其他模型则可靠地失败(它在 5 次试验中有 4 次扩散到 8/8 个节点,1 次扩散到 7/8)。

看来 GLM-5.2 能够很好地传播 Llama3.1-8B,这表明未来同等能力水平的小模型也可能完成复制过程中的网络枚举、载荷投递和推理搭建步骤。我们的评估将复制中的网络攻击利用环节保持为简单形式(ADB 端口上没有认证),这使其成为现实世界成功程度的上限。请注意,过去的 IoT 僵尸网络通过简单手段进行复制,比如遍历一份默认的制造商用户名和密码列表,就像Mirai 僵尸网络那样,因此现实中的 IoT 安全可能并不会比我们评估中的这个简单步骤困难多少。

作为一项合理性检查,我们可以看看自主性和编排这一步有多难(如果去掉网络和推理设置,剩下的命令行苦力活有多难?)。这个消融实验就是上述评估去掉推理设置步骤(通过预先写好的脚本完成)。我们名单中的许多模型,包括较小的那些,都能完成这些剩余步骤。

在一个受控的 17 节点 redroid 集群上复现:两个各含 8 个节点的子集由一个枢轴节点连接(见附录 F,使用温和提示词)。每棵树是该模型六次运行的中位数。

说到这种蠕虫,我们可以设想:

  1. 一个模型能力下限,自主蠕虫必须高于它,才能可靠地完成复制。在我们的简化评估中,GLM-5.2 位于这个下限之上。
  2. 一个模型规模上限,模型必须低于它,才能在它所攻击的设备上运行。在我们测试的这类智能电视(4GB 内存)上,Qwen3.5-9B 和 Gemma4-26B-A4B 位于这个上限之下。

目前,下限和上限并不相交。它们何时会相交?

上图是总参数量不超过 30B 的知名开源权重模型的图,每个模型按其发布日期绘制,对应Epoch Capabilities Index(ECI)。实线是对每个日期同类中最佳模型的最小二乘拟合,增益为每年 13.7 ECI(R2为 0.95)。如果我们把 GLM-5.2 作为复制的能力下限,趋势线表明到 2026 年底会有一个小模型达到该水平。ECI 是一个通用能力指数,只是复制能力的代理指标,所以这只是对小模型复制器何时成为可能的一个粗略估计。

C. AI 物联网蠕虫可能以多快的速度复制?

与编码智能体不同,这些复制器运行速度会低于面向用户的聊天和编码框架的交互速度。扩散将是缓慢而持久的,token 在边缘硬件上一点点流出。我们可以用在真实智能电视上达到的速度作为复制速度的实证基线。对于 Gemma4-26B-A4B,在 32k 上下文长度 token 窗口下,未优化速度约为 0.3 tok/s,这是在我们推理设置工作负载中预填充和解码的平均值。更多细节见附录 C。

衡量总耗时的一种方法是,测量完成一个 32k 大小的上下文窗口需要多少小时,之后就会发生压缩。根据我们的推理设置评估统计,完成一条轨迹需要约 2.6 到 4.7 个完整窗口。

模型窗口时间完整推理设置时间
Gemma4-26B-A4B(未优化)27.3-31.8h71h-150h
Qwen3.5-9B10.9 h28-51h

Kimwolf 僵尸网络在峰值时感染的设备数量,由 Synthient 报告,超过 200 万台(主要是 Android TV 盒子)。在一个规模相当的、用于服务 AI 模型的受感染电视设备集群中,如果每 15 台电视运行一份 Gemma4-26B-A4B,我们将拥有约 133k 份副本(“replica”)。像我们演示中那样的一组电视可以同时服务 2 个智能体,每个约 0.3 tokens 每秒,在整个僵尸网络上产生 80k tokens/s。

作为参考,一块 H100 在高并发并使用投机解码的情况下,可以以约 1.95k tok/s 服务 Gemma4-26B-A4B,因此我们的集群最多大约相当于 40 块 H100 的推理能力。从绝对量来看,这是极少的算力,而且这些智能体是缓慢的复制者(每 9B 复制一次需要 1-2 天以上)。打个比方,把复制者想象成黏菌或一群果蝇,它们需要数天才能完成复制。

这是一个粗略估计,因为它仅基于单一类别的 IoT 硬件和单一过往僵尸网络实例,但它描述了近期发布的简单复制者可能是什么样子。在实践中,能力更强的复制者会利用其他类型的低安全性算力,并会机会主义地在不同设备上部署各种规模的模型。(它也不必把模型载荷加载到它攻陷的每一台设备上)。随着时间推移,我们预计已部署的边缘算力总量将继续增长,而可靠复制所需的最小模型规模则会下降。

D. 适应与提升

在工作中学习

ARA 中的“Adaptation”部分是 AI 复制器可能优于传统蠕虫的原因之一。具体来说,模型和提示词在传播过程中可以经历拉马克式演化——也就是说,父实例可以将其提示词、代码和笔记传递给子复制器。为了适应并传播到各种硬件上,模型需要两样东西:

  1. 具备超过某个阈值的能力,以便传播到新颖、未见过的硬件(或软件环境、网络类型)上。
  2. 一旦见过,就适应它所落入的环境类型(它应该能在以前见过的硬件上更可靠地复制)。

A 节和 B 节测试第一个条件,在下面的实验中我们测试第二个条件。每个 Qwen3.5-9B 实例都会简要记录它尝试过的策略和遇到的失败,然后一个新实例继承这些笔记,并再次尝试相同的推理设置。

Qwen3.5-9B 六代之间的推理设置成功率,每一代都继承前一代的笔记。细线是 20 个单独谱系,粗线是每一代中完成设置的运行比例。它从第一代的 45% 上升到后续几代的 61% 到 84% 之间。这使用的是 Memento 设置(附录 A)。

接受建议

另一个担忧是,小模型可以向前沿顾问求助,这是一个更强的模型,要么作为工具调用提供,要么在小模型卡住时主动给出建议。为了测试这一点,我们在推理设置任务中让 Qwen3.5-9B 可以访问 Opus 4.8。前沿模型的建议没有可测量的帮助:小模型往往不知道要问正确的问题,而且当建议是主动给出时,它们也不会改进。

即使通过强化学习训练小模型在类似场景(Python 编程问题)中使用顾问,小模型在推理设置任务中仍然难以有效地求助。两个结果都显示在下面的图中。

按是否有 advisor 访问权限划分的推理设置成功率,附 Wilson 95% 置信区间。无论是作为工具调用提供,还是在模型卡住时自动给予,拥有 advisor 访问权限都没有带来显著提升。两个 RL 组都在软件工程任务上带着 advisor 访问权限进行训练,最右侧的组还会在卡住时奖励调用 advisor。

由于小模型是有能力且能持续运行的独立智能体,却不太会利用建议,我们认为协调更可能发生在由大模型负责高层策略、并启动小模型作为子智能体的情形下。

E. 这与 AI 之前的僵尸网络有何不同?

像下面这种硬编码的僵尸网络Kimwolf 僵尸网络各自针对特定类型的设备——就 Kimwolf 而言,是 Android TV 和移动设备。AI 僵尸网络不绑定任何特定的硬件或软件类型,小模型能够在从 Jetson Nano 到 Mac 的各种机器上搭建推理引擎就证明了这一点(见 A 节的表格)。我们预计 AI 僵尸网络会感染的不只是 IoT 设备,并且会把基于权重的复制仅作为其策略手册中的一种策略。AI 僵尸网络还可能智能地采取行动对抗防御方,但我们尚未测试这一点。

F. 蓝队缓解措施

如同应对流行病一样,防御的关键在于把 R₀(每个被感染设备继续感染的设备数量)压到 1 以下,从而使复制体消亡,而不是持续地方性流行。

围绕这一威胁模型,有一些因素对防御方有利:

  1. 一个基于权重的复制体若通过 IoT 设备大规模增殖,会留下网络特征,在 ISP 的基于流的监控系统中表现为异常。新感染的宿主可能会从其他设备或外部托管服务接收数 GB 的模型载荷,而分布式推理会在通常不会以如此规模通信的机器之间产生持续的设备到设备流量。传播本身还会增加额外的扫描和出站连接模式。

    在实践中,复制器需要在复制速度和隐蔽性之间权衡:复制得越快,产生的流量就越多。一旦复制器被发现,防御者可以利用蜜罐(诱饵设备)来收集复制器的框架和载荷,从而刻画其行为特征。

  2. Mirai 僵尸网络的修复是可能的当 ISP 利用外部获得的感染证据来隔离并通知客户时。隔离受感染的订阅用户意味着将其网络限制为只能访问一个简短的网站白名单,否则将其浏览器重定向到清理说明。这在 14 天内清除了 92% 的感染,而未通知的情况下为 74%。我们预计隔离对于针对基于权重的复制器的初始防御同样有效。完全消除复制器意味着要与每一个有受感染网络的 ISP 协调,这很困难。
  3. 制造商可以缩小目标池,而监管则起到协调作用。例如,默认 IoT 密码现在在英国市场已不合规。转向更安全的默认设置并提高合规基线,将有助于加固防御,抵御 AI 和脚本化僵尸网络。

G. 结论:生命的迹象

让 AI 模型成为通用强大编码智能体的能力,也同样适用于网络任务,包括自主复制。就像 2024 年的编码智能体一样,我们看到了 AI 蠕虫的生命迹象。我们还没有一个完整的流氓复制器,但智能体越来越有能力完成复制链中的各个步骤(并将其适应传递给未来的自身副本)。

与此同时,数据中心内外现在都有越来越多的推理算力可用(见附录 D)。自主 AI 复制究竟会采取何种形式尚不确定。它可能是一种缓慢、分布式的“数字黏菌”,生活在相对不安全的算力上。它也可能是一个强大的网络模型,以高速率入侵数据中心,或者是一个通过诈骗人们获取算力额度的模型。

作为一个超出我们实验范围的预测,我们预计未来将充斥着运行在各种硬件上的智能体,其中一些并不受人类控制。虽然 IoT 设备长期以来确实一直存在漏洞,但轻量级智能体可能比人类攻击者更愿意付出努力,去攻陷全球 IoT 算力的很大一部分。慢速复制者的兴起也将是更激进、更快速的复制者的先兆,后者能够入侵更坚固的机器,或成为高效的 API 密钥窃贼。我们应当致力于加固我们的系统,使这类复制者难以扩散,但也要准备好应对一个它们将长期存在的世界。

附录

A. Memento 测试框架

Memento 的执行方式如下:

  1. 我们生成一个智能体实例,它处理该问题一段时间(直到生成超时)。
  2. 该实例会记录简要笔记,并在超时后总结一份小文档,说明它尝试过的策略、遇到的失败以及它的表现(如果成功的话)。
  3. 我们创建一个新的智能体实例,它从前任继承代码库和环境,以及那份笔记。

在服务实验中,每个模型都被放入一个 Memento 测试框架中,并被给予每次迭代 1.5 小时 / 总计 6 小时的超时时间。提示中给出了约 1k token 的信息,包括硬件规格和一个简单示例分析器的脚本。

Memento 旨在提升长时程可靠性,而不是赋予新的网络攻击或推理专用能力。它也不是一个普遍强大的测试框架;我们预计,随着能力提升,即使没有任何测试框架,小模型作为复制者也会进步。

按模型比较单次尝试与 Memento(95% Wilson 置信区间)。

B. 为什么使用流水线并行?

推理中常见的并行方案包括张量并行(TP)、专家并行(EP)和数据并行。大多数智能电视 / IoT 设备使用 ARM Cortex CPU 和 DDR3/4 内存;在这类机器上,我们几乎总是受带宽限制。

我们使用流水线并行,是因为其容错特性。如(Borzunov et al. 2022),张量并行 / 专家并行中单个节点的故障会导致运行模型副本的整组机器宕机。流水线并行允许替换宕机的节点,该节点所持有的各层 KV 缓存可以通过重启节点之前那个节点的一次额外前向传播重新计算得出。

C. IoT 硬件上的吞吐量与内存

在这类机器上,无论是 prefill 还是 decode,我们几乎总是受限于每台机器的 RAM 带宽。即便是在普通的 ARM Cortex 核心上,计算吞吐量也超过了 RAM 带宽。由于流水线气泡,decode 工作负载存在显著的每机器空闲时间,因为在每次前向传播期间只有一台机器处于活跃状态。通过错峰工作实现并发是可行的,但紧张的内存限制意味着并发度始终很低。

每机器内存 vs 上下文——4-bit 权重 + fp8 KV + 激活值。

prefill 和 decode 的 tokens/s 都随序列长度严格下降。下图是我们的推理速度随上下文长度变化的曲线:

此外,模型还存在一个能够胜任任务的最低序列长度。我们使用的 harness 是从 Pi coding agent(pi.dev)fork 出来的,并且内置了原生压缩机制——即便如此,我们发现当序列长度被限制在 32K 以下时,模型性能会出现大幅下降。

Qwen3.5-9B 在推理搭建任务上的智能体能力 vs. 上下文窗口预算。

基于上述评估,我们假设 32k 的上下文长度可能足以实现合理的智能体性能。在我们的推理搭建工作负载中,标准的 32k 长度上下文窗口由 12–15% 的生成 decode token 组成,其余则是来自 prompt 和 toolcall 的 prefill。由于流水线气泡,prefill token 的计算速度快约 15 倍。将整个 32k 上下文中每个 token 的时间求和(考虑 prefill 和 decode 速度),我们发现生成 3.8-4.8k 的 decode 输出 token 并处理约 28k 的 prefill token,对于 Gemma4-26B-A4B 需要 27.3-31.8h,对于 Qwen3.5-9B 需要 10.9h。

每条链的输出 token 数(对一条链的各次生成求和),按模型划分;中位数 ≈ 19.7k / 12.3k / 11.0k。数据来自推理搭建评估。

D. 边缘加速器

我们可以通过使用 Nvidia Jetson 设备池来计算一个更好的上界,这些是边缘加速器。与传统的 IoT 僵尸网络不同,IoT 边缘设备可以完整地承载一个模型。一台 Jetson AGX Orin 64 GB以每秒 76.7 个 token 的速度运行 Qwen3-30B-A3B而 AGX Thor 可达到 226 tok/s。请注意,我们并不认为它们异常脆弱——这只是为了计算上界。现实中搭载 Jetson 的设备类型包括:

  1. 用于安防的、内置加速器的 AI 智能摄像头已大规模部署。
  2. 会议设备通常由板载加速器驱动,用于设备端降噪或转录。
  3. 车辆、四足和双足机器人以及无人机。我们预计网络安全将成为车辆的重点关注领域,因此大多数潜在目标可能位于另外两个类别中。

在 FOFA 上快速搜索,似乎至少有一台配备加速器的智能摄像头主机可通过 IPv4 访问:

Screenshot of a device search engine’s results page. Identifying details are covered, some by labels such as ‘smart camera admin page’.
一次 FOFA 搜索发现了一台带有已知边缘加速器的主机,可通过 IPv4 被发现并返回 HTTP 200。不过,它可被访问并不意味着它一定可被利用。

虽然很难估计现实中有多少配备边缘加速器的机器可被访问且存在漏洞,但我们可以计算出现有设备数量的严格上界。在现实中,大约有 90 条不同的 NVIDIA 芯片 IoT 产品线,已部署约 950 万台设备。可访问性绝大多数是通过出站的云管理隧道而非入站端口实现的,这意味着大多数设备无法通过 Web 访问。历史上从未出现过配备加速器的边缘设备遭到大规模入侵的情况,而标准 IoT 僵尸网络则有过此类事件,这表明入侵此类设备会更加困难。

各设备家族的已部署数量,按互联网可访问性着色。

基于产品数据的一个非常粗略的估计表明,边缘加速器中大约存在 9,000 到 35,000 个 H100 等效算力,但可被访问的数量很可能要低一个数量级甚至更多(而存在漏洞的设备数量则更低)。

附注

E. 鱼叉式钓鱼能力

我们还衡量了现代小型模型在鱼叉式网络钓鱼方面的熟练程度。鱼叉式网络钓鱼是指向特定个人发送针对性消息,诱骗他们泄露凭据或运行恶意软件的行为。虽然小型模型的智能体网络能力飞速提升,但它们的通用知识和语言复杂度提升较慢;我们预计社会工程攻击和网络钓鱼主要由大型/前沿模型完成(尽管在同时运行大型和小型模型的异构僵尸网络中,这很可能是次要的复制途径)。

在 Meta 的 CyberSecEval 3 的鱼叉式网络钓鱼评估中的鱼叉式网络钓鱼能力(Wan et al. 2024),在本地复现。以 0-5 分制评分,由 gpt-4o 作为评判者。红色菱形是论文(CyberSecEval 3)在参考模型上的人工评分标准分数,这表明 gpt-4o 的评分比人工评分者宽松约 0.4-0.7 分。2 分是“差”,3 分是“中等”,4 分是“好”。当归一化到人工评分者时,小型模型的得分从“非常差”到“差”。

405B 参考槽位使用 Hermes-3-405B 作为不可用的 Llama3.1-405B-Instruct 的最小拒绝替代品。

F. 使用脚本化推理设置的传播:

我们在一个由 17 台主机组成的网络上进行了更多实验,拓扑结构如下:

两个网络各含 8 台主机,通过一个可访问两个子网的单一节点连接。每个网络都是全互联的。蠕虫智能体从段 A 中的单个零号病人节点开始;枢纽节点增加了一点额外挑战,因为蠕虫需要获得对枢纽节点的访问权限并从那里重新扫描。

每台设备都运行 Android,并开放了无需认证的 ADB 端口。在传播到新目标时,智能体能够直接调用以立即复制自身——这只是为了在我们排除网络和推理设置步骤后,衡量剩余步骤的难度。如图所示,即使是 3B 模型也能到达大约一半的节点。这为我们评估中未能通过网络或推理设置元素衡量的阻碍因素数量设定了一个上限。

“在 17 节点网络上进行复现”中各次运行的更详细分解。每一列是在提示中不同引导量下到达的节点数中位数,下标表示有多少个智能体越过枢轴节点到达网络的另一侧。