摘要
在我们之前的文章中, Redwood我们展示了在给定架构的情况下,我们的 AI 系统能够在创纪录的时间内实现、验证并部署一个推理加速器。然而,与其他科学领域类似,我们相信 AI 系统在获得正确的自由度和护栏后,能够将软件与硬件协同设计,在整个技术栈上进行优化,并开辟出一个此前无法触及的、极其庞大的设计空间。我们着手回答这样一个问题:“我们的 AI 系统与工具能否带来一种全新的硬件发现,从而大幅超越人类设计的方案?”
今天,我们推出 Frostbite,这是一款从零开始构建、采用全新指令集的通用 CPU。Frostbite 利用了交互网络(interaction nets)的特性,即每一步都是局部的、每个依赖都是显式的、每个值都恰好只有一个所有者,从而在长期停滞的 CPU 性能上实现阶跃式提升。在一组最初选定的 25 个工作负载上(其中 15 个保留到最终评估时才使用),与一款现代、经硅验证的超标量(双发射、顺序执行)CPU 核心相比,我们实现了 4.59 倍的每瓦性能倍数。
我们的 AI 系统自主地在编译器、ISA、架构、微架构、RTL、验证以及最终 GDS 上进行了迭代。当我们更仔细地审视所发现的架构原语时,我们惊讶地发现了新颖的硬件实现和运行时特性,而这些在通常情况下是很难设计出来的。尽管 CPU 核心的改进长期停滞,我们仍能够将一个工作负载概念一路推进到最终的 GDS,并证明在每瓦性能和每面积性能上实现了阶跃式提升。我们相信,随着 AI 系统能力的增强,我们今天所知的每一类芯片,从数据中心级 CPU,到 AI 加速器,再到网络交换机和网卡,都将经历类似的基础性架构转变。
交互网络简介
主流编程语言在为通用 CPU 编译时,会隐藏程序各部分之间的依赖关系。任何一段代码都可能通过共享的可变状态读写任意变量,因此现代 CPU 硬件只能假设最坏情况,在运行时重新发现哪些指令实际上相互依赖。此外,自 2000 年代初以来,单核 CPU 性能基本停滞,这推动人们转向大型多核 CPU,如 Intel Xeon、AMD Zen 和 NVIDIA Vera。这迫使 CPU 维持每个核心看到相同内存的假象,而要保持这一假象的一致性和高性能,就需要深层缓存层级和一致性协议,它们消耗面积和功耗,且扩展性很差。
交互网络1采取了不同的方法。程序是由节点构成的图,计算通过重写通过端口相连的节点对来发生。每次重写只触及图中一小块局部区域。由于每个节点恰好有一个主端口,这些活跃对永远不会重叠,因此它们可以按任意顺序重写,或者同时全部重写,结果始终相同。交互网络也是线性的:每个值恰好使用一次,因此没有共享的可变状态需要硬件去防护。像 Vine 这样的语言2将看似普通的程序直接编译为交互网络。关于交互网络及其为何适合硬件的出色入门介绍,我们强烈推荐 Tendrils 的《On Interaction Nets》。3
图 1 展示了一个小型搜索问题上的差异:在 5×5 棋盘上放置五个皇后。顺序程序一次访问一个候选。交互网络则暴露了其所有独立工作:平均每一步大约有 12 次交互可以运行。程序没有任何部分为了获得这种并行性而被重写;依赖关系只是从未被丢弃。
理论上,这应该有两个很大的优势。第一个是免费的多线程:并行性直接来自程序本身,而不是依靠不同层次的粗粒度和细粒度并行。没有线程、锁或竞态条件,也没有传统核心用来挖掘并行性的乱序机制。第二个是,由于每个值只有一个所有者,且每一步都是局部的,数据可以存放在使用位置附近的小型本地存储器中。这消除了传统芯片在大型缓存子系统上花费的大量面积和功耗,也消除了保持这些缓存一致性所带来的大部分系统级复杂性。
过程
Frostbite 的设计没有任何架构先验。我们遵循了下述过程,在此过程中借助了多个智能体集群。

架构探索与选择
为了开始架构探索,我们必须确定 Frostbite 应该极其擅长的工作负载集合。我们决定考察程序暴露其工作的不同方式:许多独立片段同时进行、多轮并行工作、长顺序链、数据相关分支以及递归。在每个类别下,我们创建了一个搜索集和一个留出评估集,用于评估最终的 Frostbite,确保设计能够泛化到从未针对其调优过的程序。FFT、radixsort 和 LU 的内核遵循 SPLASH-2 基准测试中的实现,但规模缩小了 64 倍,因为在常规规模下它们不适合探索性工作。
后来,我们向留出集添加了五个更实用的工作负载:卡尔曼滤波器、PCA、有限元分析、LU 求解和 LZ4 解压缩。

智能体综合了研究论文和现有基准测试,并构建 Python 模型来权衡高层架构理念之间的取舍,然后缩小到单一架构概念。这一探索的产出是一份 141 页的 PDF,涵盖所提出的编程模型、运行时以及芯片的高层模块。这远非最终架构,而是一个起点,其中描述了所有先前的发现、高层需求、约束、实验和运行时特性。一旦第一个架构迭代完成(首次 RTL 生成),这份文档就被删除了,因为许多数字和估算与物理上可行的结果相差甚远。
形式化契约与系统建模
一旦选定候选架构,我们的系统便转向构建芯片的完整软件模型。在探索架构空间时,构建软件模型至关重要,因为它们允许在工作负载、ISA 和硬件的抽象视图之间快速迭代。无论我们构建的是 CPU、GPU、NPU 还是网络交换机,掌握这一迭代循环都能在有限时间内最快地探索设计空间。为了反复做到这一点,我们设计了一种新的内部规范语言 ASL,并用它编写了 Frostbite 的系统模型“Arcmodel”。ASL 支持在 RTL、系统模型、UVM、SVA 等之间进行机器可检查的转换和精化,且全部基于形式化支撑的规范。其功耗和性能估算准确度在 1–5% 以内,运行速度比 RTL 仿真快约 200 倍,并且可以通过“契约”进行形式化验证。
迄今为止的每一个硅片项目中,人类架构师都会编写大量英文 PDF,然后才移交给实现团队和验证团队。然而,自然语言无法精确且无歧义地捕捉实现所需的每一个细节,也无法保证在 ASIC 设计和验证过程中捕捉到每一个智能体幻觉。自然语言从来就不是为此而生的,在 AI 编写规范的世界里,我们选择一种形式化的、机器可检查的规范语言。
ASL 可以形式化地描述高层、类协议行为,例如乱序处理、CSR 编程、内存排序和一致性,也可以描述低层细节,例如流水线、仲裁机制和计算传递函数。这让模型可以在有用之处保持规范开放,而在需要精确行为之处对其进行精确约束。ASL 还可原生翻译为 Lean,4我们在检查跨 RTL、UVM、C、SVA 等的 AI 输出时,将其用于所有定理证明。我们将在未来的文章中更详细地讨论 ASL。
在 Frostbite 的整个开发过程中,我们的 AI 将 Frostbite ISA、Arcmodel、设计和验证紧密地一起迭代,并维护 ASL Contract 作为事实来源。我们发现,拥有单一、可证明的事实来源可以防止在部署大型智能体集群时出现一大类 bug、低级错误和奖励黑客实例。最终,这种共同语言让模型能够灵活地跨栈工作,反映从工作负载向下传播到最终硬件的变更。到最后,我们的 Frostbite ASL 降低到 800k+ 行 Lean。

RTL 与对齐
由于 ASL 是一种有形式化支持的规范,设计和验证由其衍生的 RTL 是整个 Frostbite 过程中最快的部分。然而,Arcmodel 不具备物理感知,因此其功耗和性能估计最初会与经过时序收敛、综合干净的 RTL 的真实数字出现偏差,最坏情况下偏差接近 250%。
在继续 ASL 自动研究之前,我们的一个系统会依据 RTL 重新校准 Arcmodel。这是一个完全自主的流水线。它首先识别 RTL 中的功耗热点,并将它们追溯到形式化规范中的关键计数器,例如 SRAM 读写、操作计数、发送和接收的 flit、信用返还以及帧缺失。随后,模型可以编写任意基于这些计数器的标量 Python 函数来预测功耗,并重复这一过程,直到 RTL 与 Arcmodel 的误差在 5% 以内。
我们发现这种非梯度学习方式极其强大。一旦完成首次物理对齐,后续迭代就会快得多。当然,这些仍然是流片前的功耗数字;经过多轮流片循环后,ASL 模型可以与真实的流片后量产功耗数字建立关联。

通过将 Arcmodel 与 RTL 如此紧密地对齐,后续的群体能够以快得多的速度进行探索和利用。完整的 Arcmodel 芯片仿真比 RTL 快得多(快 660 倍),这带来了许多跨栈优化。例如,我们的 AI 系统发现了非常细粒度的时钟门控技巧,并在数小时内相应调整软件运行时以适配它们。这种跨栈优化在传统 ASIC 流程中几乎不可能执行。
契约、Arcmodel、RTL 与功耗,共同迭代
一旦 Arcmodel 和 RTL 达成一致,原始的 Python 模型和架构 PDF 就被删除,ASL 契约成为芯片的唯一规范。从那时起,契约、Arcmodel、RTL 和功耗齐头并进。成群的智能体在并行的 worktree 中提出架构修订;每项变更都对照契约进行检查、在 Arcmodel 中建模、在 RTL 中实现,并测量功耗,然后要么保留、要么丢弃。在四轮搜索和最后一轮消融实验中,智能体集群尝试了 58 个想法,保留了其中 37 个,从运行中 tile 上的时钟门控,到更小的 L3 表和一个共享的 expander。
架构新颖性
完整详述该架构值得单独写一篇文章。这里我们选择聚焦于我们认为新颖或有创意的特性,并突出我们的系统推动硬件设计前沿的能力。
Frostbite 的程序用 Vine 编写,2Vine 是一门成熟的编程语言,语法类似 Rust。Vine 程序被编译为Ivy,一种编码交互网结构的中间表示(IR)。优化器还会尽可能多地应用图归约规则,因此最终的Ivy 网(即所谓的 Ivy net)具有(基本)固定的形状,由三种原语组成:数据、计算节点和控制节点。然而,这个网的运行时仍然是非常动态的,因为与典型的计算图不同——在典型计算图中,并行性编码在结构里并随时间流水化——这里的并行性必须在运行时从状态中推导出来,并在空间上流水化。最初的朴素实现很慢,所以我们的智能体不得不发挥创意。
生成的 ISA 源自这组约束。其中很多是意料之中的:宽 bundle、硬件循环计数器和流。我们发现动态特性更有意思,尤其是从网络中其他将并行运行的部分取值、窥视和复制值的操作。随后各个 tile 活跃起来,跨越空间进行通信。
涌现特性:窃取工作
由于并行性铺展在空间上,因此没有中央调度器。相反,我们看到智能体设计了这些优雅的规则来传播工作。一个 tile 遵循三条规则:它先运行自己的工作,即其输入端口中的工作。如果这些为空,它就从有富余工作的相邻 tile 取工作。如果找不到这样的 tile,它就可以直接进入非活动状态以节省功耗。
智能体在实现方式上展现出了非凡的精细程度。下面是一个 Frostbite tile 的硬件:

其中很多应该都很熟悉。我们感兴趣的是负责上述窃取工作行为的 RUNTIME 域。
编译器将代码拆分为短段,这些段在输入就绪后不间断运行。它们在引擎中运行,并且大多像传统计算那样通过前端来组织。每当循环或分支拆分为大小事先未知的并行片段时,正在运行的段会把其后的内容暂存为本地内存中的一条小记录,即帧管理器。然后它把新任务放入一个称为工作队列 的硬件队列,并自己取走最新的一个。空闲的邻居随后可以自由地通过网络拉取剩余任务。随着任务在芯片上任意位置以任意顺序完成,它们的返回数据包会递减暂存记录的计数器,并在最后一片到达的瞬间自动唤醒下一段。
这在硬件中是这样的:
我们可以把每个“任务”看作当前棋盘往下走一层、多一个皇后的状态。Tile 0 必须为所有可能的皇后配置排队三个任务,才能完成当前棋盘状态。它空闲下来,于是取走最新的任务(来自它自己)并运行。与此同时,它的邻居们拿到了其他任务,只有 Tile 5 例外,它重新进入休眠。
这一行为从未由任何人类指定。我们可以直接将其追溯到特定回归问题上的必要性,以及对性能指标的爬山式优化。
结果
我们在 7 nm 工艺上综合了 Frostbite,综合时达到 800 MHz 时序,最终 GDS 中达到 500 MHz。每个 Frostbite quad(2×2 的瓦片网格)搭配四个 L3 节点,面积为 0.792 mm²。我们将一个 Quad+L3 集群与现代超标量(双发射、顺序执行)CPU 的单核进行基准测试对比,后者我们称为 TCPU(“传统 CPU”)。在相同工艺下,该 TCPU 的面积为 0.895 mm²。†

我们在广泛的工作负载上进行了基准测试,从 gemm 和 conv2d 等密集并行内核,到 JSON 解析、Huffman 编码、k-d 树和递归 Fibonacci 等不规则、分支型程序。一组搜索集工作负载驱动了所有架构优化、ISA 设计、RTL 和验证,芯片在 10 个搜索集工作负载和 15 个留出工作负载上进行了评估,其中包括后来加入的五个实际工作负载(图 3)。
为了公平比较,我们选择首先通过将一个 Frostbite quad 与 TCPU 进行基准测试来测量“单核”性能,因为它们的面积相近。在所有工作负载上,我们平均获得 8.77 倍的每面积性能;在全部 25 个工作负载(搜索集和留出集合计)上,Frostbite 达到 TCPU 每瓦性能几何平均 4.59 倍:在 10 个搜索集工作负载上为 6.02 倍,在从未调优过的 15 个留出工作负载上为 3.83 倍。正如预期,该架构在高度可并行化的任务上表现最强,但在分支型、动态代码上也优于 TCPU。


能耗分解显示了节省来自何处。除去时钟分配(占 TCPU 能耗的 49%,占一个 Frostbite quad 的 41%),TCPU 将 57% 的能耗用于内存,27% 用于取指、解码和发射指令。Frostbite 将内存降至 38%,将取指、解码和发射降至仅 6%。作为交换,它把 26% 用于其片上网络和调度器,即在各 tile 之间共享工作和传递消息的成本。然而更令人兴奋的是,当我们将芯片扩展到四乘四阵列(四个 quad)时,功耗分布相对保持不变。在通用多核 CPU 架构中,扩展核心数量需要添加繁重的缓存一致性机制和大型缓存,而在运行交互网络时,相同的数据局部性规则始终适用,更多核心不会增加系统复杂度。如下图所示。在未来几个月里,我们将针对具有大型缓存和更大、更宽的超标量 CPU 的多核“TCPU”架构,在更大范围的行业基准测试(如 SPEC 和 PARSEC)上对 Frostbite 的网状配置进行基准测试。

接下来是什么
尽管交互网络已经存在超过 35 年,其生产价值从未被完全厘清。从历史上看,探索分布外架构始终存在风险,因为要形成确信需要投入时间、资金和人力。我们相信 AI 从根本上改变了这些经济账。在追求更高性能和更低功耗的过程中,对工作负载、ISA 和硬件进行极致协同设计的需求将持续存在。借助大规模智能体集群、精密的搜索空间技术、精确的护栏、形式化验证以及更快的 EDA 工具,AI 系统将能够发现并构建出质量超越人类认知的新型加速器。尽管还有很多工作要做,但我们觉得现在是时候向世界展示自主芯片设计的未来可能是什么样子。我们计划继续扩大 Frostbite 的开发规模,包括但不限于:
- 提供一个软件游乐场,让任何人都能在 Frostbite 上运行程序,托管在 FPGA 上。
- 构建一个初步的操作系统,能够管理硬件资源、多程序、虚拟化等。
- 扩展集群以提升 Frostbite 的每瓦性能,并在更大规模的工作负载集上、针对更广泛的 CPU 集合进行基准测试。
- 发布 Frostbite 的 RTL 和 ISA。
我们乐在其中!
注释
†出于法律原因,我们无法披露具体的 CPU。
参考文献
- 1。Lafont, Y. (1990). “Interaction Nets.” Proceedings of the 17th ACM SIGPLAN-SIGACT Symposium on Principles of Programming Languages (POPL ’90), 95–108. doi:10.1145/96709.96718
- 2。Vine 编程语言。 vine.dev
- 3。Tendrils (2026). “On Interaction Nets.” tendrils.co/blog/2026-04-26/on-inets
- 4。de Moura, L., and Ullrich, S. (2021). “The Lean 4 Theorem Prover and Programming Language.” Automated Deduction – CADE 28, LNCS 12699, 625–635. doi:10.1007/978-3-030-79876-5_37