摘要

在我们之前的文章中, Redwood我们展示了在给定架构的情况下,我们的 AI 系统能够在创纪录的时间内实现、验证并部署一个推理加速器。然而,与其他科学领域类似,我们相信 AI 系统在获得正确的自由度和护栏后,能够将软件与硬件协同设计,在整个技术栈上进行优化,并开辟出一个此前无法触及的、极其庞大的设计空间。我们着手回答这样一个问题:“我们的 AI 系统与工具能否带来一种全新的硬件发现,从而大幅超越人类设计的方案?”

今天,我们推出 Frostbite,这是一款从零开始构建、采用全新指令集的通用 CPU。Frostbite 利用了交互网络(interaction nets)的特性,即每一步都是局部的、每个依赖都是显式的、每个值都恰好只有一个所有者,从而在长期停滞的 CPU 性能上实现阶跃式提升。在一组最初选定的 25 个工作负载上(其中 15 个保留到最终评估时才使用),与一款现代、经硅验证的超标量(双发射、顺序执行)CPU 核心相比,我们实现了 4.59 倍的每瓦性能倍数。

我们的 AI 系统自主地在编译器、ISA、架构、微架构、RTL、验证以及最终 GDS 上进行了迭代。当我们更仔细地审视所发现的架构原语时,我们惊讶地发现了新颖的硬件实现和运行时特性,而这些在通常情况下是很难设计出来的。尽管 CPU 核心的改进长期停滞,我们仍能够将一个工作负载概念一路推进到最终的 GDS,并证明在每瓦性能和每面积性能上实现了阶跃式提升。我们相信,随着 AI 系统能力的增强,我们今天所知的每一类芯片,从数据中心级 CPU,到 AI 加速器,再到网络交换机和网卡,都将经历类似的基础性架构转变。

交互网络简介

主流编程语言在为通用 CPU 编译时,会隐藏程序各部分之间的依赖关系。任何一段代码都可能通过共享的可变状态读写任意变量,因此现代 CPU 硬件只能假设最坏情况,在运行时重新发现哪些指令实际上相互依赖。此外,自 2000 年代初以来,单核 CPU 性能基本停滞,这推动人们转向大型多核 CPU,如 Intel Xeon、AMD Zen 和 NVIDIA Vera。这迫使 CPU 维持每个核心看到相同内存的假象,而要保持这一假象的一致性和高性能,就需要深层缓存层级和一致性协议,它们消耗面积和功耗,且扩展性很差。

交互网络1采取了不同的方法。程序是由节点构成的图,计算通过重写通过端口相连的节点对来发生。每次重写只触及图中一小块局部区域。由于每个节点恰好有一个主端口,这些活跃对永远不会重叠,因此它们可以按任意顺序重写,或者同时全部重写,结果始终相同。交互网络也是线性的:每个值恰好使用一次,因此没有共享的可变状态需要硬件去防护。像 Vine 这样的语言2将看似普通的程序直接编译为交互网络。关于交互网络及其为何适合硬件的出色入门介绍,我们强烈推荐 Tendrils 的《On Interaction Nets》。3

图 1. 五皇后问题的两种方式。左侧,一个 C++ 程序一步一步地遍历搜索树。右侧,同样的搜索作为交互网络同时探索多个分支:3,183 次交互,关键路径仅 262 步。

图 1 展示了一个小型搜索问题上的差异:在 5×5 棋盘上放置五个皇后。顺序程序一次访问一个候选。交互网络则暴露了其所有独立工作:平均每一步大约有 12 次交互可以运行。程序没有任何部分为了获得这种并行性而被重写;依赖关系只是从未被丢弃。

理论上,这应该有两个很大的优势。第一个是免费的多线程:并行性直接来自程序本身,而不是依靠不同层次的粗粒度和细粒度并行。没有线程、锁或竞态条件,也没有传统核心用来挖掘并行性的乱序机制。第二个是,由于每个值只有一个所有者,且每一步都是局部的,数据可以存放在使用位置附近的小型本地存储器中。这消除了传统芯片在大型缓存子系统上花费的大量面积和功耗,也消除了保持这些缓存一致性所带来的大部分系统级复杂性。

过程

Frostbite 的设计没有任何架构先验。我们遵循了下述过程,在此过程中借助了多个智能体集群。

Timeline of the Frostbite program showing key events, stages from architecture exploration through alignment and iteration, and the agent worktrees created in each stage.

图 2. 从最初提案到消融实验的 Frostbite 项目:关键事件、工作阶段,以及智能体创建的工作树,每个分支用其所在阶段的颜色绘制。

架构探索与选择

为了开始架构探索,我们必须确定 Frostbite 应该极其擅长的工作负载集合。我们决定考察程序暴露其工作的不同方式:许多独立片段同时进行、多轮并行工作、长顺序链、数据相关分支以及递归。在每个类别下,我们创建了一个搜索集和一个留出评估集,用于评估最终的 Frostbite,确保设计能够泛化到从未针对其调优过的程序。FFT、radixsort 和 LU 的内核遵循 SPLASH-2 基准测试中的实现,但规模缩小了 64 倍,因为在常规规模下它们不适合探索性工作。

后来,我们向留出集添加了五个更实用的工作负载:卡尔曼滤波器、PCA、有限元分析、LU 求解和 LZ4 解压缩。

Table of 25 workloads in five groups, each split into search set and eval set. Parallel: gemm, chacha20 and spmv in the search set; conv2d, radixsort and pca in the eval set. Staged: fft and binomial in the search set; lcs, bfs, emeans, lu solve and fea in the eval set. Sequential: biquad and sha256 in the search set; huffman and kalman in the eval set. Branching: json in the search set; randomforest and lz4 in the eval set. Recursive: mergesort and nqueens in the search set; quicksort, kdtree and fib in the eval set.

图 3. 全部 25 个工作负载,按每个程序暴露其工作的方式分组,并分为智能体调优所用的搜索集和留出评估集,同时标注了每个工作负载的运行规模。

智能体综合了研究论文和现有基准测试,并构建 Python 模型来权衡高层架构理念之间的取舍,然后缩小到单一架构概念。这一探索的产出是一份 141 页的 PDF,涵盖所提出的编程模型、运行时以及芯片的高层模块。这远非最终架构,而是一个起点,其中描述了所有先前的发现、高层需求、约束、实验和运行时特性。一旦第一个架构迭代完成(首次 RTL 生成),这份文档就被删除了,因为许多数字和估算与物理上可行的结果相差甚远。

形式化契约与系统建模

一旦选定候选架构,我们的系统便转向构建芯片的完整软件模型。在探索架构空间时,构建软件模型至关重要,因为它们允许在工作负载、ISA 和硬件的抽象视图之间快速迭代。无论我们构建的是 CPU、GPU、NPU 还是网络交换机,掌握这一迭代循环都能在有限时间内最快地探索设计空间。为了反复做到这一点,我们设计了一种新的内部规范语言 ASL,并用它编写了 Frostbite 的系统模型“Arcmodel”。ASL 支持在 RTL、系统模型、UVM、SVA 等之间进行机器可检查的转换和精化,且全部基于形式化支撑的规范。其功耗和性能估算准确度在 1–5% 以内,运行速度比 RTL 仿真快约 200 倍,并且可以通过“契约”进行形式化验证。

迄今为止的每一个硅片项目中,人类架构师都会编写大量英文 PDF,然后才移交给实现团队和验证团队。然而,自然语言无法精确且无歧义地捕捉实现所需的每一个细节,也无法保证在 ASIC 设计和验证过程中捕捉到每一个智能体幻觉。自然语言从来就不是为此而生的,在 AI 编写规范的世界里,我们选择一种形式化的、机器可检查的规范语言。

ASL 可以形式化地描述高层、类协议行为,例如乱序处理、CSR 编程、内存排序和一致性,也可以描述低层细节,例如流水线、仲裁机制和计算传递函数。这让模型可以在有用之处保持规范开放,而在需要精确行为之处对其进行精确约束。ASL 还可原生翻译为 Lean,4我们在检查跨 RTL、UVM、C、SVA 等的 AI 输出时,将其用于所有定理证明。我们将在未来的文章中更详细地讨论 ASL。

在 Frostbite 的整个开发过程中,我们的 AI 将 Frostbite ISA、Arcmodel、设计和验证紧密地一起迭代,并维护 ASL Contract 作为事实来源。我们发现,拥有单一、可证明的事实来源可以防止在部署大型智能体集群时出现一大类 bug、低级错误和奖励黑客实例。最终,这种共同语言让模型能够灵活地跨栈工作,反映从工作负载向下传播到最终硬件的变更。到最后,我们的 Frostbite ASL 降低到 800k+ 行 Lean。

A web of 31 clusters, one per block of the chip, each made of the signals, events, state and clauses its Lean contract names, linked by blue curves where blocks share signals; below, the frame manager's contract drawn out, with its signals on the left feeding events, state and 49 clauses on the right.

图 4. 所有 31 个块的 Lean 合约。每个块是其合约所命名内容的集群,通过谁读取谁来连接,并以蓝色表示块共享的信号。下面,我们放大 Frame Manager(FRM)块。

RTL 与对齐

由于 ASL 是一种有形式化支持的规范,设计和验证由其衍生的 RTL 是整个 Frostbite 过程中最快的部分。然而,Arcmodel 不具备物理感知,因此其功耗和性能估计最初会与经过时序收敛、综合干净的 RTL 的真实数字出现偏差,最坏情况下偏差接近 250%。

在继续 ASL 自动研究之前,我们的一个系统会依据 RTL 重新校准 Arcmodel。这是一个完全自主的流水线。它首先识别 RTL 中的功耗热点,并将它们追溯到形式化规范中的关键计数器,例如 SRAM 读写、操作计数、发送和接收的 flit、信用返还以及帧缺失。随后,模型可以编写任意基于这些计数器的标量 Python 函数来预测功耗,并重复这一过程,直到 RTL 与 Arcmodel 的误差在 5% 以内。

我们发现这种非梯度学习方式极其强大。一旦完成首次物理对齐,后续迭代就会快得多。当然,这些仍然是流片前的功耗数字;经过多轮流片循环后,ASL 模型可以与真实的流片后量产功耗数字建立关联。

Chart of model energy versus RTL energy prediction error over time, showing the Python model at 40–130% error and Arcmodel falling from 250% worst-case error after the first power fit to under 6% worst-case and about 1.5% median after searching.

图 5. 程序运行过程中建模能耗与 RTL 能耗之间的误差。Python 模型与 RTL 相差甚远;在首次功耗拟合之后,Arcmodel 被重新校准并搜索,直到其误差落入 1–5% 区间。

通过将 Arcmodel 与 RTL 如此紧密地对齐,后续的群体能够以快得多的速度进行探索和利用。完整的 Arcmodel 芯片仿真比 RTL 快得多(快 660 倍),这带来了许多跨栈优化。例如,我们的 AI 系统发现了非常细粒度的时钟门控技巧,并在数小时内相应调整软件运行时以适配它们。这种跨栈优化在传统 ASIC 流程中几乎不可能执行。

契约、Arcmodel、RTL 与功耗,共同迭代

一旦 Arcmodel 和 RTL 达成一致,原始的 Python 模型和架构 PDF 就被删除,ASL 契约成为芯片的唯一规范。从那时起,契约、Arcmodel、RTL 和功耗齐头并进。成群的智能体在并行的 worktree 中提出架构修订;每项变更都对照契约进行检查、在 Arcmodel 中建模、在 RTL 中实现,并测量功耗,然后要么保留、要么丢弃。在四轮搜索和最后一轮消融实验中,智能体集群尝试了 58 个想法,保留了其中 37 个,从运行中 tile 上的时钟门控,到更小的 L3 表和一个共享的 expander。

图 6. 从首次发布到项目结束的全过程:每次搜索的想法、它们变成的 worktree,以及处理它们的智能体,每个想法都标注了保留或丢弃。

架构新颖性

完整详述该架构值得单独写一篇文章。这里我们选择聚焦于我们认为新颖或有创意的特性,并突出我们的系统推动硬件设计前沿的能力。

Frostbite 的程序用 Vine 编写,2Vine 是一门成熟的编程语言,语法类似 Rust。Vine 程序被编译为Ivy,一种编码交互网结构的中间表示(IR)。优化器还会尽可能多地应用图归约规则,因此最终的Ivy 网(即所谓的 Ivy net)具有(基本)固定的形状,由三种原语组成:数据、计算节点和控制节点。然而,这个网的运行时仍然是非常动态的,因为与典型的计算图不同——在典型计算图中,并行性编码在结构里并随时间流水化——这里的并行性必须在运行时从状态中推导出来,并在空间上流水化。最初的朴素实现很慢,所以我们的智能体不得不发挥创意。

生成的 ISA 源自这组约束。其中很多是意料之中的:宽 bundle、硬件循环计数器和流。我们发现动态特性更有意思,尤其是从网络中其他将并行运行的部分取值、窥视和复制值的操作。随后各个 tile 活跃起来,跨越空间进行通信。

图 7. Frostbite 上的代码到硬件。第一次调用填充芯片,随后它发起的调用跟随其后,以递归方式复用相同的节点,直到每个 tile 同时运转。递归被铺展到空间上。

涌现特性:窃取工作

由于并行性铺展在空间上,因此没有中央调度器。相反,我们看到智能体设计了这些优雅的规则来传播工作。一个 tile 遵循三条规则:它先运行自己的工作,即其输入端口中的工作。如果这些为空,它就从有富余工作的相邻 tile 取工作。如果找不到这样的 tile,它就可以直接进入非活动状态以节省功耗。

智能体在实现方式上展现出了非凡的精细程度。下面是一个 Frostbite tile 的硬件:

Block diagram of one Frostbite tile: the front end, the engine, the memory and the system blocks, with the runtime (frame manager, scheduler, work queue, outlet) and the network interface highlighted, and the router, static switch, quad divider and configuration bus outside the tile.

图 8. 一个 Frostbite tile。边界框展示了如何理解各块的域。

其中很多应该都很熟悉。我们感兴趣的是负责上述窃取工作行为的 RUNTIME 域。

编译器将代码拆分为短段,这些段在输入就绪后不间断运行。它们在引擎中运行,并且大多像传统计算那样通过前端来组织。每当循环或分支拆分为大小事先未知的并行片段时,正在运行的段会把其后的内容暂存为本地内存中的一条小记录,即帧管理器。然后它把新任务放入一个称为工作队列 的硬件队列,并自己取走最新的一个。空闲的邻居随后可以自由地通过网络拉取剩余任务。随着任务在芯片上任意位置以任意顺序完成,它们的返回数据包会递减暂存记录的计数器,并在最后一片到达的瞬间自动唤醒下一段。

这在硬件中是这样的:

图 9. 瓦片如何分担工作负载。

我们可以把每个“任务”看作当前棋盘往下走一层、多一个皇后的状态。Tile 0 必须为所有可能的皇后配置排队三个任务,才能完成当前棋盘状态。它空闲下来,于是取走最新的任务(来自它自己)并运行。与此同时,它的邻居们拿到了其他任务,只有 Tile 5 例外,它重新进入休眠。

这一行为从未由任何人类指定。我们可以直接将其追溯到特定回归问题上的必要性,以及对性能指标的爬山式优化。

结果

我们在 7 nm 工艺上综合了 Frostbite,综合时达到 800 MHz 时序,最终 GDS 中达到 500 MHz。每个 Frostbite quad(2×2 的瓦片网格)搭配四个 L3 节点,面积为 0.792 mm²。我们将一个 Quad+L3 集群与现代超标量(双发射、顺序执行)CPU 的单核进行基准测试对比,后者我们称为 TCPU(“传统 CPU”)。在相同工艺下,该 TCPU 的面积为 0.895 mm²。†

Layout of the Frostbite chip, a four-by-four array of identical tiles with memory macros in pink. The top-left two-by-two tiles are outlined and labelled Frostbite quad, and one block on the left edge is outlined and labelled L3 node.

图 10. Frostbite 布局,4×4 瓦片,7 nm 工艺,其中标出了一个 Frostbite quad(2×2 瓦片)和一个 L3 节点。

我们在广泛的工作负载上进行了基准测试,从 gemm 和 conv2d 等密集并行内核,到 JSON 解析、Huffman 编码、k-d 树和递归 Fibonacci 等不规则、分支型程序。一组搜索集工作负载驱动了所有架构优化、ISA 设计、RTL 和验证,芯片在 10 个搜索集工作负载和 15 个留出工作负载上进行了评估,其中包括后来加入的五个实际工作负载(图 3)。

为了公平比较,我们选择首先通过将一个 Frostbite quad 与 TCPU 进行基准测试来测量“单核”性能,因为它们的面积相近。在所有工作负载上,我们平均获得 8.77 倍的每面积性能;在全部 25 个工作负载(搜索集和留出集合计)上,Frostbite 达到 TCPU 每瓦性能几何平均 4.59 倍:在 10 个搜索集工作负载上为 6.02 倍,在从未调优过的 15 个留出工作负载上为 3.83 倍。正如预期,该架构在高度可并行化的任务上表现最强,但在分支型、动态代码上也优于 TCPU。

Bar chart of the Frostbite quad's performance-per-watt relative to the TCPU across 25 workloads, search set in blue and the held-out eval set in light blue, from 23.12x on conv2d (eval set) down to 1.15x on fib (eval set), with dashed lines at the geometric means: 3.83x on the eval set, 4.59x across all 25, and 6.02x on the search set.

图 11. 一个 Frostbite quad 相对于 TCPU 最佳构建的每瓦性能,覆盖 25 个工作负载:搜索集中的 10 个,以及留出评估集中的 15 个。虚线标记评估集、全部 25 个以及搜索集的几何平均值。

Stacked bars of energy share: TCPU 57% memory, 27% fetch, decode and issue, 13% computing; Frostbite quad 38% memory, 6% fetch, decode and issue, 16% computing, 26% on-chip network and scheduler, 14% other; four-by-four Frostbite 40% memory, 7% fetch, decode and issue, 18% computing, 23% on-chip network and scheduler, 11% other.

图 12. TCPU、一个 Frostbite quad 和完整的四乘四 Frostbite 按功能划分的各芯片能耗占比,不含时钟分配。20 个工作负载的平均值。

能耗分解显示了节省来自何处。除去时钟分配(占 TCPU 能耗的 49%,占一个 Frostbite quad 的 41%),TCPU 将 57% 的能耗用于内存,27% 用于取指、解码和发射指令。Frostbite 将内存降至 38%,将取指、解码和发射降至仅 6%。作为交换,它把 26% 用于其片上网络和调度器,即在各 tile 之间共享工作和传递消息的成本。然而更令人兴奋的是,当我们将芯片扩展到四乘四阵列(四个 quad)时,功耗分布相对保持不变。在通用多核 CPU 架构中,扩展核心数量需要添加繁重的缓存一致性机制和大型缓存,而在运行交互网络时,相同的数据局部性规则始终适用,更多核心不会增加系统复杂度。如下图所示。在未来几个月里,我们将针对具有大型缓存和更大、更宽的超标量 CPU 的多核“TCPU”架构,在更大范围的行业基准测试(如 SPEC 和 PARSEC)上对 Frostbite 的网状配置进行基准测试。

Schematic floorplans side by side: a TCPU with eight cores, each with its own L1 and L2, around one large shared L3; and Frostbite, an eight-by-eight grid of tiles, each with a small memory block of its own.

图 13. 内存所在的位置。多核 TCPU 在其核心之间共享 L1、L2 和 L3 缓存的深层层次结构;Frostbite 为每个 tile 提供自己的小型内存。示意图,未按比例绘制。

接下来是什么

尽管交互网络已经存在超过 35 年,其生产价值从未被完全厘清。从历史上看,探索分布外架构始终存在风险,因为要形成确信需要投入时间、资金和人力。我们相信 AI 从根本上改变了这些经济账。在追求更高性能和更低功耗的过程中,对工作负载、ISA 和硬件进行极致协同设计的需求将持续存在。借助大规模智能体集群、精密的搜索空间技术、精确的护栏、形式化验证以及更快的 EDA 工具,AI 系统将能够发现并构建出质量超越人类认知的新型加速器。尽管还有很多工作要做,但我们觉得现在是时候向世界展示自主芯片设计的未来可能是什么样子。我们计划继续扩大 Frostbite 的开发规模,包括但不限于:

  • 提供一个软件游乐场,让任何人都能在 Frostbite 上运行程序,托管在 FPGA 上。
  • 构建一个初步的操作系统,能够管理硬件资源、多程序、虚拟化等。
  • 扩展集群以提升 Frostbite 的每瓦性能,并在更大规模的工作负载集上、针对更广泛的 CPU 集合进行基准测试。
  • 发布 Frostbite 的 RTL 和 ISA。

我们乐在其中!

注释

†出于法律原因,我们无法披露具体的 CPU。

参考文献

  1. 1。Lafont, Y. (1990). “Interaction Nets.” Proceedings of the 17th ACM SIGPLAN-SIGACT Symposium on Principles of Programming Languages (POPL ’90), 95–108. doi:10.1145/96709.96718
  2. 2。Vine 编程语言。 vine.dev
  3. 3。Tendrils (2026). “On Interaction Nets.” tendrils.co/blog/2026-04-26/on-inets
  4. 4。de Moura, L., and Ullrich, S. (2021). “The Lean 4 Theorem Prover and Programming Language.” Automated Deduction – CADE 28, LNCS 12699, 625–635. doi:10.1007/978-3-030-79876-5_37