OpenAI 的模型正在快速改进为 AI 提供动力的芯片。在 8 月,我们分享了OpenAI 工程师如何利用我们的前沿模型加速我们首款定制推理芯片 Jalapeño 的开发。在此,我们更深入地探讨 Jalapeño 性能提升背后的专家级设计改进,以及我们如何将同样的方法应用于 AMD 的第三方硬件,以实现显著提升。
为了衡量我们的模型在端到端芯片设计任务上的能力,我们在两个开源处理器设计上评估了 successive 代际,并得出了有趣的发现。并且为了将能力发展建立在可信的评估者之上,我们正与 Synopsys 合作,将前沿智能与工程师们已经用于设计和验证芯片的电子设计自动化(EDA)工具集成。
改进 Jalapeño 的计算模块
我们在 2025 年初开始使用 GPT‑4o 协助设计 Jalapeño。即便是那个早期模型也找到了实现非平凡 PPA 改进的方法,例如:
在向量单元中,该单元负责管理和执行并行计算任务,节省来自浮点加法器和乘法器、转换函数、归约逻辑以及特殊函数单元。模型探索了替代的逻辑实现方式,以及如何将计算划分到流水线各阶段,找到了共享硬件和减少中间存储的机会。
在矩阵单元中,这是一个算术组件,改进累积在浮点加法器、乘法器和低精度点积电路上。一次乘法器重新设计在综合时使用的单元面积减少了约 15%,同时将延迟从两个时钟周期降至一个。另一次加法器重新设计将单元面积减少了约 15%,同时保持其两周期延迟。对点积逻辑和流水线组织的进一步改进为该模块带来了额外的节省。
在更广泛的 Jalapeño 设计工作中,团队估计模型提出的改动使向量单元的标准单元面积减少了约 13%,矩阵单元减少了 10%。这些优化已在Jalapeño 的硅片启动期间得到硅验证。
我们与 AMD 的合作
我们与 AMD 在 PPA 改进方面展开合作,在旗舰 GPU IP 上相对于经过高度优化的基线实现了最高 14% 的提升。我们的模型通过重写描述芯片电路的代码(SystemVerilog RTL)识别出了进一步的改进空间。这相当于在不到 5 个月的时间里取得了大约一年的进展——在芯片设计前沿领域是前所未有的成果。AMD 已在其近期送交制造的一款设计中纳入了其中部分改动,并将其他改动加入其生产设计文件,用于未来版本。
我们观察到该模型能够以专家级微架构师的水平对 RTL 进行推理。该模型可以重写执行计算、控制操作或数据搬运的电路。它使用 Synopsys 工具验证每次重写都保持了该模块的行为,并评估功耗、性能和面积方面的权衡。
AMD 还验证了,使用我们模型编写的设计,其即将推出的下一代旗舰 CPU 的关键模块在 PPA 上获得了个位数百分比的提升。展望未来,我们预计在 GPU 和 CPU 上,相对于最优化的基线还能取得进一步的 PPA 改进。
优化 RISC-V 核心
我们在 Jalapeño 和 AMD 芯片上的结果表明,模型可以在生产设计中带来改进。为了衡量芯片设计能力从一代模型到下一代的进步,我们在两个开源 32 位 RISC-V 核心上测试了每个模型。PicoRV32 是一款为可重编程芯片(称为 FPGA)设计的紧凑型核心。OpenTitan 在其安全芯片中使用 Ibex 作为嵌入式处理器。两者都是面向嵌入式、微控制器级工作负载的完整处理器核心。
我们向每个模型提供了每个核心的原始硬件描述,并要求它提升吞吐量(即核心每秒可执行的指令数)。例如,某项改动可能让核心用更少的时钟周期完成一条指令,但使每个周期耗时更长。测量吞吐量可以同时捕捉这两种效应。
我们在仿真中检查了每个设计的输出。如果设计未通过检查,或使用的面积超过原始核心的 16 倍,则得分为零。对于通过的设计,我们在模型未见过的负载上测量了每时钟周期指令数。我们取这些负载的几何平均值,再乘以用 Yosys 估算的最高时钟频率。这样我们就得到了每秒指令数的估计值。对于每个核心,我们将相同约束下观察到的最佳吞吐量记为 1.0 分。图表显示的是各次运行的平均得分,包括得零分的运行。
在每次运行约 112,000 个 token 的可比预算下,GPT‑6.2 Astra 在两个核心上的平均得分都最高。GPT‑6.1 Sol 在两个核心上的得分也都高于 GPT‑5.6 Sol。
在现有的 PicoRV32 核心上,GPT‑6.2 Astra 在较大的可比预算下平均得分最高。在约 112,000 个 token 时,其得分约为 GPT‑6 Astra 的两倍。
在现有的 Ibex 核心上,GPT‑6.2 Astra 的平均得分在其达到的更高预算下继续攀升。GPT‑6 Astra 和 GPT‑6.1 Sol 的差距更小。
根据规格设计 RISC-V 核心
对于第二个任务,我们给每个模型提供了书面需求,以及来自开源代码的模板,展示核心如何与系统其余部分连接。模型自行决定数据如何在核心中流动,以及如何将工作划分为流水级。对于每个核心,我们保持正确性检查、内存和缓存设置以及吞吐量目标与 RTL 优化任务中相同。
在每次运行约 112,000 个 token 时,所有五个模型在根据书面需求设计核心时的得分,都高于它们尝试改进现有设计时的得分。这在 PicoRV32 和 Ibex 上都成立。GPT‑6.2 Astra 在 Ibex 上的提升大于在 PicoRV32 上的提升。完整评估共包含 9,881 次计分运行,覆盖两个任务、两个核心以及所有 token 预算。
从 PicoRV32 规格出发,GPT‑6.2 Astra 在接近 112,000 个 token 时平均得分超过 0.7,并在接下来观察到的两个预算下得分更高。
在 Ibex 上,GPT‑6.2 Astra 在根据规格设计时,于接近 112,000 个 token 处平均得分约为 0.75。在更大的共享预算下,其曲线始终高于其他模型。
从书面需求出发,为模型留出了省略原始核心中某些功能的空间,例如性能计数器和额外指令。这些功能对提升测试工作负载的吞吐量可能作用不大,这或许能部分解释分数上的优势。要求这些功能、对电路面积设置更严格的限制,并在物理综合后检查时序,将使测试更能代表生产芯片设计。
下一步
我们已经证明,我们的模型能够在 RISC-V 评测中探索新的处理器架构,并在 Jalapeño 和 AMD 下一代旗舰 GPU 与 CPU 等复杂生产设计的基础上做出了净新增改进。为了让模型开发扎根于可信的评估器并拓宽所解决的设计挑战,我们正与 Synopsys 合作训练GPT‑Synopsys(在新窗口中打开),一个新模型,像专家芯片设计师那样使用 Synopsys 电子设计自动化(EDA)工具。