引言

交互式 LLM 应用依赖低解码延迟。编码智能体必须先完成当前动作的生成,才能调用下一个工具,因此解码位于任务的关键路径上。在低并发下服务这类工作负载,优先考虑的是单用户响应速度,而非总体吞吐量。

一个解码步骤会执行一串 GPU 内核,用于投影、注意力和专家计算等操作。在小批量下,其中许多内核只做很少的工作,但每个内核仍要承担 GPU 侧的调度、启动和完成开销。依赖型内核必须等到输入就绪才能继续,因此整个内核的边界也限制了重叠。在长链中反复出现时,这些开销可能占解码延迟的相当一部分,而少量的并行工作又让 GPU 算力闲置。HIP graphs 降低了 CPU 启动开销,但并未消除这些 GPU 侧开销。图 1 展示了这些重复阶段;宽度和间隙为示意,并非实测时长或开销分解。

A GPU-side chain of Kernel A, B and C, each with Start, Work and Drain stages.
GPU 侧的内核链:内核 A、B、C,每个都包含 Start、Work 和 Drain 阶段。
图 1. 短内核周围反复出现的启动和完成开销。

本文探讨如何MonoKernels用FlyDSL编写,以降低 vLLM 在 AMD Instinct GPU 上服务交互式 LLM 时的解码延迟。我们会解释该方法及其与 vLLM 的集成,然后考察性能和准确率。

MonoKernels 如何降低解码延迟

一个MonoKernel将多个相互依赖的算子阶段合并到单次 GPU 内核启动中,使用显式设计的调度,而不是在每个算子边界都单独启动。这里的mono指单一内核执行边界,而非把整个模型放进一个内核。一个模型的 mono-decode 路径可以包含多个 MonoKernel,一个解码层也不必恰好对应一次启动。

目标不仅是让单个算子更快,还要缩短它们之间的等待。受TileRT启发,这里讨论的实现采用持久化启动固定的 GPU 线程块网格依次处理多个阶段。线程块是一组一起执行的 GPU 线程;一旦满足所需的依赖关系,它就可以继续执行后续工作。

图 2 中的两条路径都可以在 HIP 图下重放。区别在于多个独立内核与作者设计的单次启动内持久化调度之间。一些整内核边界变成了计算各部分之间更细粒度的交接。

Conceptual execution comparison: separate graph-replayed kernels versus a persistent schedule with weight prefetch and data-ready handoffs.
概念性执行对比:分离的图重放内核,与带权重预取和数据就绪交接的持久化调度。
图 2. 减少解码层内的等待。仅为示意图:块宽度和间距不是实测时长或加速估计。内核边界并不代表每个算子都重新进行一次 CPU 启动。
  • 跨阶段复用线程块。完成当前工作后,一个块可以承接下一阶段已就绪的工作,而无需单独的内核启动。这减少了重复的 GPU 内核启动和排空。
  • 在较早的工作计算时读取后续权重。例如,输出投影或专家 up/gate 权重可以在较早的计算期间预取。在调度和资源允许的情况下,这将部分 HBM 流量与有用的工作重叠,而不是将其全部暴露在关键路径上。它并不会消除权重读取,也不保证所有内存延迟都被隐藏。
  • 以消费者所需的粒度交接数据。一个tile是张量的一部分。一个带标签的信箱保存一个中间结果以及一个表示就绪的标签。下游阶段或对等 GPU 上的归约可以在所需数据就绪后继续,而不必等待生产阶段中无关的工作。消费者仍然要等待其自身计算所需的全部输入。

选择模型特定的内核边界

一个关键的设计挑战是决定MonoKernel 从哪里开始、到哪里结束哪些操作共享一次启动,哪些仍留在独立的内核中。融合更多阶段并不自动更好。边界必须契合模型的数据依赖、通信模式和 GPU 资源限制。因此 MonoKernel 的边界是模型特定的,而不是通用的单层单内核模板。

例如,最初的 DeepSeek-V4.1-Flash 实现(#60397)将标准解码器层路径划分为 K1 和 K2。图 3 展示了每个边界内的操作,而非它们的执行时序。

DeepSeek-V4.1-Flash example: K1 contains the attention front; K2 contains the attention back, a TP all-reduce, MoE, and a second TP all-reduce.
DeepSeek-V4.1-Flash 示例:K1 包含注意力前端;K2 包含注意力后端、一次 TP all-reduce、MoE,以及第二次 TP all-reduce。
图 3. DeepSeek-V4.1-Flash 示例中的两个启动边界。两次张量并行(TP)all-reduce 都在 K2 内部。这是模型特定的划分,而非通用的双内核配方;箭头表示逻辑顺序,而非实测调度。

K1 准备注意力输入并更新 KV 缓存。K2 完成注意力并继续执行前馈部分的工作,两次 TP all-reduce 都在内核内部使用对称对等内存。这些归约按 rank 顺序以 fp32 求和,然后转换为 bf16,并与周围工作重叠。它们位于 K2 内部并不意味着通信或跨 rank 同步消失了。

此示例的算子级映射
启动阶段
K1注意力之前的 mHC(超连接)混合 → 注意力前端:wqkv、q/kv norm、KV 缓存插入、wq_b
K2注意力后端(拆分注意力、合并、wo_a、wo_b)→ TP all-reduce → FFN 之前的 mHC 混合 → MoE(router、top-6、共享专家、MXFP4 专家)→ TP all-reduce

更窄的边界:MiniMax-M3。最初的实现(#62712)融合了 FFN 部分,包括其周围的通信,而注意力仍走原有路径。与 DeepSeek 示例相比,它只选择层的一部分进行单内核执行。这些示例说明了不同的边界选择,而不是一个原样适用于每个模型的固定配方。

为什么 FlyDSL 契合这种执行模型

边界和调度由内核作者设计,而不是通过选择某种语言自动生成。FlyDSL,AMD 的 Python DSL 和用于高性能 ROCm 内核的 MLIR 编译器,提供了表达和编译该设计所需的控制能力。作者负责设计,FlyDSL 负责编译,vLLM 负责选择并集成执行路径。图 4 展示了图 2 中两个线程块之间的交接过程,以及每一步背后对应的 FlyDSL 原语。

Block i computes stage A for token t, stores q to HBM, then raises flag t. Block j loads its stage-B weights early, polls flag t, and computes stage B once the flag is up.
块 i 为 token t 计算阶段 A,将 q 存储到 HBM,然后置起标志 t。块 j 提前加载其阶段 B 的权重,轮询标志 t,并在标志置起后计算阶段 B。
图 4. 单次 MonoKernel 启动内两个线程块之间的交接,以及每一步对应的 FlyDSL 原语。

块 i 存储其结果,等待存储落地(s_waitcnt并经过一个屏障),然后通过邮箱写入为每个 token 置起一个标志。块 j 更早发出了其阶段 B 的权重加载,因此权重在其轮询所需标志期间到达;标志一置起它便启动阶段 B,中间没有内核边界。FlyDSL 按所写顺序编译这一过程;它不会自行融合或重排各阶段。DeepSeek-V4.1-Flash 注意力前端在 vLLM 中遵循这一模式。模型、GPU 架构和所支持的步长宽度仍然决定哪些变体可以运行。下一节说明 vLLM 如何集成它们,而不替换服务引擎的其余部分。

实现细节:布局、编译与支持的配置

控制数据移动与同步。要重叠各阶段,实现必须决定工作如何在块、波和线程之间划分,加载何时发出,以及结果何时可用。FlyDSL 让作者在需要时将这些选择表达到具体的缓冲区和矩阵指令层面。收益来自由此产生的调度,而非 Python 语法本身。

将布局和低精度计算与每个阶段相匹配。投影、注意力和专家并不都使用相同的数据布局。FlyDSL 让作者选择每个阶段如何划分和访问其张量,并将低精度计算映射到 GPU 的矩阵指令。在 MI355X 上,mono 实现可以原地读取 vLLM 已加载的权重,包括 AITER 的混洗 MXFP4 专家布局,而无需保留第二份副本。这些控制项也支持移植,但并不能使其自动化:CDNA3 需要适合其较小共享内存(LDS)的 tile 尺寸,以及与 CDNA4 不同的矩阵指令路径。

针对受支持的配置进行特化并编译。使用@flyc.kernel和@flyc.jit编写的内核在首次使用时编译并缓存。该实现针对其模型、TP 大小和受支持的步宽进行了特化——步宽即前向步骤中处理的 token 行数,包括推测位置和图填充。vLLM 在预热期间构建所需的宽度变体,并在 HIP 图下重放它们。这是有针对性的特化,并不保证单一调度能服务任意模型或批大小。

内核源码保留在模型的 vLLM 目录中,以flydslwheel 作为其新的运行时依赖。确定性编译还支持在审查期间进行 ISA 和资源使用情况比较。

vLLM 中的特化解码

对 vLLM 而言,MonoKernel 路径是一种特化解码:位于 vLLM 常规接口之后的、针对模型和硬件的解码前向传递。调度器、KV 缓存管理器、采样、推测解码和 HIP 图保持不变;只有解码器层的运行方式不同,且仅在核函数能够服务的步骤上不同。每个合并的 mono PR 都遵循 RFC#60904中商定的规则:

  • 可选启用,不支持时拒绝。该路径默认关闭;--monokernel将其开启(等同于--additional-config '{"decode_backend": "latency_specialized"}',Kimi-K3 读取的就是它)。核函数无法服务的部署会在启动时失败,并列出所有原因。
  • 模型拥有代码。内核、运行时和测试位于vllm/models/<model>/amd/下。Kimi-K3 向其现有模型文件添加了 26 行,未向 vLLM 核心添加任何内容。
  • 逐层、逐步选择 mono 或原版。一个plan()每一步决定。Prefill、混合批次以及对于内核来说过宽的步骤都在 stock 层上运行。Mono 层使用 vLLM 的权重和 KV 缓存,并返回相同的张量,因此两者可以在同一步内混合。
  • 可与 HIP graphs 和投机解码配合使用。捕获尺寸不变,投机验证步骤也可以在 mono 路径上运行。

结果

图 5 中总结的已合并 PR 评估由作者在 MI355X 或 MI325X 上测得。单独的 GLM-5.2 小节报告的是在 MI350X 上的 RFC 测量结果;这些结果未包含在图 5 中。AgentX 是 InferenceX 的基准测试,由多轮、长上下文的智能体会话构建。每个 AgentX 数据点是一次 3600 秒的运行。交互性为 1 / 令牌间延迟(除非另有说明,否则为 P90),单位为 tokens/s/user(越高越好)。图 5a 展示了每个已合并 PR 在并发为 1 时相对同节点 stock 基线的加速比;DeepSeek-V4-Pro 被排除在外,因为其对比使用的是历史 InferenceX 运行结果。图 5b 跟踪了三个针对同节点 stock 基线扫描并发的 PR;它们在 5a 中的柱状图与各自的折线颜色相同。每个值都是其 PR 所报告指标的比值,方向调整为越高越好:交互性为 mono / stock,TPOT 和解码步骤时间为 stock / mono。下面的各模型小节给出了绝对数值并链接了 PR。

Two panels. (a) Concurrency-1 speedup of mono decode over stock vLLM for six merged PRs, from 1.20× to 2.26×. (b) Speedup versus concurrency: DeepSeek-V4.1-Flash TP2 narrows from 1.35× to 1.14× at concurrency 8, MiniMax-M3 TP4 from 1.20× to parity at 16, and Muse Spark TP8 stays between 1.35× and 1.57×.
两个面板。(a) 六个已合并 PR 的 mono 解码相对 stock vLLM 在并发为 1 时的加速比,从 1.20× 到 2.26×。(b) 加速比随并发的变化:DeepSeek-V4.1-Flash TP2 在并发为 8 时从 1.35× 收窄至 1.14×,MiniMax-M3 TP4 在并发为 16 时从 1.20× 降至持平,Muse Spark TP8 保持在 1.35× 到 1.57× 之间。
图 5. Mono 解码相对 stock vLLM 的加速比:(a) 每个已合并 PR 在并发为 1 时相对同节点 stock 基线;(b) 随并发增长的变化。

DeepSeek-V4.1-Flash

#60397将 30 个标准层作为 K1 + K2 运行;在同一个 TP2 MI355X 节点上,开启 mono 使并发 1 的 P90 交互性从 318.1 提升到 429.1 tok/s/user。在整个扫描范围内,总吞吐量提升 1.04–1.16×,而 P90 TTFT 的变化最多为 0.1 s,因为 prefill 不使用 mono 路径。同一个 PR 中针对另外 10 层的 FFN 启动又带来 1.02–1.19× 的提升;在 TP4 下,并发 1 / 2 / 4 / 8 时的 P90 交互性为1.66× / 1.56× / 1.64× / 1.38×是 InferenceX 发布的同一配方运行结果的倍数。#61082然后将全部 40 层作为 K1 + K2 运行,达到562.6 tok/s/user在 TP4、并发 1 下(比之前的 mono 路径提升 3.9%)。

TheMI300X/MI325X 移植(#60731)将一个标准解码器层从 32 个 kernel、320 µs 缩减到 2 个 kernel、115 µs。在 MI325X 上使用 AgentX、TP4 时,并发 1 的 P90 交互性从 182.25 提升到 411.26 tok/s/user,每 GPU 总吞吐量提升 1.63×;在并发 2 / 4 / 8 下,P90 交互性分别是 InferenceX 发布的 MI325X 数据点的 2.41× / 2.22× / 1.99×。

在MI355X 上的 TP8(#64101)下,每个 rank 流式加载的权重数量是 TP4 时的一半,而 K1/K2 链长度保持不变,因此 mono 解码在并发 1 下仍然有收益。在一台仅切换了--monokernel的 TP8 服务器上,使用 DSpark 推测解码的解码步骤从 8.59 ms 降到 5.36 ms(392 → 580 tok/s)。这些步骤时间测量使用 3.87 的合成接受长度,以将步骤时间与接受长度隔离;此 TP8 配置的准确率仍在评估中(见 PR)。DSpark 草稿模型运行在相同的 kernel 上(#62131):其三个层每步耗时约 227 µs,而不是约 640 µs,且接受长度没有变化。

DeepSeek-V4-Pro

更大的 Pro 模型有自己的一份 mono 包副本,针对其维度做了专门化(#61482,MI355X 上的 TP8)。AgentX P50 交互性为+28.7% / +26.5% / +11.9%在并发 1 / 4 / 8 下,但基线是 InferenceX 在较旧软件栈上的历史运行结果,因此这些数字既包含 kernel 的变化,也包含软件栈的变化。

MiniMax-M3

MiniMax-M3 MXFP4 PR(#62712)表明部分融合已经带来帮助:只有第 3–59 层的 FFN 部分(all-reduce、RMSNorm、router、共享专家和路由专家、最终 all-reduce)作为一次启动运行,注意力仍走原有路径。在 MI355X 上以 TP4、随机 1k/1k 提示词测试,并发 1 时 TPOT 从 5.12 ms 降至 4.27 ms。M3 和 M3.1 的全层单核解码(同时融合注意力和稀疏索引器)正在评审中(#59705,#65638)。

Kimi-K3

Kimi-K3 将 KDA 线性注意力层与 MLA 层混合。#60683将 KDA 层作为 K1 + K2 运行,将 MLA 层的输出投影和 MoE 作为 K2 运行;#61435新增 MLA 前奏和尾声 kernel,并在没有解码上下文并行(DCP1)的情况下,将一个 FlyDSL MLA 解码注意力阶段融合进 K2,因此一个 MLA 层需要两次启动。在 MI355X 上以 TP8、并发 1、七个推测 token 测试,8k 输入下 P50 TPOT 从 5.47 ms(原有)降至 4.35 ms(#60683),再降至3.44 ms(+ #61435 在 DCP1 下,1.59×);64k 输入下从 5.67 降至 3.58 ms(1.58×)。原有和 #60683 的数字是 #60683 公布的结果;#61435 的数字是两个随机种子的均值。

Muse Spark

Muse Spark Open MXFP4(#63440)将每个 DSpark 验证步骤的解码器层 1–60 作为持久化启动运行在 8× MI355X 上,采用 TP8 和专家并行,基于 AgentX 的智能体编码轨迹测量(输入长度中位数 159k token)。基线是配方原有 TP8 配置在并发 1 下的表现、其原有 TEP8 配置(TP8 加专家并行,与单核运行相同)在并发 8 下的表现,以及两者之间较快的那个。并发 1 的交互性从 263.1 提升至 413.8 tok/s/user,每 GPU 总吞吐在整个扫描范围内提升 21–29%。

GLM-5.2:RFC 测量

RFC#60904在 8× MI350X 上以 TP8 测量了 GLM-5.2 MonoKernel(现正在评审中(#60889)),测试对象为 GLM-5.2-MXFP4。vLLM 中图模式解码步骤从约2,459 个 kernel降至约210 个(75 次 MonoKernel 启动加上稠密层、输入准备和 head),在 batch 1 下使用默认 BF16 注意力的每 token 时间从 13.70 降至 5.92 ms(2.31×;在 batch 8 时从 17.33 ms 降至 11.44 ms(2.85×,使用 FP8 attention)和(1.51×)。在 AgentX 上使用 FP8 attention 时,单用户下 token 间时间从 15.0 ms 降至 6.5 ms(2.31×),8 用户下从 20.4 ms 降至 12.7 ms(1.61×)。

准确率

融合内核的量化、累加和归约顺序与原生路径不同,因此必须针对每个模型和配置评估准确率,并在同一台服务器上分别开启和关闭 mono。对于下列配置,差异在噪声范围内:

  • DeepSeek-V4.1-Flash,TP2(RFC#59665协议,按问题配对):GPQA-Diamond 85.3 → 85.1(Δ −0.2 ± 0.6),AIME25 99.4 → 98.3(Δ −1.0 ± 0.7),且 RULER NIAH 在每个单元格中均为 40/40。
  • DeepSeek-V4.1-Flash,MI325X:GSM8K 92.5 → 92.7(p = 0.49)。
  • MiniMax-M3:GSM8K 89.7 → 90.5(p = 0.37)。
  • Kimi-K3:GSM8K 96.0 → 96.3,GPQA-Diamond 92.4 → 93.9;开启 mono 后,RULER NIAH 在最长 256K 的每个长度上得分均为 1.0。
  • Muse Spark(RFC#59665协议):GPQA-Diamond 88.5 → 88.7,AIME25 98.3 → 98.6。

每个配置的完整结果见链接的 PR。

在端到端评估之下,mono 层还与 vLLM 自身的算子链以及精确的 fp32 参考实现进行了对比测试,例如 DeepSeek-V4.1-Flash 的逐 token 余弦相似度 ≥ 0.999,以及在 300 次 HIP 图重放中结果逐位一致。

试用

自 2026 年 10 月起,mono decode 已合并进 vLLMmain,适用于DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi-K3以及Muse Spark在 MI355X 上,DeepSeek-V4.1-Flash 还支持 MI325X。GLM-5.x、Qwen3.8 和 MiniMax-M3.1 的移植正在审查中。

Mono decode 为可选启用,因此需添加--monokernel到受支持的 recipe 中。例如,PR 中在 MI355X 上使用的 DeepSeek-V4.1-Flash 配置:

VLLM_ROCM_USE_AITER=1\
vllmservedeepseek-ai/DeepSeek-V4.1-Flash\
--tensor-parallel-size4\
--tokenizer-modedeepseek_v41--trust-remote-code--language-model-only\
--max-num-seqs8--block-size128\
--attention_config.indexer_kv_dtype=mxfp4\
--moe-backendaiter\
--speculative-config'{"method":"dspark","num_speculative_tokens":5}'\
--monokernel

如果部署不受支持,vLLM 会拒绝启动并列出所有原因。每个模型支持的配置记录在其包内的vllm/models/<model>/amd/中。

范围与限制

Mono decode 是一种延迟优化,有三项限制:

  • 在低并发下表现最佳。并发为 1 时收益最大,并发越高收益越小(图 5b)。对于 DeepSeek-V4.1-Flash,TP8 单机解码是一种并发为 1 的配置:在并发为 4 时,一台 TP8 服务器提供的吞吐量比两个 TP4 副本少 26%(#64101)。
  • 步骤的宽度受到限制。推测 token 和图填充会计入该限制:在 MI355X 上,DeepSeek-V4.1-Flash 最多 48 行(MI325X 上为 42 行,因为其 LDS 更少),MiniMax-M3 和 Kimi-K3 为 16 行。更宽的步骤走原有路径。
  • MI300X/MI325X 上的权重副本。在没有可扩展的 FP4/FP8 MFMA 的情况下,内核会保留自己的权重副本:在 TP4 下,DeepSeek-V4.1-Flash 每个 rank 为 170 GiB,而不是 99 GiB。这在 MI325X 上仍能留下较大的 KV 缓存,但在 MI300X 上空间很小。

总结

小批量解码的大部分时间花在内核之间的空隙上:启动内核、等待整个阶段完成,以及在 GPU 空闲时流式加载权重。FlyDSL MonoKernels 通过将每个解码器层(或其一部分)作为少量持久化启动来运行,从而消除了大部分此类时间:这些启动在各阶段之间复用线程块、预取权重、通过带标签的邮箱将就绪数据向前传递,并在内核内部跨 GPU 进行归约。FlyDSL 使这一方案变得可行:作者可以控制每个阶段的布局、数据移动和同步,精细到单条指令,并且每个内核都会针对其模型、TP 大小和步骤宽度进行专门化并即时编译。

在 vLLM 中,单机解码现已为五个模型合并,并遵循一个通用的、可选启用的标准。它将并发为 1 时的交互性或每输出 token 时间提升了 1.20× 到 2.26×,并且每个 PR 都会报告开启和关闭单机解码时的准确率。我们邀请 vLLM 社区尝试--monokernel在 AMD Instinct GPU 上,审查进行中的移植,并使用编写指南(审核中)将单机解码引入新模型。

参考文献

  1. FlyDSL 语言与编译器
  2. RFC #60904:vLLM 中专门化(MonoKernel)解码的标准vllm/models
  3. DeepSeek-V4.1-Flash 单机解码:#60397、#61082、#60731、#62131、#64101
  4. DeepSeek-V4-Pro 单机解码:#61482
  5. MiniMax-M3 单机解码:#62712
  6. Kimi-K3 专门化解码:#60683、#61435
  7. Muse Spark 单机解码:#63440
  8. 共享的专门化解码抽象:#61311;MonoKernel 编写指南(审核中):#62256
  9. TileRT
  10. InferenceX AgentX 指标定义

免责声明

本博客中的性能和精度数据取自所链接的 vLLM pull request 和 RFC #60904。这些数据由作者在 AMD Instinct™ MI355X(gfx950,288 GB HBM3E)、AMD Instinct™ MI350X(gfx950,288 GB HBM3E)和 AMD Instinct™ MI325X(gfx942,256 GB HBM3E)系统上测得,所用模型、软件版本、服务标志和基准测试设置均在各 PR 或 RFC 中说明。AgentX 结果使用 InferenceX 的基准测试客户端,每个数据点运行一次、时长 3,600 秒。若某个 PR 是与已发布的 InferenceX 运行结果而非同节点基线进行对比,本博客会予以说明。

第三方内容由拥有该内容的第三方直接向您授权,AMD 未向您授予许可。所有链接的第三方内容均按“原样”提供,不附带任何形式的保证。使用此类第三方内容完全由您自行决定,在任何情况下 AMD 均不对任何第三方内容向您承担责任。您承担全部风险,并对因使用第三方内容而可能产生的任何损害承担全部责任。

所示结果来自特定测试配置,可能因工作负载、模型和系统配置而异。

本文档中提供的信息仅供参考,可能包含技术上的不准确之处、遗漏和排版错误。本文所含信息可能会发生变化,并可能因多种原因而变得不准确,包括但不限于产品和路线图的变更、组件和主板版本的变更、新模型和/或产品的发布、不同制造商之间的产品差异、软件变更、BIOS 刷新、固件升级等。任何计算机系统都存在无法完全预防或缓解的安全漏洞风险。AMD 不承担更新或以其他方式更正或修订此信息的义务。 然而,AMD 保留修订此信息以及不时更改其内容的权利,且无义务通知任何人此类修订或更改。 本信息按“原样”提供。AMD 对本文件内容不作任何陈述或保证,并且对本文信息中可能出现的任何不准确之处、错误或遗漏不承担任何责任。AMD 明确否认任何关于不侵权、适销性或特定用途适用性的默示保证。在任何情况下,AMD 均不对任何人因使用本文所含任何信息而导致的任何依赖、直接、间接、特殊或其他后果性损害承担责任,即使 AMD 已明确被告知此类损害的可能性。 AMD、AMD 箭头标识、AMD Instinct、AMD EPYC、AMD ROCm 及其组合是 Advanced Micro Devices, Inc. 的商标。本出版物中使用的其他产品名称仅用于标识目的,可能是其各自公司的商标。Linux 是 Linus Torvalds 在美国和其他国家的注册商标。PyTorch、PyTorch 标识、vLLM 及相关标记是 The Linux Foundation 的商标。Ubuntu 是 Canonical Ltd. 的注册商标。本出版物中提及的所有其他商标和产品名称,包括 MiniMax、DeepSeek、Kimi、Muse Spark、InferenceX 和 Hugging Face,均为其各自所有者的财产。 © 2026 Advanced Micro Devices, Inc. 保留所有权利。