TrnRT: the open LLM inference engine for AWS Trainium, by RunAnywhere

CI OpenSSF Scorecard License: Apache 2.0 Python 3.13 AWS Trainium2 Neuron SDK 2.32

快速开始·基准测试·文档·内核·博客文章·runanywhere.ai

TrnRT是 AWS Trainium 上面向大语言模型的开源推理引擎。它从一个trn2.48xlarge提供 OpenAI 兼容 API,将解码作为 NKI 巨型内核运行(每半个层约一个内核),并在设备内存和主机内存之间保留前缀缓存。GLM-5.3-Flash 是首个受支持的模型;更多开源模型即将推出。

我们如何构建它,以及 AgentX 的结果:在一台 Trainium2 机器上使用 NKI 层巨型内核服务 GLM-5.3-Flash。

3.57M tokens per minute on one trn2.48xlarge (AgentX, batch 12). 24 ms batch-8 decode step, down from 32.2 ms with NKI megakernels. $0.040 per million tokens at the spot price, $0.167 on a capacity block.

亮点

功能 作用
NKI 巨型内核 解码时每半个层一个融合内核:KDA 注意力、融合 DSA 层、mHC 和 MoE FFN。
100 万 token 上下文 稀疏注意力(top 2,048)和线性注意力,使用固定大小的状态。
前缀缓存 基于 FP8 KV 页的基数树,外加用于被逐出页面和状态检查点的主机内存层。
每台机器两个引擎 每个引擎在 32 个逻辑 NeuronCore 上做张量并行,位于会话亲和路由器之后。
OpenAI API 聊天和补全、流式输出、工具调用和推理输出。
离线编译 每个计算图都在 CPU 主机上构建;服务机器加载它们,默认不编译任何内容。

快速开始

你需要 Docker、一个trn2.48xlarge用于服务的,以及任意 x86_64 主机用于编译。初次接触 Trainium?请从docs/AWS.md

开始。1. 构建镜像

git clone https://github.com/RunanywhereAI/trnrt.git (Neuron SDK 2.32(neuronx-cc 2.27),Python 3.13) && trnrt
docker build -f docker/Dockerfile \
  --build-arg TRNRT_VERSION=cd$(python3 -c'import trnrt; print(trnrt.__version__)' \
  --build-arg TRNRT_REVISION=)$(git rev-parse HEAD -t trnrt )

.2. 构建编译缓存

OUT=/data/trnrt REV=eb9eb208eb0d988989d07a6a12d0fdeb5f52574a
mkdir -p (任意 x86_64 主机,无需 NeuronCore;耗时数小时)/nki $OUT/work
$OUT() { docker run --rm -e HF_TOKEN -v trnrt:$OUT \
  -v $OUT/nki:/var/tmp/nki-intermediate-cache trnrt $OUT"$@" }
trnrt compile shapes zai-org/GLM-5.3-Flash --revision ; --out $REV
trnrt compile decisions --model zai-org/GLM-5.3-Flash --revision $OUT --out $REV
trnrt compile capture --out $OUT -- --model $OUT/shapes
trnrt compile compile --out $OUT --work-root $OUT/work
trnrt compile strip --out $OUT

$OUT3. 服务trn2.48xlarge(在$OUT/cache上,并复制$OUT/nki和

hf download zai-org/GLM-5.3-Flash --revision eb9eb208eb0d988989d07a6a12d0fdeb5f52574a \
  --local-dir /models/GLM-5.3-Flash
docker run --rm --privileged --network host --ipc=host \
  -v /data/trnrt/cache:/cache \
  -v /data/trnrt/nki:/var/tmp/nki-intermediate-cache \
  -v /models/GLM-5.3-Flash:/model \
  -e NEURON_LIBTORCH_CACHE_ROOT=/cache \
  trnrt serve --model /model --port 8000

过去)4. 调用它

使用任意 OpenAI 客户端 from openai import

OpenAI client =(OpenAIbase_url=, "http://localhost:8000/v1"api_key=)
"unused" reply =.client.chat.completions(
    createmodel=,
    "glm"messages[{=: "role", "user": "content"}],
    "Write a haiku about Trainium."extra_body{=: "session_id"},  "my-session"
)
# 让一段对话保留在一个引擎的前缀缓存上(print.reply[choices].0.message)

content完整指南涵盖每个步骤需要什么、启动检查、batch 4、8 和 12 配置以及每个标志:部署·API·配置

。

Hardware: AWS Trainium2 (trn2.48xlarge, 16 chips, 96 GiB HBM each, Neuron SDK 2.32), supported. Models: GLM-5.3-Flash (320B MoE, 18B active, FP8, 1M-token context), supported. More open models: coming soon.

支持的硬件和模型 目标
状态AWS Trainium2trn2.48xlarge, (16 芯片,2 个引擎 × TP 32,LNC 2)
✅ 支持(320B MoE,18B 激活,FP8,1M token 上下文) ✅ 支持
更多开放模型 🔜 即将推出。申请模型

GLM-5.3-Flash 是 TrnRT 的起点。引擎、路由器、缓存和编译流水线的构建目标是承载更多模型家族,并且docs/ARCHITECTURE.md描述了新增一个模型需要什么。

基准测试

SemiAnalysis AgentX回放真实的编码智能体会话。一次trn2.48xlarge在 1M token 上下文、32 个并发智能体下运行了它,每个数据点持续一小时:

解码批次 请求 / 分钟 Token / 分钟 每用户解码 tok/s(p50) 首 token,缓存命中(p50) $ / M tokens(spot)
4 19.3 2.36M 46.6 76.73 s $0.061
8 25.2 3.02M 29.4 28.82 s $0.047
12(默认) 28.9 3.57M 22.3 6.53 s $0.040

Token 计数包含输入(含缓存输入)和输出。Spot 价格:$8.60/h,us-east-2,2026 年 11 月 3 日。在价格为 $35.76/h 的容量块上,批次 12 的成本为每百万 token $0.167。完整表格、冷提示延迟、长提示和方法论见docs/RESULTS.md。

这些数字是用较早版本的 TrnRT 构建测得的。本仓库针对该构建通过了这些检查(docs/KNOWN_ISSUES.md):

  • 图等价性:在默认批次 12 配置下,该构建编译的全部 157 个图在全部 32 个 rank 上均为 EQUAL。
  • 输出:在 384 个请求中的 384 个上与该构建的输出逐字节一致。
  • 服务:快速开始中的双引擎服务端到端通过。

工作原理

Clients reach a session-affine router on port 8000, which sends each session to one of two engines. Each engine is tensor-parallel over 32 logical NeuronCores on 8 chips. Offline, five steps build the compile cache the engines load.

这里的解码不受内存带宽限制;小指令、内核边界和暴露的集合通信主导了它。因此每个解码 megakernel 遵循三条规则:将工作集保留在 SBUF 中,对称使用两个物理核心,并将集合通信移入内核。docs/MEGAKERNELS.md逐一讲解每个内核。

仓库布局

trnrt/
├── __main__.py   CLI: serve, engine, compile
├── serve/        OpenAI API, session-affine router, output parsers
├── engine/       scheduler, prefix caches, tensor parallelism
├── models/       GLM-5.3-Flash: KDA, DSA, mHC, MoE, FP8 loading
├── kernels/      NKI decode megakernels and prefill kernels
└── compile/      offline compile: shapes, capture, neuronx-cc, strip
docker/           the serving and compile image
tools/            graph-equivalence gate, device checks, doc checks
tests/            CPU test suite (no NeuronCore needed)
docs/             guides, results, kernel notes

更多内容见docs/ARCHITECTURE.md。

开发

make dev     #可编辑安装,含测试和 lint 工具(Python 3.13)
make check   #lint、类型检查,然后运行 CPU 测试套件

参见docs/DEVELOPMENT.md了解测试层级和 CI,CONTRIBUTING.md提交变更(拉取请求目标为development),SUPPORT.md获取帮助,以及SECURITY.md报告漏洞。

AWS 资源

资源 链接
Trainium2 和trn2实例 aws.amazon.com/ec2/instance-types/trn2
AWS Neuron SDK 文档 awsdocs-neuron.readthedocs-hosted.com
NKI(Neuron Kernel Interface) NKI 文档
Neuron 深度学习容器 github.com/aws-neuron/deep-learning-containers
EC2 Capacity Blocks for ML aws.amazon.com/ec2/capacityblocks

致谢

感谢 AWS Neuron 团队提供 NKI 及其文档,感谢 Z.ai 发布 GLM-5.3-Flash,感谢 SemiAnalysis 提供 AgentX 及其公开追踪数据。TrnRT 包含源自其他 Apache-2.0 项目的代码:参见NOTICE和THIRD_PARTY_NOTICES.md。

许可证

Apache License 2.0。


RunAnywhere
由以下团队构建RunAnywhere。

AWS、Amazon Web Services、Trainium、Inferentia 和 Neuron 是 Amazon.com, Inc. 或其关联公司的商标。此处的 AWS 徽标按 AWS 架构图标中发布的形式呈现。TrnRT 是一个独立的开源项目,与 Amazon Web Services 无关联,也未获其认可。