快速开始·基准测试·文档·内核·博客文章·runanywhere.ai
TrnRT是 AWS Trainium 上面向大语言模型的开源推理引擎。它从一个trn2.48xlarge提供 OpenAI 兼容 API,将解码作为 NKI 巨型内核运行(每半个层约一个内核),并在设备内存和主机内存之间保留前缀缓存。GLM-5.3-Flash 是首个受支持的模型;更多开源模型即将推出。
我们如何构建它,以及 AgentX 的结果:在一台 Trainium2 机器上使用 NKI 层巨型内核服务 GLM-5.3-Flash。
亮点
| 功能 | 作用 |
|---|---|
| NKI 巨型内核 | 解码时每半个层一个融合内核:KDA 注意力、融合 DSA 层、mHC 和 MoE FFN。 |
| 100 万 token 上下文 | 稀疏注意力(top 2,048)和线性注意力,使用固定大小的状态。 |
| 前缀缓存 | 基于 FP8 KV 页的基数树,外加用于被逐出页面和状态检查点的主机内存层。 |
| 每台机器两个引擎 | 每个引擎在 32 个逻辑 NeuronCore 上做张量并行,位于会话亲和路由器之后。 |
| OpenAI API | 聊天和补全、流式输出、工具调用和推理输出。 |
| 离线编译 | 每个计算图都在 CPU 主机上构建;服务机器加载它们,默认不编译任何内容。 |
快速开始
你需要 Docker、一个trn2.48xlarge用于服务的,以及任意 x86_64 主机用于编译。初次接触 Trainium?请从docs/AWS.md
开始。1. 构建镜像
git clone https://github.com/RunanywhereAI/trnrt.git (Neuron SDK 2.32(neuronx-cc 2.27),Python 3.13) && trnrt docker build -f docker/Dockerfile \ --build-arg TRNRT_VERSION=cd$(python3 -c'import trnrt; print(trnrt.__version__)' \ --build-arg TRNRT_REVISION=)$(git rev-parse HEAD -t trnrt )
.2. 构建编译缓存
OUT=/data/trnrt REV=eb9eb208eb0d988989d07a6a12d0fdeb5f52574a mkdir -p (任意 x86_64 主机,无需 NeuronCore;耗时数小时)/nki $OUT/work $OUT() { docker run --rm -e HF_TOKEN -v trnrt:$OUT \ -v $OUT/nki:/var/tmp/nki-intermediate-cache trnrt $OUT"$@" } trnrt compile shapes zai-org/GLM-5.3-Flash --revision ; --out $REV trnrt compile decisions --model zai-org/GLM-5.3-Flash --revision $OUT --out $REV trnrt compile capture --out $OUT -- --model $OUT/shapes trnrt compile compile --out $OUT --work-root $OUT/work trnrt compile strip --out $OUT
$OUT3. 服务trn2.48xlarge(在$OUT/cache上,并复制$OUT/nki和
hf download zai-org/GLM-5.3-Flash --revision eb9eb208eb0d988989d07a6a12d0fdeb5f52574a \ --local-dir /models/GLM-5.3-Flash docker run --rm --privileged --network host --ipc=host \ -v /data/trnrt/cache:/cache \ -v /data/trnrt/nki:/var/tmp/nki-intermediate-cache \ -v /models/GLM-5.3-Flash:/model \ -e NEURON_LIBTORCH_CACHE_ROOT=/cache \ trnrt serve --model /model --port 8000
过去)4. 调用它
使用任意 OpenAI 客户端 from openai import OpenAI client =(OpenAIbase_url=, "http://localhost:8000/v1"api_key=) "unused" reply =.client.chat.completions( createmodel=, "glm"messages[{=: "role", "user": "content"}], "Write a haiku about Trainium."extra_body{=: "session_id"}, "my-session" ) # 让一段对话保留在一个引擎的前缀缓存上(print.reply[choices].0.message)
content完整指南涵盖每个步骤需要什么、启动检查、batch 4、8 和 12 配置以及每个标志:部署·API·配置
。
| 支持的硬件和模型 | 目标 |
|---|---|
状态AWS Trainium2trn2.48xlarge, |
(16 芯片,2 个引擎 × TP 32,LNC 2) |
| ✅ 支持(320B MoE,18B 激活,FP8,1M token 上下文) | ✅ 支持 |
| 更多开放模型 | 🔜 即将推出。申请模型 |
GLM-5.3-Flash 是 TrnRT 的起点。引擎、路由器、缓存和编译流水线的构建目标是承载更多模型家族,并且docs/ARCHITECTURE.md描述了新增一个模型需要什么。
基准测试
SemiAnalysis AgentX回放真实的编码智能体会话。一次trn2.48xlarge在 1M token 上下文、32 个并发智能体下运行了它,每个数据点持续一小时:
| 解码批次 | 请求 / 分钟 | Token / 分钟 | 每用户解码 tok/s(p50) | 首 token,缓存命中(p50) | $ / M tokens(spot) |
|---|---|---|---|---|---|
| 4 | 19.3 | 2.36M | 46.6 | 76.73 s | $0.061 |
| 8 | 25.2 | 3.02M | 29.4 | 28.82 s | $0.047 |
| 12(默认) | 28.9 | 3.57M | 22.3 | 6.53 s | $0.040 |
Token 计数包含输入(含缓存输入)和输出。Spot 价格:$8.60/h,us-east-2,2026 年 11 月 3 日。在价格为 $35.76/h 的容量块上,批次 12 的成本为每百万 token $0.167。完整表格、冷提示延迟、长提示和方法论见docs/RESULTS.md。
这些数字是用较早版本的 TrnRT 构建测得的。本仓库针对该构建通过了这些检查(docs/KNOWN_ISSUES.md):
- 图等价性:在默认批次 12 配置下,该构建编译的全部 157 个图在全部 32 个 rank 上均为 EQUAL。
- 输出:在 384 个请求中的 384 个上与该构建的输出逐字节一致。
- 服务:快速开始中的双引擎服务端到端通过。
工作原理
这里的解码不受内存带宽限制;小指令、内核边界和暴露的集合通信主导了它。因此每个解码 megakernel 遵循三条规则:将工作集保留在 SBUF 中,对称使用两个物理核心,并将集合通信移入内核。docs/MEGAKERNELS.md逐一讲解每个内核。
仓库布局
trnrt/
├── __main__.py CLI: serve, engine, compile
├── serve/ OpenAI API, session-affine router, output parsers
├── engine/ scheduler, prefix caches, tensor parallelism
├── models/ GLM-5.3-Flash: KDA, DSA, mHC, MoE, FP8 loading
├── kernels/ NKI decode megakernels and prefill kernels
└── compile/ offline compile: shapes, capture, neuronx-cc, strip
docker/ the serving and compile image
tools/ graph-equivalence gate, device checks, doc checks
tests/ CPU test suite (no NeuronCore needed)
docs/ guides, results, kernel notes
更多内容见docs/ARCHITECTURE.md。
开发
make dev #可编辑安装,含测试和 lint 工具(Python 3.13) make check #lint、类型检查,然后运行 CPU 测试套件
参见docs/DEVELOPMENT.md了解测试层级和 CI,CONTRIBUTING.md提交变更(拉取请求目标为development),SUPPORT.md获取帮助,以及SECURITY.md报告漏洞。
AWS 资源
| 资源 | 链接 |
|---|---|
Trainium2 和trn2实例 |
aws.amazon.com/ec2/instance-types/trn2 |
| AWS Neuron SDK 文档 | awsdocs-neuron.readthedocs-hosted.com |
| NKI(Neuron Kernel Interface) | NKI 文档 |
| Neuron 深度学习容器 | github.com/aws-neuron/deep-learning-containers |
| EC2 Capacity Blocks for ML | aws.amazon.com/ec2/capacityblocks |
致谢
感谢 AWS Neuron 团队提供 NKI 及其文档,感谢 Z.ai 发布 GLM-5.3-Flash,感谢 SemiAnalysis 提供 AgentX 及其公开追踪数据。TrnRT 包含源自其他 Apache-2.0 项目的代码:参见NOTICE和THIRD_PARTY_NOTICES.md。
许可证
由以下团队构建RunAnywhere。
AWS、Amazon Web Services、Trainium、Inferentia 和 Neuron 是 Amazon.com, Inc. 或其关联公司的商标。此处的 AWS 徽标按 AWS 架构图标中发布的形式呈现。TrnRT 是一个独立的开源项目,与 Amazon Web Services 无关联,也未获其认可。