Prime Intellect 推出了 Prime Inference，一个面向前沿开源模型的推理服务平台。它在 Prime 自有、分布于多个数据中心的 GPU 上提供无服务器端点和预留容量。在公开发布之前，它每天在内部处理近一万亿 token。这些流量来自 RL rollout、合成数据生成、评估以及长时间运行的编程智能体。
什么是 Prime Inference？
Prime Inference 是 Prime Intellect 开放训练栈中的推理服务层。该公司已经推出了 prime-rl、verifiers 和 sandboxes 等后训练工具。推理服务闭合了这一循环：已部署的模型会生成生产环境轨迹，这些轨迹可以反馈到训练中。Prime 表示其 GLM-5.3 端点在 OpenRouter 上位列最快之一。它还提到自发布以来工具调用错误率接近零，正常运行时间为 100%。
两种模式：面向波动需求的无服务器端点，面向持续工作负载的预留容量。
兼容 OpenAI：将任何 OpenAI SDK 指向 https://api.pinference.ai/api/v1（文档）。
正常运行时间：跨数据中心自动故障转移，将流量路由到健康的部署。
硬件：目前为 NVIDIA Blackwell，Vera Rubin 列为即将推出。
计费：统一计费，支持团队级用量跟踪。各模型的具体定价尚未在文档中完整公布。
推理服务栈如何工作
该技术栈结合了 NVIDIA Dynamo、vLLM、Mooncake 和 FlashInfer。它与 Inferact 和 NVIDIA 共同构建，修复也会向上游贡献。
目标工作负载是智能体式的。一个典型的智能体轮次会在 140K token 的提示词上增加约 6K token。Prime 使用 SemiAnalysis AgentX 以及注入的冷启动到达来对这一混合负载进行基准测试。
预填充/解码分离：预填充和解码在独立的 GPU 组上运行。Dynamo 负责路由，vLLM 在每个组上运行模型。解码器通过 NIXL 拉取已计算的 KV。Prime 报告称其测试中 p90 的 token 间延迟降低了近 40%。
缓存感知路由：Dynamo 的 KV 感知路由器会权衡缓存前缀重叠与排队中的工作。会话在轮次之间保持在同一解码器上。Mooncake 在主机 DRAM 中增加了第二层 KV 缓存。
GB200 NVL72 上的 GLM-5.3：具体数字
交互性目标是每用户端到端 100 tokens/秒。在这一标准下，1:4 的 prefill/decode 比例服务的用户最多。它在每用户 101 tok/s 和每 GPU 100 输出 tok/s 的情况下，每个 prefill 组达到 66 个会话。
DEP8 prefill 拓扑：在相同硬件上，可用前缀缓存容量约为 TEP8 的 5 倍。
更小的 prefill 预算：将每 GPU 每步的 tokens 从 8K 减半到 4K，使中位队列等待时间从 550 ms 降至 110 ms。中位首 token 时间下降约 20%。
NVFP4 KV 压缩：每个 MLA 缓存行从 576 字节缩小到 352 字节。每个解码器的缓存 tokens 从 1.09M 增至 1.63M。
原生 sparse-MLA 内核：15 个查询 tokens 时约为 12.0 μs，而分阶段为 17.7 μs，FP8 为 13.7 μs。Prime 指出这取决于具体工作负载。
BLHNC KV 布局：传输描述符从 19,559 降至约 1,940。平均传输时间从 146 ms 降至 78 ms。
可靠的工具调用
当工具调用携带错误的名称或损坏的参数时，智能体会失败。Prime Intellect 的团队为 Dynamo 贡献了一个结构化标签构建器，用于 GLM 的工具格式。随后 vLLM 使用 xgrammar 来屏蔽违反工具 schema 的 tokens。该团队还修复了解析错误，包括 < 在代码中被解码为 <。
交互式讲解器
Prime Inference 与最接近的竞争对手
功能Prime InferenceTogether AIFireworks AIBaseten无服务器 GLM-5.3是（来源）是（来源）是（来源）是（来源）GLM-5.3 价格，每 1M tokens 输入 / 输出文档中尚未公布$1.40 / $4.40（来源）$1.40 / $4.40（追踪器）$1.40 / $4.40（追踪器）专用或预留容量预留容量；一键专用部署在路线图上专用模型端点（来源）按需专用 GPU 部署（来源）专用 GPU 部署（来源）OpenAI 兼容 API是是是是批量推理在路线图上是（来源）此处未比较此处未比较公开的服务栈开源：Dynamo、vLLM、Mooncake、FlashInferTogether 推理研究栈Fireworks 服务栈Baseten 推理栈（来源）
竞争对手价格核实于 2026 年 10 月 2 日。追踪器数据来自 ComputePrices，一个第三方价格追踪器。
关键要点
Prime Inference 已上线，为开放模型提供无服务器和预留服务。
GLM-5.3 在 GB200 NVL72 上运行，使用 Dynamo、vLLM、Mooncake 和 FlashInfer。
1:4 的 prefill/decode 配置下，每个 prefill 组服务 66 个会话，每用户 101 tok/s。
NVFP4 KV 缓存将每个解码器的容量从 1.09M 提升到 1.63M tokens。
批量推理和一键专用部署是路线图上的下一步。
查看技术细节、文档以及 X 上的公告。所有功劳归于该项目的研究人员。另外，欢迎在 Twitter 上关注我们，别忘了加入我们拥有 150k+ 成员的 ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。
需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等？联系我们
文章 Prime Intellect Launches Prime Inference: Serverless and Reserved Serving for Frontier Open Models 首次出现在 MarkTechPost 上。