vLLM Semantic Router 团队发布 d3-ultra，一个 27B 多模态决策模型，采用 Apache-2.0 许可。它不生成文本，而是读一次输入后，为每个问题的每个答案返回概率，可一次调用完成路由、分类、视觉定位和视频检查。参数 26.09B（dense，含 0.46B 视觉编码器），上下文 131,072 tokens，在 1 块 AMD MI325X 上以 BF16 测试，暂无官方量化版本。团队自建 SR-Text 测试得分 87.2，居 6 个决策模型之首；SR-Box 定位 10 个领域 …
推荐理由做模型路由或多模态分类的开发者可看：一次调用替代多模型，SR-Text 87.2 分居首
vLLM 在发布当天就支持了 MiniMax-M3.1-Flash，覆盖 NVIDIA Blackwell、Rubin 和 AMD MI350 系列 GPU。该模型采用 NVFP4 KV cache、NVFP4 量化 MoE 权重和 DSpark 投机解码草稿模型。性能方面：Blackwell 上索引器 QK 解码快 1.7 倍，稀疏注意力解码快 1.3 倍；在 4× GB300、512K 上下文下，索引器解码上下文并行快 3.3 倍；AMD MI350 系列整体提升 2–3 倍。Agentic 场景下，GB300…
推荐理由要在 Blackwell、Rubin 或 MI350 上部署 MiniMax-M3.1-Flash
vLLM 团队公布 GLM-5.3 在 16 张 H200 上的部署优化方案，采用 1 个 prefill 节点加 1 个 decode 节点的分离架构。Prefill Context Parallelism（PCP）按 token 而非注意力头切分 prompt，更适配 GLM-5.3 的稀疏注意力；Decode Context Parallelism（DCP）按 token 分片 prefill 引擎的 KV cache，使 100 万 token 上下文能装进 prefill 节点；Hybrid HiSpar…
推荐理由部署长上下文 Agent 服务可参考：PCP8×DCP8 单用户速度提升 1.7–3.2 倍
vLLM 官方博客称，在单台 NVIDIA GB300 NVL72 机架上，采用 P/D 分离和 Wide-EP 的 vLLM 运行 DeepSeek-V4.1-Flash，在 SemiAnalysis AgentX 上达到每 GPU 954K tokens/s，单用户 P90 为 196 tokens/s，是首个帖子中单节点结果的 7.9 倍，按 DeepSeek 非高峰价格计为每 GPU 小时 38.96 美元。专用 decode 路径单用户可达 826 tokens/s。与 DeepSeek 自研引擎 Dee…
推荐理由做 DeepSeek 大模型推理部署的团队可参考：单 GPU 954K tokens/s
蚂蚁集团和 vLLM 社区开源通用高性能量化推理内核库 Humming，支持 Turing 及之后的 NVIDIA GPU 架构，以及平头哥真武 810E 等 CUDA 兼容设备。该库用统一架构支持稠密和 MoE 工作负载的多种权重与激活格式组合，覆盖多种整数和浮点类型、位宽和缩放方案。官方称，在多个代表性负载上，其性能显著超过 vLLM Marlin、FlashInfer 和 DeepGEMM。背景方面，DeepSeek-V3 有 6710 亿参数，每 token 激活 370 亿，量化可降低显存占用和数据搬运。…
推荐理由部署量化模型时可直接替换 Marlin、FlashInfer 内核，官方称多负载性能更优，且支持国产真武 810E
vLLM 发布 vllm-torchtpu，这是让 vLLM 在 Google Cloud TPU 上运行的新后端，基于 Google 的 TorchTPU 栈，复用 vLLM 现有模型代码，多数模型无需改动即可在 TPU 上部署。该项目来自 Inferact 与 Google 上个月宣布的工程合作。安装方式为 pip install vllm-torchtpu，需 Python 3.12 的 Cloud TPU VM。调度器、KV cache 管理器、OpenAI 兼容 API 服务均沿用上游 vLLM 未修改版…
推荐理由在 TPU 上跑 vLLM 只需 pip 装插件，模型代码不用改，已有 vLLM 部署可平移
vLLM Semantic Router 团队发布 Decision 3.0 系列多模态决策模型，共 5 个尺寸（0.85B 到 26.09B），全部采用 Apache-2.0 许可。模型基于 Qwen 微调，可读取文本、JSON 和图片，直接返回概率而非生成文本，用于分类、路由和请求门控。内部评测中，27B 的 d3 在文本榜得 64.1，视觉榜 71.6；9B 的 d3-flash 文本得 59.0，超过上一代 27B 的 55.9。文档抽取 KIE 最高 97.7，R-Bench-M 最低 34.1。延迟在单…
推荐理由需要做请求路由或护栏的团队可直接用 0.85B 小模型替代 LLM 输出解析，Apache-2.0 可商用
Prime Intellect 发布 Prime Inference，面向前沿开源模型提供无服务器端点和预留 GPU 容量两种服务模式。上线前内部日处理近 1 万亿 token，流量来自强化学习 rollout、合成数据生成、评测和长时间运行的编码 Agent。平台兼容 OpenAI SDK，接口地址为 api.pinference.ai/api/v1，支持跨数据中心自动故障转移。硬件当前为 NVIDIA Blackwell，Vera Rubin 即将支持。技术栈整合 Dynamo、vLLM、Mooncake 和 …
推荐理由兼容 OpenAI SDK，可直接替换 base_url 试用；GLM-5.3 端点速度在 OpenRouter 居前