Liquid AI 刚刚发布了 Liquid RIPL，是 Real-time Inference Pipeline（实时推理管线）的缩写。RIPL 是一个低延迟引擎，可在实时请求路径中服务 Liquid Foundation Models（LFM）。它能在 50 ms 内端到端返回完整的生成响应。它还声称，在峰值负载下流量持续到达时，延迟仍能保持稳定。对开发者来说，信息很简单：用生成式模型替换梯度提升树，同时守住延迟预算。

TL;DR

引擎：服务 230M 到 2.6B 参数的 LFM2.5 模型

运行于：在 NVIDIA H100、H200、B200 和 RTX PRO 6000 GPU 上的企业部署。基准测试使用单块 B200。

性能：根据 Liquid 自己的测试，p95 延迟比 vLLM 上的 Qwen3.5 低 5.6 到 28.4 倍。

最佳：LFM2.5-1.2B 的 p95 为 155.8 ms，而 Qwen3.5-0.8B 为 4,431 ms，差距 28.4 倍（输入 256，输出 128）。

最差：LFM2.5-2.6B 仅提升 5.6 倍（449.1 ms 对 2,499 ms）。在更长的请求上无法达到 50 ms 以内。

Liquid RIPL 解决了什么问题？

大多数服务栈面向大批量和长时间智能体任务。在那里每次请求几秒钟是可以接受的。搜索排序、欺诈检测和支付授权需要毫秒级响应。Liquid AI 认为，团队在这些路径上默认使用经典模型，是因为 LLM 服务太慢。RIPL 的构建目标就是消除这一取舍。

RIPL 如何工作？

Liquid AI 将 RIPL 描述为优化从请求到达到完成响应的完整路径。在若干工作负载中，Liquid AI 将同一模型 LFM2.5-350M 分别绘制在 vLLM 和 RIPL 上。每种情况下，RIPL 的 p95 线都远低于 vLLM 的线。这将部分收益归因于引擎，而不仅仅是模型架构。

LFM2.5 模型本身是混合架构。LFM2.5-1.2B-Instruct 有 16 层：10 个双门控卷积块和 6 个 GQA 块。LFM2.5-2.6B 有 30 层：22 个卷积块和 8 个 GQA 块。

RIPL 基准测试：相比 vLLM 有多快？

Liquid 在单块 B200 上，以开环泊松到达方式测量了 p95 端到端延迟。LFM 运行在 RIPL 上。包括 MiniCPM5 和 Granite 4.2 在内的基线运行在 vLLM 上。

工作负载负载LFM2.5 在 RIPL 上（p95）Qwen3.5 在 vLLM 上（p95）差距1B 级，32 输入 → 32 输出1,000 req/s34.6 ms（1.2B）498 ms（0.8B）14.4x1B 级，256 输入 → 128 输出400 req/s155.8 ms（1.2B）4,431 ms（0.8B）28.4x2B 级，32 输入 → 32 输出1,000 req/s76.4 ms（2.6B）586.8 ms（2B）7.7x2B 级，256 输入 → 128 输出300 req/s449.1 ms（2.6B）2,499 ms（2B）5.6x

来源：Liquid AI 博客，图 2。自报数据。

Liquid AI 还将 6 个实时工作负载与固定预算进行了对照：

广告技术查询改写：32 输入，32 输出，50 ms 预算，LFM2.5-350M。

搜索意图分类：128 输入，1 输出，20 ms 预算。

搜索重排序：1k 输入，1 输出，30 ms 预算。

支付风险评分：512 输入，16 输出，50 ms 预算，LFM2.5-1.2B。

信贷决策：8k 输入，64 输出，150 ms 预算。

图像替代文本：512×512 图像和 64 个 token 输入，16 输出，100 ms 预算，LFM2.5-VL-450M。

-->

竞品对比

特性LFM2.5-1.2B 在 RIPL 上Qwen3.5-0.8B 在 vLLM 上LFM2.5-2.6B 在 RIPL 上Qwen3.5-2B 在 vLLM 上参数量1.17B0.8B2.69B2B上下文32,768262,144131,072262,144许可证（权重）LFM Open License v1.0Apache 2.0LFM Open License v1.0Apache 2.0模态文本文本、图像、视频文本文本、图像、视频默认模式InstructNon-thinkingAlways reasonsNon-thinking服务引擎RIPL（企业版）vLLM（开源）RIPL（企业版）vLLM（开源）p95，32→3234.6 ms498 ms76.4 ms586.8 msp95，256→128155.8 ms4,431 ms449.1 ms2,499 ms

RIPL 是否用于生产环境？

是的，据 Liquid AI 称。Shopify 正在将 LFM 部署到对延迟敏感的商务工作负载中。在搜索增强中，LFM 在生产流量上以低于 20 ms 的推理时间运行。根据 Liquid AI 的博客，它们使用的参数量比替代方案少约 50%，推理速度快 2 到 10 倍。

要点

RIPL 是 Liquid AI 用于实时请求路径中 LLM 的引擎。

Liquid 声称其 p95 延迟比 vLLM 上的 Qwen3.5 低 5.6 到 28.4 倍。

同模型测试（LFM2.5-350M）显示 RIPL 本身优于 vLLM。

Shopify 在生产搜索中以低于 20 ms 运行 LFM。

仅限企业版、闭源，且所有数据均为自报。

查看 RIPL 公告，试用延迟计算器，并查看 LFM2.5 模型卡。所有功劳都归于该项目的研究人员。另外，欢迎在 Twitter 上关注我们，别忘了加入我们拥有 15 万+ 成员的 ML SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？请联系我们

文章《Liquid AI Launches RIPL, a Real-Time Inference Engine for Sub-50 ms LFMs》首发于 MarkTechPost。