清除条件
共 3 条
MarkTechPost6 天前模型产品发布/更新海外

Liquid AI 发布 RIPL 实时推理引擎,LFM 端到端延迟低于 50 ms

Liquid AI 发布 Liquid RIPL(Real-time Inference Pipeline),一个在实时请求路径中运行 Liquid Foundation Models(LFM)的低延迟推理引擎,端到端返回完整生成结果低于 50 ms,并称在峰值负载下持续有请求到达时延迟仍能保持。支持 LFM2.5 系列 230M 到 2.6B 参数模型,运行在 NVIDIA H100、H200、B200 和 RTX PRO 6000 上,基准测试用单张 B200。据其自测,p95 延迟比 vLLM 上的 Qwen…

推荐理由做搜索排序、风控、支付授权这类毫秒级场景的团队,可参考其 6 个实时工作负载的延迟预算数据

Hacker News · AI10/15模型新模型发布海外

Liquid AI 发布 LFM2.5-24B-A2B 端侧推理模型

Liquid AI 发布 LFM2.5-24B-A2B,24B 参数、每 token 仅激活 2B,是 LFM2.5 系列最大也是最后一款模型。在 8 项 agent 与工具调用基准中 5 项对标 Qwen3.6-35B-A3B,LiveClaw 得分 48.09 对 38.19,AutomationBench 27.69 对 8.72。端侧速度最高为同类 MoE 的 1.7 倍,Apple M5 Max 上 184 tokens/s,单张 NVIDIA B300 上输出可达 21K tokens/s。上下文从 3…

推荐理由24B 总参、2B 激活,M5 Max 上 184 tokens/s,端侧跑 Agent 可直接下载权重

Hugging Face 博客10/14模型新模型发布海外2 个独立信源

Liquid AI 发布 LFM2.5-24B-A2B:2B 激活参数端侧 Agent 模型

Liquid AI 发布 LFM2.5-24B-A2B,总参数 24B、每 token 仅激活 2B,专为端侧运行私有 Agent 设计。模型会先推理再回答,支持工具调用和多步任务。在 LiveClaw 上得分 48.09,超过参数多约 50% 的 Qwen3.6-35B-A3B(38.19);AutomationBench 27.69 对 8.72。推理速度:Apple M5 Max 上 184 tok/s,单张 NVIDIA B300 GPU 最高 21K 输出 tok/s。上下文从 32K 扩到 131K,词…

推荐理由24B 总参、2B 激活就能跑 Agent,M5 Max 上 184 tok/s,端侧私有部署可直接评估