Liquid AI 发布了 Open d1,这是其 d1 决策模型家族中的两个开源权重多模态模型。d1-3B 可读取文本和图像。d1-omni-600M 可读取文本加图像,或文本加音频。两个模型都不生成文本。每个模型都在一次前向传播中返回经过校准的、带类型的答案,输出 token 数为零。目标是在 NVIDIA 技术栈上实现实时决策:DGX 服务器、RTX 工作站和 Jetson 边缘板卡。
它可部署吗?可以。两个检查点都在 Hugging Face 上,可通过 Transformers 加载,并且首日就支持 llama.cpp。LFM Open License v1.0 允许年收入低于 1000 万美元的免费商业使用。d1-omni-600M 是早期研究版本,未公布延迟数据。
什么是决策模型?
生成式 LLM 逐 token 写出答案,再由你的代码解析它。决策模型接收一个状态和一组命名问题。它读取一次,然后为每个允许的答案返回一个概率。Liquid AI 定义了三种问题类型:
noul:是或否问题,以 P(yes) 形式返回。
choice:从命名选项中选出一个标签,并给出完整的概率分布。
score:在 2 到 10 级的有序评分标准上给出概率加权的位置。
多个问题可以在一次调用中共享同一个状态。每个响应都报告 output_tokens: 0。Liquid AI 推荐将 d1 用于路由、审核、意图分类、重排序、LLM-as-a-judge 评分、智能体护栏和视觉检查。两个检查点都不是聊天模型。
d1-3B 和 d1-omni-600M 是如何构建的?
d1-3B 拥有 3.12B 参数,基于 LFM2.5-VL-3B 构建,后者是一个仅解码器的视觉语言模型。Liquid AI 将 LFM2.5-2.6B 的权重与该模型的文本主干进行了平均。随后,它用不同的随机种子和数据混合微调了多个检查点,并再次将它们合并。它使用 400M 的 SigLIP2 NaFlex 视觉编码器和 32,768 token 的上下文。长输入、打乱答案选项以及修复数据捷径,比先进技术更重要。
d1-omni-600M 有 587M 参数,从 LFM2.5-Encoder-350M 起步,这是一个双向编码器。这包括一个 381M 的共享主干和决策头、一个 94M 的视觉编码器,以及一个 112M 的音频编码器。音频编码器是一个 17 层的 FastConformer。上下文为 16,384 个 token。音频片段上限为 30 秒。一个请求携带图像或音频,绝不会同时携带两者。音频训练仅涵盖英语的说话人到助手请求。
Open d1 最适合用在哪里?
支持和工单分诊:一次 d1-3B 调用就能在同一条消息上回答是或否的退款检查、选出负责团队,并评定紧急程度,且无需解析任何输出 token。
边缘端的实时视觉检测和审核:d1-3B 在 Jetson AGX Thor 上以 35 ms 读取一张 384px 图像,而 Liquid AI 的 Open d1 Arcade 在实时摄像头输入上逐帧运行它,用于内容审核和手势控制。
小型设备上的语音命令路由:d1-omni-600M 可接收最长 30 秒的语音以及文本,并直接返回说话人的意图或主题。其卡片将语音命令路由和智能体护栏列为其推荐用途。
d1 在基准测试上表现如何?
在 Decision Index v0.2.1 上,d1-3B 得分为 48.57。这超过了所有 10B 以下的模型,并略胜 Decider 35B-A3B(47.11)。只有 Winnow-12B 得分更高,为 50.02。Liquid AI 自己运行了官方评分器,因此 d1 的分数并非排行榜提交。d1-3B 在 Tools(74.5)和 Arts(36.3)类别中领先,但在 Knowledge(23.8)上落后。
在七个公开文本基准测试中,d1-3B 平均为 82.9,领先于 Decider 4B 的 81.1。d1-omni-600M 平均为 78.4,并在 Civil Comments(95.8)和 PAWS-X(79.5)上取得最高分。在 11 个图像基准测试中,d1-3B 平均为 74.1,而其基础模型为 73.9。Liquid AI 称音频决策基准测试是一个未解决的问题。
d1-3B 在 NVIDIA 硬件上有多快?
Liquid AI 测量了端到端延迟,一次一个热请求。一个问题在 RTX 4090 上耗时 8 ms,在 AMD MI325X 上耗时 9 ms。在 Jetson 上,AGX Thor 耗时 16 ms,AGX Orin 耗时 26 ms,Orin Nano 耗时 50 ms。在 Jetson AGX Thor 上,基于一个状态提出三个问题耗时 20 ms,而一个问题耗时 16 ms。RTX 4090 的数据使用了 model.compile(mode="reduce-overhead")。如果不使用它,一个问题耗时 16 ms。NVIDIA 的 Jetson AI Lab 也托管了 d1-3B 指南。
Open d1 与其他开放决策模型相比如何?
精选1-3Bd1-omni-600MDecider 4BDecider 35B-A3BWinnow-12BMakerLiquid AILiquid AIMapika(独立)Mapika(独立)EldanRing(独立)参数3.12B587M4.2B34.7B 总量,3B 激活12B基础模型LFM2.5-VL-3BLFM2.5-Encoder-350MQwen3.5-4B-BaseQwen3.5-35B-A3B-BaseGemma 4 12B IT输入文本、图像文本 + 图像,或文本 + 音频文本文本文本、图像上下文32,76816,38432K-token 状态32K-token 状态65,536(测试 Q8)Decision Index v0.2.148.5715.9540.7047.1150.02许可证LFM Open v1.0LFM Open v1.0Apache 2.0Apache 2.0Apache 2.0公布的延迟每个问题 8 ms,RTX 4090未公布每 3 问题请求 5.2 ms,B300每 3 问题请求 47 ms,B300在接近 64K 上下文时缓存 4 问题请求 143 ms,RTX 5070 Ti
来源:d1-3B、d1-omni-600M、Decider 4B、Decider 35B-A3B、Winnow-12B 模型卡。索引分数如 d1 卡片所列。延迟使用不同的硬件和工作负载,因此不能直接比较。
如何在本地运行 d1?
d1-3B 需要 transformers>=5.14 和 trust_remote_code=True。d1-omni-600M 需要 transformers>=5.15。两者都暴露了 system_one(state, questions) 用于单个状态,以及 system_one_batch 用于打包请求。Liquid AI 建议在 GPU 上对 d1-omni-600M 使用 float16,因为 bfloat16 改变了一些首选答案。你可以在 Open d1 Arcade space 中尝试十个摄像头驱动的 d1-3B 演示。与 NVIDIA 合作,Liquid AI 还展示了 d1-3B 从 Jetson 导航 Isaac Sim。
关键要点
d1 模型在一次传递中输出固定选项上的概率,从不生成 token。
d1-3B 在 Decision Index v0.2.1 上得分 48.57,是 10B 以下的最佳结果。
d1-3B 在 RTX 4090 上 8 ms 回答一个问题。
d1-omni-600M 以 587M 参数处理带图像或音频的文本。
年收入低于 1000 万美元可免费用于商业用途。
查看 d1-3B、d1-omni-600M 和技术细节。所有功劳归于该项目的研究人员。也欢迎在 Twitter 上关注我们,别忘了加入我们拥有 15 万+ 成员的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。
[赞助] 网络是大多数智能体所缺失的那一个 API。数据库、日历和代码仓库都有 API。而开放网络大多没有。TinyFish MCP 服务器为任何 MCP 客户端提供四个工具:TinySearch、TinyFetch(将完整页面转为 markdown,包含 JavaScript)、用于登录和表单的 TinyBrowser,以及用于多步骤任务的 TinyAgent。Search 和 Fetch 免费。
文章《Liquid AI 发布开源权重 d1-3B 和 d1-omni-600M:零输出 token 的多模态决策模型》首发于 MarkTechPost。