Liquid AI 发布了 LFM2.5-VL-3B-DSpark，这是为其 LFM2.5-VL-3B 视觉语言模型打造的实验性投机解码草稿模型。该草稿模型增加了约 280M 参数，在不改变模型输出的前提下加速解码。Liquid AI 团队报告称，在 Apple 芯片上解码速度最高提升 3.13 倍，在 NVIDIA H100 上最高提升 2.66 倍。
它可以部署吗？可以，权重已在 Hugging Face 上以 Safetensors 和 GGUF 格式发布，并在 SGLang、MLX-VLM 和 llama.cpp 中提供首日支持。Liquid AI 团队将该版本标记为实验性，并以 LFM Open License v1.0 发布，该许可证仅允许年收入低于 1000 万美元的公司免费商用。
投机解码为 VLM 带来了什么改变
标准模型每次前向传播生成一个 token。投机解码增加了一个小型草稿模型，提前提出多个 token。随后大型目标模型一次性检查整个块，并保留其认可的 token。
DSpark 沿用了 Liquid AI 文本模型 DSpark 草稿模型的方案，详见 DSpark 论文。草稿模型从多个层读取目标模型的隐藏状态，并预测接下来的 k 个 token。
关键设计要点：模态对草稿模型而言无关紧要。当 token 到达隐藏层时，文本和图像 patch 都只是张量。因此 Liquid AI 团队为其视觉语言模型复用了完全相同的推理算法。
草稿模型架构与训练
该草稿模型是一个简化的纯注意力模型。消融实验选定了 4 层和块大小 9。Liquid AI 建议在推理时根据硬件使用 8 或 9 的块大小。Apple 芯片运行使用 8。
组件参数解码器堆栈（4 层）193.0M隐藏状态投影21.0MMarkov 头65.5M归一化 + 置信度头6.4k总计279.5M
嵌入层和 LM 头与目标模型绑定，因此草稿模型不携带它们。Liquid AI 表示，这使部署参数量增加了 8.9%。训练使用了覆盖常见视觉语言任务的监督微调数据，共 10 个 epoch。所有消融实验和训练均完全在 AMD 硬件上运行。
基准测试结果
评估遵循 MMSpec 基准测试，涵盖 6 种任务类型：通用 VQA、文本 VQA、图像描述、图表 VQA、复杂推理和多轮对话。所有运行均使用 batch size 1、temperature 0，以及视觉编码器和主干网络的 16 位权重。数据在 Pipette 上收集，这是 Liquid AI 的公开设备基准测试基础设施。
StackDecode 加速比端到端加速比每轮接受的 token 数MLX-VLM，M5 Max MacBook Pro（block 8）2.30x 到 3.13x1.56x 到 2.62x3.24 到 4.34llama.cpp，M3 Ultra（block 8）1.57x 到 2.14x1.30x 到 1.77x3.31 到 4.50SGLang，1x H100 80GB（block 9）2.04x 到 2.66x1.64x 到 2.27x3.46 到 4.57
“最高”解码和端到端数字往往来自不同的任务。在 M5 Max 上，3.13x 解码来自 COCO captioning，而 2.62x 端到端来自 MMMU-Pro。
在两个 Apple 技术栈上，接受率都落在相似的范围内。Liquid AI 将此解读为：接受率取决于草稿模型和工作负载，而非运行时。
在更高并发下，DSpark 在 SGLang 中单张 H100 上的每个测量级别都保持了吞吐量优势。随着并发上升，差距缩小。
输出质量与温度
在贪心解码下，目标模型会验证每一个提议的 token，因此输出与基础模型完全相同。在非零温度下进行匹配采样时，投机解码会保留目标模型的输出分布，这一点已由 Leviathan 等人证明。
温度确实会影响速度。更高的温度会将概率分散到更多候选 token 上，因此草稿模型和目标模型更频繁地产生分歧。在 Liquid AI 的测试中，这降低了接受率和吞吐量。
为什么边缘设备上的端到端收益更小
投机解码只能加速解码。图像编码和预填充以相同的速度运行。VLM 必须先编码图像，然后处理数百个视觉 token 以及提示词。
在算力低于数据中心 GPU 的边缘设备上，预填充占延迟的比例更大。Liquid AI 将此表述为阿姆达尔定律：总加速比受限于未被加速的部分。这解释了 M5 Max 上 TextVQA 这类情况：解码快了 2.69x，端到端却只有 1.56x。
如何运行它
SGLang 需要 v0.5.19 或更新版本。使用 --speculative-algorithm DSPARK 启动 LiquidAI/LFM2.5-VL-3B，并将 --speculative-draft-model-path 指向 drafter。在 Apple silicon 上，MLX-VLM v0.7.2 或更新版本可通过 --draft-model 接受该 drafter。MLX-VLM 中的 DSpark 目前仅支持贪心采样，因此请将 temperature 设为 0。对于 llama.cpp，请将 GGUF drafter 与 LFM2.5-VL-3B-GGUF 目标模型配对使用。
集成工作已在 llama.cpp、SGLang 和 MLX-VLM 的 pull request 中公开。量化模型的加速不在本次发布范围内。
关键要点
一个 279.5M 的 drafter 为 LFM2.5-VL-3B 增加了 8.9% 的参数。
解码在 M5 Max 上最高提速 3.13x，在 H100 上提速 2.66x。
贪心解码下输出完全一致；采样时分布保持不变。
Prefill 和视觉编码限制了端到端增益，在边缘设备上尤为明显。
仅在 16-bit 下测试；尚未覆盖量化加速。
查看技术细节。所有功劳归于本项目的研究人员。另外，欢迎在 Twitter 上关注我们，别忘了加入我们拥有 150k+ 成员的 ML SubReddit 并订阅我们的 Newsletter。等等！你在用 telegram 吗？现在你也可以在 telegram 上加入我们了。
需要与我们合作推广你的 GitHub Repo 或 Hugging Face 页面或产品发布或网络研讨会等？联系我们
文章《Liquid AI Releases LFM2.5-VL-3B-DSpark: Speculative Decoding for Vision-Language Models With Up to 3.13x Faster Decoding》首发于 MarkTechPost。