来自 Polymathic AI、普林斯顿大学、USC ISI、纽约大学和 Flatiron Institute 的研究人员发布了 FlashMap。FlashMap 的推测解码用连续流映射替代了离散扩散草稿模型。它能在 1 次前向传播中草拟出完整的 16 个 token 块。该块内的 token 彼此保持一致。在 Qwen3-8B 上，研究团队报告在 GSM8K 上最高可达 6.14 倍的无损加速。Qwen3-8B 和 Qwen3-4B 的草稿模型权重已在 Hugging Face 上发布，并附带 vLLM 和 SGLang 插件。
TL;DR
规模：0.5B 参数的草稿模型（Qwen3-8B 为 500M，Qwen3-4B 为 475M）；草拟的块大小为 K = 16 个 token。
运行环境：与目标模型相同的 GPU。论文中的加速数据使用 1 块 NVIDIA H200 NVL，并发数为 1，精度为 bf16。
性能：在 Qwen3-8B 上测试过的最快草稿模型，平均比重新训练的 DFlash 高出约 7%。
最佳：在温度为 0 的 GSM8K 上实现 6.14 倍加速（接受长度为 7.69 个 token）。
最差：在温度为 1 的 Alpaca 上实现 2.28 倍加速。在 Qwen3-4B 上（温度为 0），它在 9 项任务中有 4 项落后于 DFlash。
什么是 FlashMap？
FlashMap 是一种推测解码草稿模型，能在 1 步内将高斯噪声映射为一个 token 块。一个小型草稿模型提出 K 个 token。随后目标模型在 1 次并行传播中检查全部 K 个 token，并保留最长的匹配前缀。输出与目标模型原本会生成的结果完全一致。
速度取决于 2 件事：有多少草拟的 token 被接受，以及草拟它们的成本有多低。EAGLE-3 以自回归方式草拟，因此成本随块长度增长。DFlash 则通过块扩散在 1 次传播中草拟整个块。
为什么扩散草稿模型会损失接受率？
DFlash 独立预测块中的每个位置。研究团队称之为因子化近似。设想一个后续内容，是“new york”或“san diego”，两者概率相等。一个独立的草稿模型有一半时间会提出“new diego”或“san york”。目标模型会在第 2 个位置拒绝这些结果。
FlashMap 构建于 Flow Map Language Models 之上。每个噪声样本映射为 1 个完整的块。噪声会联合地为每个位置选择模式。
FlashMap 是如何工作的？
Drafter 是一个 6 块扩散 transformer（DiT），嵌入维度为 2048，有 16 个注意力头。它从目标层的第 1、9、17、25 和 33 层读取隐藏状态。嵌入矩阵和 LM head 从目标模型复制而来，并保持冻结。
训练分 2 个阶段进行：
Flow teacher：在 one-hot token 块上的连续流，用交叉熵训练。时间重参数化处理 Qwen3 的 151,936 token 词表。
Flow map student：半群蒸馏将流转化为 2 时间去噪器。它从噪声到数据只需 1 步跳跃。
两个 drafter 都在来自 Open-PerfectBlend 的 500K 样本上训练。所有模型和消融实验的总计算量约为 4,600 GPU 小时，使用 H200。
FlashMap 在基准测试上表现如何？
研究团队在相同数据和设置下重新训练了 EAGLE-3 和 DFlash。测试覆盖数学、代码和聊天领域的 9 个基准测试，温度为 0 和 1。
速度：1 步 FlashMap 在每个 Qwen3-8B 任务上都是最快的 drafter，在两个温度下均如此。
准确率：1 步 FlashMap 在 18 个设置中的 15 个上，接受长度超过 DFlash。它的参数量约为后者的一半。
聊天领域的提升最大：在温度 0 下，相比 DFlash 在数学上提升 5.5%，在聊天上提升 11.1%。
2 步模式：接受长度在 18 个设置中的 18 个上超过 DFlash，平均提升 10%。
EAGLE-3：在温度 1 下，它的接受长度高 9%，但运行速度慢 35%。
打乱测试检验 draft 是否利用了真实的 token 间结构。在 2 步时，FlashMap 恢复了 16 步 teacher 的大部分联合结构增益。在 1 步时，它只保留了很小一部分。将 4 个噪声样本作为树进行 draft，平均将加速比提高了 11%。
对比：FlashMap 与其他投机解码 drafter
特性 FlashMap DFlash EAGLE-3 DSpark 草拟风格 连续流映射，1 或 2 遍 块扩散，1 遍 自回归，树状 半自回归 词元间依赖 是，块内联合 否，逐槽独立 是，顺序 是，轻量级顺序模块 草拟器大小（Qwen3-8B）500M 1B 302M（重新训练，依据 FlashMap 论文）未披露 主要宣称（自有来源）最高 6.1x 在 Qwen3-8B 上最高 6.17x 最高 6.5x 相比 MTP-1 每用户快 60% 至 85% 平均加速比，Qwen3-8B，T=0（匹配，FlashMap 论文）4.36x 4.07x 2.55x 未测试 GSM8K 加速比，T=0（匹配）6.14x 5.77x 3.20x 未测试 权重许可证 Apache-2.0 MIT Apache-2.0（代码）未披露 服务 Transformers、vLLM、SGLang Transformers、vLLM、SGLang SGLang 等 DeepSeek-V4 服务
平均加速比由 Marktechpost 根据 FlashMap 论文的图 1(c) 计算得出。匹配行使用作者重新训练的基线。
如何部署 FlashMap？
flashmap 包只需要 torch 和 transformers>=4.56。使用 uv pip install flashmap 安装。一次 spec_generate 调用在 1 块 GPU 上同时运行草拟器和目标模型。
对于服务，项目页面给出了 2 条路径：
vLLM 0.31：在 --speculative-config 中传入草拟器，并将 num_speculative_tokens 设为 16。
SGLang 0.5.20：使用 --speculative-algorithm DSPARK 并指定 FlashMap 草拟路径。
设置 num_steps=2 以牺牲部分速度换取更高的接受率。对于温度高于 0 的采样，vLLM 需要 "draft_sample_method": "probabilistic"。
关键要点
FlashMap 通过连续流映射在 1 遍中联合草拟 16 个词元。
在 Qwen3-8B 上使用 0.5B 草拟器实现最高 6.14x 的无损加速。
在全部 9 个 Qwen3-8B 基准测试上都快于重新训练的 DFlash。
2 步模式在整个块内保持接受率平稳。
权重为 Apache-2.0，代码为 MIT，并提供 vLLM 和 SGLang 插件。
查看论文、项目页面、GitHub 仓库和模型权重。另外，欢迎在 Twitter 上关注我们，别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。
需要与我们合作推广你的 GitHub 仓库或 Hugging Face 页面或产品发布或网络研讨会等？联系我们
文章《Polymathic AI 与普林斯顿大学研究人员发布 FlashMap：一种用于将 LLM 解码速度提升 6.14 倍的流映射草稿器》首次发布于 MarkTechPost。