斯坦福与伯克利发布 TokenGate：长上下文预填充提速最高 11.3 倍
斯坦福和 UC Berkeley 研究者发布 TokenGate，一种可插拔的 token 剪枝模块，让已有 LLM 只对重要 token 做完整计算。在 Qwen3-1.7B 上测试最长 128k 上下文，首 token 延迟（TTFT）提速 1.4 至 11.3 倍，预填充峰值显存降低 1.5 至 3.4 倍，且无精度损失。最佳场景为 NIAH 16k：TTFT 快 11.3 倍、显存降 3.42 倍；128k 时 TTFT 提速达 13.0 倍。在 5 个任务上对 6 个基线达到帕累托最优，对比次优基线 TT…
推荐理由长上下文推理可直接降本：128k 场景 TTFT 快 13 倍，代码已开源可试