BottleCap AI 发布了 ThinkingCap-Qwen3.8-27B,这是其 ThinkingCap 系列中的第二个模型。它是对 Qwen 团队 Qwen3.8-27B 的微调,目标很窄:更短的推理轨迹。在 12 个基准测试中,它平均少用 37.2% 的思考 token。宏观平均准确率从 86.65% 降至 85.79%,下降 0.86pp。

可部署吗?可以。它可在 vLLM 或 SGLang 上直接替代 Qwen3.8-27B,并提供 FP8、NVFP4、GGUF 和 MLX 构建。仓库设有访问限制,超出小企业许可范围的商业使用需要与 BottleCap 达成协议。

ThinkingCap 针对的是什么问题?

推理模型常常花费比问题所需更多的思考 token。BottleCap 的立场是,其中许多额外的 token 并不会改变最终答案。该系列的第一个版本将这一思路应用于 Qwen3.6-27B。

这次的目标刻意保持保守。BottleCap 并未尝试增加知识或改变回答风格。推理能力、指令遵循和安全行为都应当原样通过。研究团队还更加聚焦于数学、推理、长上下文和智能体基准测试。

xhigh 努力程度下的基准测试结果

所有主要数字均使用 reasoning_effort=xhigh,即聊天模板默认值。每个基准测试都变短了,缩减幅度从 10.7% 到 65.5% 不等。

知识和多语言任务缩减最多。MMLU 下降 65.5%(1,656 到 571 token),MMLU-Pro 下降 57.3%。GPQA-Diamond 从 12,772 降至 7,267 token,减少 43.1%。IFBench 的思考量减少 46.4%,准确率几乎持平(79.75% 到 79.71%)。

长上下文检索有所提升。AA-LCR 准确率上升 2.25pp,从 81.75% 到 84.00%,同时思考 token 减少 38.6%。LiveCodeBench v6 微升 0.07pp,同时思考量减少 20.3%。

智能体结果与基础模型接近。τ²-bench 让出 1.01pp,换来 30.9% 的缩减。Terminal-Bench 2.1 损失 0.56pp,远在其 ±4.26 区间内,换来 10.7% 的缩减。

代价最高的是 AIME 2026。准确率下降 3.85pp,从 98.13% 到 94.27%,换来 30.2% 的思考量减少。

请注意,37.2% 这个数字是 12 个基准测试各自缩减幅度的平均值。汇总平均思考 token 从 15,735 降至 12,144。

BottleCap 还报告了一条预算曲线。在每次响应 16K token 的上限下,ThinkingCap 的得分高于基础模型。被截断的推理轨迹从 0.51% 降至 0.34%,循环从 0.06% 降至 0.05%。

它如何与努力程度旋钮交互

Qwen3.8-27B 暴露了一个推理努力程度设置,压缩会与之叠加。以下所有差值都是与 xhigh 下的基础模型相比,在 11 个基准测试上取平均。

在 medium 下,基础模型削减了 52.1% 的思考量,代价是 -9.16pp。ThinkingCap 削减了 60.2%,代价是 -9.90pp。在 low 下,基础模型的数字是 -55.4% 和 -9.71pp,而 ThinkingCap 是 -62.3% 和 -10.79pp。关闭思考时,ThinkingCap 落后基础模型 5.7pp。

BottleCap 团队推荐使用 xhigh 以获得最佳的准确率与 token 平衡。它表示各个思考模式将在未来版本中受到关注。

评估是如何运行的

两个模型都在同一台 NVIDIA H200 上通过相同的测试框架运行,使用 vLLM 0.29.0。采样设置完全相同:temperature 1.0、top_p 0.95、top_k 20、min_p 0.0。多种子准确率是带有 95% 区间的均值。种子数从 AIME 2026 上的 32 到 MMLU-Pro 和 MMMLU 上的 1 不等。MMMLU 使用固定的 10,000 题样本;其他 11 个基准测试运行完整题集。

MTP 投机解码(3 个草稿 token)在 AIME 2026 上测得对准确率中性。它接受了 53% 的草稿 token,约每步 2.6 个 token,与基础模型一致。

部署:构建、服务与许可证

bf16 检查点有 28B 参数,接受图像和文本输入。BottleCap 发布了 5 个量化构建:

FP8:31 GB,vLLM,Hopper 和 Blackwell。

NVFP4 仅权重:21 GB,vLLM,Hopper(Marlin 内核)和 Blackwell。

NVFP4 W4A4(AWQ):23 GB,仅 Blackwell。

GGUF:16 到 55 GB,用于 llama.cpp、LM Studio 和 Ollama。

MLX 4-bit DWQ:21 GB,用于配备 32 GB 内存的 Apple Silicon Mac。

服务使用基础模型的配方:在 vLLM 上使用 --reasoning-parser qwen3 和 qwen3_xml 工具调用解析器。思考内容会在单独的 reasoning 字段中返回。

许可证是 PolyForm Small Business 1.0.0 外加一项 BottleCap 个人使用授权。上游 Qwen 材料仍遵循 Apache-2.0。Hugging Face 目前没有列出托管该模型的推理提供商。

关键要点

在 12 个基准测试上平均减少 37.2% 的思考 token。

宏观准确率下降 0.86 个百分点,从 86.65% 降至 85.79%。

AA-LCR 长上下文准确率上升 2.25 个百分点;AIME 2026 下降 3.85 个百分点。

可直接替换 Qwen3.8-27B:相同的采样,相同的 vLLM 或 SGLang 参数。

权重受 PolyForm Small Business 许可限制;商业使用需要获得许可。

查看技术博客和模型权重。所有功劳归于该项目的研究人员。也欢迎在 Twitter 上关注我们,别忘了加入我们拥有 15 万+ 成员的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们了。

需要与我们合作推广你的 GitHub 仓库或 Hugging Face 页面或产品发布或网络研讨会等?联系我们

文章 BottleCap AI Releases ThinkingCap-Qwen3.8-27B: 37.2% Fewer Thinking Tokens at a 0.86pp Accuracy Cost 首次出现在 MarkTechPost 上。