Underdog，来自 Conway Research 的端侧助手，已在 Apache 2.0 许可下发布 Saluki 27B。Underdog Saluki 27B 是 Qwen3.8-27B 的 2-bit GGUF 版本，体积为 7.89 GB。完整的 BF16 模型需要 54 GB。Underdog 调整了压缩方式以保护工具调用，这项能力让聊天模型变成智能体。对开发者而言，这意味着一个 27B 级别的智能体模型可以在原版 llama.cpp 中运行。

TL;DR

规模：27B 稠密参数。7.89 GB GGUF，而 BF16 为 54 GB。

运行于：原版 llama.cpp 及基于它构建的应用，支持完整 GPU 卸载。可选 629 MB 或 928 MB 视觉附加组件。

性能：在 9 项基准测试中，相比完整 Qwen3.8-27B 平均保留 96%。

最佳：并行工具调用，42 对完整模型的 35（120% 保留率）。

最差：AIME 2025，79.2 对 96.7（约 82% 保留率）。

总结：

最佳：在不到 8 GB 的文件中，工具调用上击败了 54 GB 的原版。

最差：竞赛数学和多步推理下降 12 到 18 分。

什么是 Underdog Saluki 27B？

Saluki 27B 是 Qwen3.8-27B 的 2-bit 混合精度 GGUF，专为本地智能体构建。它叠加了 3 层工作：

基础是 Qwen3.8-27B，来自 Qwen 团队的稠密 27B 模型。它有 64 层，混合了 Gated DeltaNet 线性注意力和门控注意力，原生支持 262,144 个 token。

第二层是 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO-GGUF。GSQ 为每个张量学习精确的低比特标量网格。RCO 在固定大小预算下为每个张量分配量化类型。ISTA 最小的文件 IQ2_XS 为 8.4 GB，每权重 2.50 比特。

第三层是 Underdog 自己的处理。它将文件缩小到 7.89 GB，并针对工具调用进行了优化。该文件名为 IQ2-mix，带有 imatrix 标签。Underdog 尚未公布这一处理的完整配方。

Saluki 在基准测试中表现如何？

Underdog 将其结果分为 2 组。

第一组在同一测试框架中运行了两个模型：

Underdog Bench：来自 BFCL v4 的 120 项任务，在测试前冻结。关闭思考，温度 0。Saluki 得分 88，完整模型 84，PrismML 的 Bonsai 2 得分 70。

并行工具调用：100 项 BFCL v4 并行任务，使用官方检查器。Saluki 42，完整模型 35。

SWE-bench Verified：50 个问题。Saluki 修复 30 个，完整模型 33 个。

第二组将 Saluki 与公开的全尺寸分数进行比较：

基准测试Saluki 27BQwen3.8-27B（公开）IFEval（prompt-loose）93.591.5IFBench（prompt-loose）72.771.0MBPP+78.083.9MuSR67.579.6AIME 2025（avg@4）79.296.7AIME 2026（avg@4）80.094.6

Saluki 与其他紧凑型 Qwen3.8-27B 构建版本相比如何？

特性Underdog Saluki 27BQwen3.8-27B（BF16）ISTA GSQ-RCO IQ2_XSPrismML Bonsai 2 27B（PTQ1_0）组织Underdog（Conway Research）Qwen 团队ISTA-DASLabPrismML参数量27B27B27B27.36B文件大小7.89 GB54 GB8.4 GB5.95 GB每权重比特数未披露（2-bit 混合）162.501.75上下文未披露262,144 原生未披露262K视觉附加组件，629 或 928 MB原生0.9 GB mmproj可选 0.63 GB运行时原版 llama.cppTransformers、vLLM、SGLang原版 llama.cpp、Ollama、LM StudioPrismML llama.cpp 分支Underdog Bench（满分 120）8884未披露70厂商宣传96% 平均保留率，9 项基准测试基线100.3% 零样本恢复率FP16 的 98.2%，14 项基准测试许可证Apache 2.0Apache 2.0Apache 2.0Apache 2.0

Bonsai 2 体积更小，并报告在 14 项思考模式基准测试中达到 98.2% 的保留率。它还在数学方面表现更强，包括在 AIME25 上达到 95.00。然而，它需要 PrismML 的 llama.cpp 分支，因为原版 llama.cpp 拒绝其打包格式。Saluki 可在原版 llama.cpp 上运行。每个厂商使用自己的测试框架，因此跨厂商分数无法直接比较。

关键要点

Saluki 27B 将 Qwen3.8-27B 压缩至 7.89 GB，从 54 GB 降下来。

它在工具调用上击败了完整模型：88 对 84。

并行工具调用从 35 提升至 42。

数学和推理受影响最大，降至约 82% 至 85%。

它在 Apache 2.0 许可下运行于原版 llama.cpp。

查看 Hugging Face 上的模型卡、Underdog 发布页面以及 X 上的公告。所有功劳归于该项目的研究者。另外，欢迎在 Twitter 上关注我们，别忘了加入我们拥有 15 万+ 成员的 ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。

文章《Meet the Underdog Saluki 27B: A 2-bit Qwen3.8-27B That Beats the Original at Tool Calling》首发于 MarkTechPost。