教程：用 llama.cpp 跑 2-bit 量化的 Saluki 27B 工具调用
MarkTechPost 发布教程，介绍 Underdog Saluki 27B：它是 Qwen3.8-27B 的 7.9 GB 量化版本，作者称在约 2 bit 每权重下仍保留工具调用能力，并在其自建的 120 项基准上略胜 54 GB 全量模型。Saluki 基于 ISTA-DASLab 对同一模型的 GSQ-RCO 量化。教程在原生 llama.cpp 中并排对比两个文件：逐张量比对 GGUF 头、逐字节比较，判断 Saluki 是 ISTA 量化结果的再加工还是改过的模型；随后在单张 GPU 上分别部署，记…
推荐理由想在单卡上跑 27B 工具调用模型的人，可照教程复现 7.9 GB 版本与 54 GB 全量版的对比测试。