Hugging Face 的 harness-hub 团队发布了 Qwen3.8-27B-pi-adapted,这是 Qwen3.8-27B 的一个 LoRA 适配器。它通过强化学习训练,以便在 pi 编码智能体中工作。Qwen3.8-27B-pi-adapted LoRA 适配器针对的是单一 harness,而非通用聊天。对于运行本地编码智能体的开发者来说,这正是重点。你保留开源基础模型,换入一个小型的、针对特定 harness 的适配器。

TL;DR

规模:在 Qwen3.8-27B 上使用 LoRA rank 32(alpha 64),这是一个 27B 稠密混合模型,原生上下文窗口为 262,144。合并后的 BF16 checkpoint 约为 54 GB。

运行于:启用 LoRA 的 vLLM,或在 Q8_0 基础模型上使用 GGUF 适配器的 llama.cpp。推理显存未披露。训练使用了 2 块 NVIDIA B200。

性能:在 pi 内关闭思考模式时,pass@1 大幅提升,且会话长度大幅缩短。

最佳:SWE-bench Pro 上达到 64.7%(hard 51),高于 39.2%。

最差:Terminal-Bench 2.1 上为 55.8%。开启思考的基础模型在 SWE-bench Pro 上已达到 64.7%。

结论:最佳:以约 4.5 倍更少的 token 达到思考级别的准确率。最差:评估集较小、自报数据、仅限 pi。

什么是 Qwen3.8-27B-pi-adapted?

Qwen3.8-27B-pi-adapted 是一个 PEFT LoRA 适配器,可将 Qwen3.8-27B 转变为针对 pi 调优的模型。pi 是一个 MIT 许可的智能体工具包,带有编码智能体 CLI。该适配器以 Apache-2.0 许可发布。它应用于 q、k、v、o、gate、up 和 down 投影。它仅适用于 Qwen3.8-27B。

基础模型是一个稠密混合模型。它在 64 层中交替使用 Gated DeltaNet 线性注意力块和 Gated Attention 块。

harness 适配器训练是如何工作的?

该方法来自 Hugging Face 11 月 6 日的 harness adapters 文章。其思路是为每个模型和 harness 使用 1 个 LoRA 适配器。训练在未修改的 harness 内、在可验证任务上进行。

对于此 checkpoint,模型卡列出了以下细节:

算法:来自 TRL 的 AsyncGRPO,每个任务 8 次 rollout,温度为 0.8。

任务:750 个 scale800 任务与 300 个 TermGrade 任务交错。

奖励:验证器正确性加上权重为 0.1 的工具效率奖励。

预算:每次 rollout 最多 50 个智能体步骤和 1,800 秒,关闭思考。

Checkpoint:第 160 步。运行在计划的 1,000 步中的第 191 步停止。

每次工具调用都会经过 safeagents,一个基于规则的代理。它会拦截诸如从 Hub 获取基准测试答案之类的调用。被拦截的 rollout 得分为 0,因此 RL 会推动模型远离奖励黑客行为。

基准测试:LoRA 适配器能带来多大帮助?

以下所有数字均为自报。他们使用 pi 测试框架,每个任务尝试 1 次。

基准测试(pi,关闭思考)Base Qwen3.8-27Bpi-adapted变化SWE-bench Pro(hard 51)39.2%64.7%+25.5 ± 14.2 pts(p = 0.0023)Terminal-Bench 2.1(86 个任务)39.5%55.8%+16.3 ± 9.1 pts(p = 0.0013)

该适配器在 SWE-bench Pro 上解决了 15 个新任务,丢失了 2 个。在 Terminal-Bench 2.1 上,它增加了 16 个,丢失了 2 个。

效率才是更大的亮点。在两个模型都解决的任务上,SWE-bench Pro 的中位轮数从 59 降至 23。在 Terminal-Bench 2.1 上,从 18 降至 8。该适配器生成的 token 数也比开启思考的基座模型少约 4.5 倍。

它与思考模式和其他适配器相比如何?

开启思考后,基座模型在 SWE-bench Pro 上已经达到 64.7%,在 Terminal-Bench 2.1 上达到 54.2%。因此该适配器无需付出长推理轨迹的代价即可达到思考级别的准确率。开启思考后,该适配器达到 66.7% 和 56.6%。

特性Qwen3.8-27B-pi-adaptedQwen3.8-27B base,开启思考Qwen3.8-27B-opencode-adaptedbytkim/Qwen3.8-27B-pi类型LoRA r=32基座模型LoRA r=32全量微调,28B方法AsyncGRPO RL无AsyncGRPO RLSFT 后 GRPO测试框架pipiOpenCodepi许可证Apache-2.0Apache-2.0Apache-2.0Apache-2.0SWE-bench Pro(hard 51)64.7%64.7%51.0%(OpenCode)未披露Terminal-Bench 2.155.8%54.2%53.0%(OpenCode)未披露Token 用量比基座 + 思考少约 4.5 倍基线比基座 + 思考少约 6 倍至 8 倍输出 token 少约 41%(Terminal-Bench)训练硬件2x B200未披露2x B200未披露

OpenCode 适配器的数字使用不同的测试框架,不能直接比较。

如何部署它?

模型卡给出了 4 种途径:

vLLM:使用 --enable-lora --max-lora-rank 32 服务 Qwen/Qwen3.8-27B,禁用思考。将 pi 指向 http://localhost:8000/v1。

llama.cpp:在 Q8_0 基座 GGUF 上加载 GGUF 适配器。

macOS 上的 Llama.app:以 32,768 token 的上下文注册该适配器。

合并:在 CPU 上用 PEFT 合并,然后在不带 LoRA 标志的情况下部署 54 GB 的 BF16 结果。

由于适配器共享 1 个基础模型,单个服务器可以同时托管 pi 和 OpenCode 适配器。

要点

Qwen3.8-27B-pi-adapted 是一个 Apache-2.0、rank-32 的 RL LoRA,用于 pi 智能体。

SWE-bench Pro hard-51 从 39.2% 提升到 64.7%,关闭思考模式。

在 SWE-bench Pro 上,中位轮数从 59 降到 23。

它以约 4.5 倍的更少 token 达到了基础模型开启思考模式时的准确率。

结果是在小规模集合上自报的;推文中的 29.4% 基线已被更正。

查看模型卡、GGUF 适配器、方法论文章和 TRL 训练脚本。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。

另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

文章 New LoRA Adapter Lifts Qwen3.8 Coding Success From 39% to 65% 首次出现在 MarkTechPost 上。