阿里巴巴的 Qwen 团队推出了 QwenGyre，一个用于极长时程智能体训练的弹性强化学习 RL 框架。QwenGyre 是阿里巴巴的一个在线强化学习系统，通过未经修改的黑盒 harness 来训练编程智能体。它的目标是那些运行数小时、处理接近 1M token 的 rollout。QwenGyre 弹性 RL 框架被用于 Qwen 的旗舰模型 Qwen 3.8 2.4T。它基于 2 个核心思路。它在 rollout 和训练之间调度空闲 GPU。它还将分支的智能体历史转化为有界的训练样本。
TL;DR
规模：一个训练框架，而非模型。在 Qwen 3.6 122B 和 Qwen 3.8 2.4T（据 Qwen 称 A95B）上测试，每次 rollout 约 700K token。
运行环境：多节点 GPU 集群。122B 的运行使用了 24 到 32 个节点；2.4T 的运行使用了 192 个节点（4 个 cell，每个 48）。GPU 型号未披露。Megatron 负责训练，SGLang 负责 rollout 服务。
性能：在分数相同时，比 Async 快 1.38x 到 1.78x，比 Colocate 快 1.21x 到 1.85x。
最佳：在 TerminalBench 上相比 Colocate 实现 1.85x 端到端加速。
最差：在 2.4T 模型上相比 Colocate 仅快 1.21x，其中许多查询接近超时。
结论：
最佳：NL2RepoBench 在 48 步内从 52.5% 升至 58.5%。
最差：论文未链接任何公开代码发布。
QwenGyre 解决了什么问题？
研究团队将“XLong-horizon”任务定义为跨越数小时、包含数百次模型与工具交互的智能体运行。示例包括根据规格生成完整代码仓库，如 NL2Repo-Bench。
在这个规模下会出现两个问题：
第一，rollout 存在长尾。在 Colocate 设置中，训练会等待最慢的执行，而 GPU 处于空闲状态。在 Async 设置中，固定的 GPU 池无法相互借用闲置容量。
第二，像 Claude Code 这样的 harness 会压缩上下文、生成子智能体并重试。一次执行会变成一棵分支树，而不是单条轨迹。展开每条路径会重复共享前缀并推高训练成本。
弹性调度器如何工作？
QwenGyre 将 GPU 划分为共享同一训练布局的单元（cell）。每个单元既可以服务 rollout，也可以承载一个完整的训练副本。核心单元拥有权威权重和优化器状态。卫星单元稍后加入训练。
调度器跟踪一个 rollout 水位线：排队中和运行中的执行。当执行完成时，只要剩余单元仍能服务所有活跃工作，单元就会切换到训练。模型调用通过代理重新路由，因此 harness 保持运行。
关键机制：
KV-cache 块在重新路由期间通过 RDMA 迁移，减少前缀重计算。
卫星单元通过 Mooncake 的 Transfer Engine 拉取核心权重，并加入正在进行的批次。
流式训练让单元在数据就绪时认领微步骤。
平均角色切换耗时 8.52 s（rollout 到训练）和 3.46 s（训练到 rollout）。
Trajectory Processor 如何构建训练样本？
代理使用 token-in, token-out（TITO）记录精确的 token ID 和行为 log-probabilities。调用被存储为前缀共享的轨迹树。
部分评分：超时执行仍会基于其保留的工作区进行评分。评估器失败会被排除，绝不会被当作零奖励。
有界采样：每次执行最多保留 5 条轨迹，优先级为 main > main-summary > sub-agent > sub-agent-summary。
去重：共享目标只计一次，且只训练策略生成的 token。
公平加权：损失在每次执行内部取平均，因此额外的分支不会抬高其权重。
上限设为 5 时，匹配了无上限的训练分数，同时将前向-反向时间缩短了 25.2%。训练使用改编的 GSPO，每组 16 次 rollout。
QwenGyre 有多快？基准测试结果
所有运行均使用 Claude Code 2.1.220 作为 harness，GPU 预算相同且陈旧度匹配。
工作负载（模型）vs 异步 vs 同置NL2RepoBench（Qwen 3.6 122B，48 步）1.42x 到 1.53x1.36x 到 1.47xDeepSWE（Qwen 3.6 122B，24 步）1.569x 到 1.572x1.610x 到 1.824xTerminalBench（Qwen 3.6 122B，24 步）1.383x 到 1.430x1.809x 到 1.849xNL2RepoBench（Qwen 3.8 2.4T，48 步）1.78x1.21x
在 2.4T 模型上，QwenGyre 在 75.42 小时内完成了 48 步。Async 耗时 134.55 小时，Colocate 耗时 91.47 小时。评估通过率从 52.48% 升至 58.54%。
QwenGyre 与其他智能体 RL 框架相比如何？
特性QwenGyreveRLAReaLAgent Lightning开发者Alibaba QwenByteDance Seed + 社区Tsinghua IIIS + Ant GroupMicrosoft许可证未披露Apache-2.0Apache-2.0MITGPU 分配弹性单元，可在 rollout 中途切换灵活设备映射，HybridEngine 重分片完全异步未披露黑盒 harness是，通过代理未披露是，通过 base_url 替换是，近乎零代码改动训练 / rolloutMegatron / SGLangFSDP、Megatron / vLLM、SGLangMegatron、FSDP、Archon / vLLM、SGLang未披露最大声明规模Qwen 3.8 2.4T671B 模型未披露未披露头条加速最高 1.85x（对比 Colocate）未披露2.77x（对比同步，v0.3）未披露公开代码未披露是是是
加速数据来自各项目自身的设置，不能直接比较。
关键要点
QwenGyre 在不停止运行中智能体的情况下，在 rollout 和训练之间移动 GPU。
轨迹树将每次执行的样本上限设为 5，并对共享前缀只训练一次。
超时运行仍会根据其部分工作获得评分。
比 Colocate 快最高 1.85x，比 Async 快 1.78x。
Qwen 3.8 2.4T 在 NL2RepoBench 上于 48 步内从 52.5% 提升至 58.5%。
在 arXiv 上查看完整的 QwenGyre 论文以及 Qwen 的公告文章。所有功劳归于该项目的研究者。另外，欢迎在 Twitter 上关注我们，别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等！你在 telegram 上吗？现在你也可以在 telegram 上加入我们。
文章 Alibaba Qwen Introduces QwenGyre: Elastic Reinforcement Learning RL for XLong-Horizon Agents 首发于 MarkTechPost。