Modal 用混合精度混合加速器采样器做 RL 训练
Modal 提出在强化学习中让采样器与训练器使用不同精度和不同加速器：采样器跑在 B200、B300、H100、H200 等六种加速器上，分别用 NVFP4、FP8、BF16 权重，训练器在 B200 上用 BF16 更新策略。由于采样已占大模型 RL 运行 80–85% 的 GPU，这一改动可降低成本。团队用 Miles 框架、SGLang 采样器和 Megatron-LM 训练器，在 Qwen3.6-35B-A3B 上做完全异步的 Agent 编码任务训练，上下文最长 256K，使用小米 MiMo-V2.6 发…
推荐理由采样占 RL 训练 80–85% 的 GPU，这套方案给出用低精度、异构卡跑采样器的具体做法和评测结果。