Perplexity 与 NVIDIA 团队提出后训练方法 JOLT（Joint On-policy Learning and Teaching），让同一个模型同时扮演教师和学生两个角色：教师能看到特权信息，学生看不到，而且教师本身也会被训练，以保证其反馈始终可用。在 MATH 上，JOLT 达到 GRPO 的准确率，但处理的训练 token 少 6.5 倍。测试覆盖 Qwen3-0.6B、Qwen3-4B-Instruct、Qwen3-8B、Qwen3-30B-A3B-Instruct 和 DeepSeek-V2…
推荐理由做 RL 后训练可省 6.5 倍 token，AppWorld 通过率高 9.9 个百分点
NVIDIA 与普林斯顿大学、马里兰大学提出 PivotOPD，一种面向多轮 LLM Agent 的在线策略蒸馏方法，训练 Agent 避免最致命的早期错误，并在错误发生后恢复。在 ALFWorld、WebShop 和搜索问答上，Qwen3-1.7B 与 Qwen3-8B 学生模型对 13 个基线取得全部 8 项分榜平均最优。最佳结果：从 72.7% 的重放关键错误中恢复，标准 OPD 仅 20.3%。最差：1.7B 学生在 ALFWorld「Look」任务上为 55.9%，SOD 为 83.9%。方法在 H100…
推荐理由关键错误恢复率从 20.3% 提到 72.7%，且零额外推理成本，做多轮 Agent 的可以直接参考这套训练思路。
Fireworks 在 GLM 5.2 上做对照实验：同一算法、同一数据跑 countdown 推理任务，仅改变训练器与 rollout 引擎计算 token 概率的方式。不对齐时两者 KL 约 0.013，为保持稳定每批要丢弃约 45% 样本，奖励升到约 0.9 后在 20 步左右崩到 0.2 以下；对齐后 KL 为 0，无样本丢弃，25 步内奖励稳定。在 Qwen3.5-MoE 上还发现，即使一方精度更高，专家输出合并方式不同也会导致分歧，并可能翻转路由决策。
推荐理由做 RL 训练的人可以直接抄结论：先对齐训练器与推理引擎的数值，否则 45% 的样本白扔、奖励还会崩。