Perplexity 与 NVIDIA 团队共同推出了 JOLT，一种用于语言模型的新后训练方法。JOLT 代表 Joint On-policy Learning and Teaching（联合在线策略学习与教学）。它让单个模型以 2 种角色进行训练。教师能看到特权信息；学生看不到。关键变化在于教师也会被训练，因此其反馈始终可用。在 MATH 上，JOLT 以少 6.5 倍的处理训练 token 达到了与 GRPO 相同的准确率。对于运行 RL 后训练的团队来说，这直接关乎算力问题。

TL;DR

是什么：一种后训练方法。

规模：在 Qwen3-0.6B、Qwen3-4B-Instruct、Qwen3-8B、Qwen3-30B-A3B-Instruct 和 DeepSeek-V2-Lite 上测试。

运行方式：1 个共享模型扮演两种角色，因此无需单独的教师模型。训练硬件：未披露。

性能：在与 GRPO、OPSD 和 π-Distill 对比的所有测试设置中，JOLT+ 均取得最高平均分。

最佳：JOLT+ 在 AppWorld 状态测试通过率为 72.09%，而 GRPO 为 62.20%（+9.9 个百分点）。

最差：不带学生奖励的 JOLT 在 AppWorld 上得分为 51.92%，低于 GRPO。

什么是 Perplexity JOLT？

JOLT 是 Perplexity 与 NVIDIA 提出的一种自蒸馏方法，将单个模型同时训练为教师和学生。它建立在 On-Policy Self-Distillation（OPSD）之上。

为什么 RL 后训练需要更好的教师？

结果奖励型 RL（如 GRPO）每次尝试只给出一个奖励。该信号是稀疏的。它不会说明哪些 token 起了作用。在长程智能体任务中，成功很罕见，因此学习缓慢。

On-Policy Distillation 通过让更强的教师为每个学生 token 打分来修复稀疏性。OPSD 去掉了单独的教师。同一个模型在获得特权上下文（例如已验证的解答）时便成为教师。

研究团队认为这还不够。掌握答案的教师可能走捷径，而学生无法跟随。其指导可能超出学生的能力范围。在论文中，OPSD 的师生分歧在 MATH 训练期间不断增大。

JOLT 如何工作？

JOLT 同时训练一个共享模型的两种角色：

教师：获得特权信息。它从结果奖励中学习，外加一个使其贴近学生的 KL 惩罚。

学生：只看到任务。它从教师在自己尝试上的 token 级蒸馏信号中学习。

同策略：每个角色都从在自己上下文下生成的轨迹中学习。

JOLT+：在学生更新中加入学生自身的结果奖励。

该研究立足于一个“奖励一致”的教师。其蒸馏更新应与学生的奖励梯度指向同一方向。理想的教师偏好高优势动作，同时保持接近学生的策略。

JOLT 在基准测试上表现如何？

研究团队测试了 5 种设置，每种设置使用不同的基础模型和不同类型的特权信息：

GSM8K：DeepSeek-V2-Lite；教师获得已验证的答案。

MATH：Qwen3-0.6B；教师获得详细的参考解答。

LiveCodeBench v6：Qwen3-8B 在 131 道题上；教师获得一个通过的同类解答或执行反馈。

AppWorld：Qwen3-4B-Instruct；教师获得过往尝试的摘要。

Terminal-Bench 2.1：Qwen3-30B-A3B-Instruct 在 TMax 上训练；教师获得私有验证器文件。

JOLT+ 在每种设置中均取得最高平均分。与最强基线 GRPO 相比，它在 GSM8K 上提升 1.5 分。它还在 MATH 上提升 4.2 分，在 LCBv6 上提升 3.0 分，在 AppWorld 上提升 9.9 分。在 Terminal-Bench 2.1 上，JOLT+ 达到 10.96% pass@1 和 34.83% pass@32。GRPO 得分为 8.25% 和 30.34%。

即使是不含学生奖励的普通 JOLT，在 MATH 上也胜过 GRPO：72.14% 对 68.36%。

JOLT 节省多少训练算力？

在 MATH 上，研究团队拟合了准确率随训练 token 预算变化的曲线。在 63.44% 准确率处，GRPO 的检查点使用了 8.40M 已处理训练 token。JOLT 的拟合曲线需要 1.30M，减少 6.5 倍。仅计算补全 token 时，差距扩大到约 13 倍。在 55% 到 65% 的准确率目标区间内，已处理 token 的节省幅度为 4.3 倍到 7.4 倍。

JOLT 的平台期也更高。它在接近 72% 处趋于平稳，而 GRPO 约为 70%，OPSD 为 62%。

JOLT 与 GRPO、OPSD 和 π-Distill 相比如何？

以下所有分数均来自 Perplexity 在 JOLT 论文中的自有运行，超参数按方法分别调优。方法描述链接到各方法自己的论文。

特性JOLTJOLT+GRPOOPSDπ-Distill独立教师模型否否否教师否（自教师）否（共享模型）教师是否训练是（奖励 + 对学生 KL）是（奖励 + 对学生 KL）不适用否是（KL 正则化）学生信号密集蒸馏，同策略蒸馏 + 结果奖励组相对结果奖励密集蒸馏，同策略异策略，教师轨迹MATH，Qwen3-0.6B (%)72.14 ± 0.9072.59 ± 1.1768.36 ± 3.7361.20 ± 2.1042.25 ± 1.10LCBv6，Qwen3-8B (%)47.64 ± 1.1049.08 ± 0.4146.13 ± 1.8345.34 ± 1.5038.23 ± 1.72AppWorld，Qwen3-4B (%)51.92 ± 5.3072.09 ± 6.0162.20 ± 2.8329.49 ± 2.4859.85 ± 2.97Terminal-Bench 2.1 pass@1 (%)6.5610.968.252.824.99Terminal-Bench 2.1 pass@32 (%)25.6934.8330.3416.9022.31代码尚未发布尚未发布未披露GitHub未披露

Terminal-Bench 基础模型：5.18% pass@1，22.81% pass@32。

关键要点

1 个模型同时扮演教师和学生，且教师也经过训练。

在 MATH 准确率相当时，处理的 token 数比 GRPO 少 6.5 倍。

JOLT+ 在 AppWorld 上比 GRPO 高出 9.9 个百分点。

普通 JOLT 在 AppWorld 和 Terminal-Bench 上仍落后于 GRPO。

查看 arXiv 上的论文和 Perplexity 研究博客文章。所有功劳归于该项目的研究人员。也欢迎在 Twitter 上关注我们，别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等？联系我们

文章 Perplexity and NVIDIA Researchers Introduce JOLT: a Joint Teacher-Student Reinforcement Learning Method 首次发布于 MarkTechPost。