Perplexity Research 发布了一项新的后训练研究。它在 Perplexity Computer 内基于真实用户会话（包括失败的会话）训练模型。该方法将拒绝采样微调与提示引导的自蒸馏相结合。在一次线上 A/B 测试中，工具调用失败率在两个训练检查点之间从 2.24% 降至 1.77%。Perplexity 团队报告称这是具有统计显著性的 21.2% 相对降幅。

它可以部署吗？不能直接部署。Perplexity 尚未发布后训练权重或训练代码。该模型仅作为 Perplexity Computer 内的一个模型选项运行。基础模型 GLM 5.2 已在 Hugging Face 上公开提供。

为什么仅基于结果的过滤不够

标准的拒绝采样微调（RFT）会评判每个会话，并只模仿成功的会话。成功的结果并不意味着每一步都是正确的。智能体可以从一次糟糕的工具调用中恢复，并仍然给出正确答案。模仿整条轨迹可能会强化该错误。丢弃失败的会话也会丢掉可避免错误的明确证据。

模仿、纠正，或保留为上下文

Perplexity 团队区分了 2 个决策：哪些会话包含值得模仿的行为，以及哪些轮次包含值得纠正的错误。

每个助手轮次会得到 3 种处理之一：

模仿：成功会话中的非错误轮次接收交叉熵（CE）损失。

纠正：带有经过验证提示的错误轮次接收 Kullback-Leibler（KL）散度损失，无论处于哪个会话。

保留为上下文：其余轮次保留在输入中，但不接收损失。

成功的会话可以同时提供模仿和纠正目标。不成功的会话只提供纠正目标。

提示如何成为训练信号

提示是一条简短的纠正指令，基于模型已经拥有的信息。在一个例子中，一次搜索调用将 recency_filter 设置为 ‘year.’。而 schema 只允许 ‘day,’ ‘week,’ 或 ‘month.’。该提示指出了失败的调用，包含了验证错误，并建议一个允许的值或省略该可选字段。

纠正部分使用 On-Policy Self-Distillation（OPSD）。训练器在记录的轮次上运行同一个 GLM 5.2 checkpoint 两次。教师 pass 看到提示；学生 pass 看不到。两者都使用 teacher forcing，因此不会生成替代答案。教师的下一 token 概率被 detach，并通过 forward KL 充当软目标。

组合损失为 (CE + λ × KL)，除以被模仿的 token 数量。将 λ 设为 0 可恢复标准 SFT。CE 项很重要。仅纠正训练可能让教师和学生通过忽略上下文来达成一致。

将投诉追溯到真正的错误

该流程从由 GLM 5.2 提供服务的、符合训练资格的 Computer 会话中抽取数据。包含个人可识别信息的会话以及选择退出的用户会被排除。一个 LLM 评判器保留在 5 分难度量表上被评为 4 或 5 分的任务。两个 LLM 评判器必须都批准某会话的最终交付，该会话才算作成功。

对于用户反馈，三个 LLM 评判器定位应负责的轮次，且至少 2 个必须达成一致。这很重要，因为投诉前的最后一个助手轮次只有大约一半的时候是根本原因。每个提示还会对照错误发生前可获得的信息进行检查。该检查可减少后见之明偏差。

一个例子：用户在 Paychex 上询问他们的 'w3'。模型假设是 W-2 的笔误，并搜索了错误的表格。该提示针对的是更早的那个解读，而不仅仅是最终答案。

交互式讲解器

评估结果说明了什么

提示在训练前就有效：在 985 个留出的工具错误轮次上，未更改的基础模型在有提示的情况下，93.7% 的案例避免了原始失败，高于 75.1%。采取纠正行动的比例从 60.6% 上升到 82.3%。在用户反馈轮次上，对于显式证据，修复或走上正轨的比例从 40.0% 上升到 75.0%。对于推断意图，该比例从 32.5% 上升到 80.0%。

离线工具错误率下降：记录的 stock GLM 5.2 工具错误率为 2.79%，仅 RFT 为 1.35%。RFT 加 OPSD 检查点达到 0.87%。Perplexity 指出这些检查点使用了不同的训练数据，因此这不是一次匹配的消融实验。在 BrowseComp 和 SpreadsheetBench 等套件上的任务级基准测试结果好坏参半。

线上结果范围更窄：每个 A/B 测试每组约使用 100,000 名用户。早期检查点与 stock GLM 5.2 相比显示 2.82% 对 2.94% 的失败率，差异不显著。较晚的检查点对比产生了显著的 21.2% 下降，且推理时未使用提示。强烈不满率从 2.58% 变为 2.54%，同样不显著。Perplexity 未在线上将较晚的检查点直接与 stock GLM 5.2 进行对比。

关键要点

Perplexity 从失败的会话中学习，而不仅仅是从成功的会话中学习。

经过验证的提示将可避免的错误转化为 KL 校正目标。

1 个模型同时充当教师（带提示）和学生（不带提示）。

线上工具调用失败率从 2.24% 降至 1.77%。

用户不满率没有显著变化。

查看技术细节。所有功劳归于该项目的研究人员。另外，欢迎在 Twitter 上关注我们，别忘了加入我们拥有 150k+ 成员的 ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face 页面或产品发布或网络研讨会等？联系我们

文章 Perplexity Trains Its Computer Agent on Real Mistakes With Hint-Guided Self-Distillation 首次发布于 MarkTechPost。