Perplexity 用真实失败会话训练电脑 Agent,工具调用失败率降 21.2%
Perplexity Research 发布后训练研究,在 Perplexity Computer 内用真实用户会话(含失败会话)训练模型,方法结合拒绝采样微调与提示引导自蒸馏。在线 A/B 测试中,两个训练检查点之间工具调用失败率从 2.24% 降至 1.77%,相对下降 21.2%,团队称具统计显著性。方法将每轮助手回复分为三类处理:成功会话中的非错误轮做模仿(交叉熵损失)、任意会话中带验证提示的错误轮做纠正(KL 散度损失)、其余轮仅保留为上下文不计算损失。纠正部分用 On-Policy Self-Disti…
推荐理由工具调用失败率 2.24%→1.77%,做 Agent 后训练可参考其「模仿/纠正/仅上下文」三分类思路