ALTK-Evolve 用 GPT-4.1 加记忆登顶 τ²-bench 客服榜

ALTK-Evolve 使用 GPT-4.1 学习并应用一套行动手册，在客户服务智能体基准测试 τ²-bench 上超越了所有零售领域的参赛条目——且无需更新模型权重。

学习到的记忆让一个基于 GPT-4.1 的基础 ReAct 智能体登顶

使用 GPT-4.1 这一较旧的、非推理模型，一个基础的客户服务智能体达到了在 τ²-bench 零售领域 67.5% 的 Pass^4——这意味着它在全部四次独立尝试中都解决了任务，覆盖 67.5% 的任务。它的得分高于我们 2026 年 10 月 12 日排行榜快照中的每一个零售领域参赛条目。它运行在基准测试自带的 ReAct 脚手架上，并将学习到的准则附加到其系统提示中。

ALTK-Evolve使用 GPT-4.1 构建该行动手册。它分析智能体在训练任务上的尝试，并利用该模型将成功与失败提炼为简短的行为规则：如何验证客户身份、确认交易或处理退货。这些准则随后被添加到智能体的提示中，用于后续对话。同一个模型既驱动准则提取，也驱动智能体本身；无需权重更新或人工标注。

我们之前的工作在编码智能体上展示了这一方法。在这里，我们在客户服务上测试它，该场景的成功需要遵循领域政策、理解客户请求并执行正确的工具操作。

τ²-bench 测试受政策约束的客户服务

τ²-bench（来自 Sierra）衡量智能体在真实约束下处理客户服务对话的表现。每个任务将智能体与一个 LLM 模拟的客户配对，该客户心中有一个目标、一组领域工具（查询订单、发起退款、改签航班）以及一份智能体必须遵循的书面政策文档。智能体必须引出正确的细节、遵守政策并采取正确的——往往不可逆的——操作；只有当最终数据库状态与预期结果匹配时，任务才算解决，这是一种严格的二元奖励。我们使用其两个客户服务领域，零售和航空。

我们运行 τ²-bench 自带的基础 ReAct 智能体实现，采用两阶段的思考 → 行动循环，使用gpt-4.1作为智能体模型，gpt-5.5作为客户模拟器模型；每个任务 4 次试验。我们唯一的改动是附加在系统提示后的一段学习到的准则——其他所有内容（策略、工具、脚手架）都是 τ²-bench 的原版。具体来说，学习到的准则以纯 markdown 列表的形式追加在领域策略之后：

You are a customer service agent that helps users according to the policy below.
Always follow the policy strictly. Use the provided tools when needed.

<policy>
# Retail agent policy

As a retail agent, you can help users:
- cancel or modify pending orders
- return or exchange delivered orders
- modify their default user address
…
</policy>

## Guidelines learned from past task attempts (follow these carefully):
- Authenticate the user before taking any order-related action. If email is unavailable, verify identity via full name and zip code using the find_user_id_by_name_zip API.
- Always confirm all intended changes (modify, cancel, return, exchange) with a clear, structured summary, and require explicit user approval before executing any database-updating action.
- When processing a return or exchange, communicate the refund with an itemized breakdown and clarify refund timing — don't wait for the user to ask.
- Take one action per step: never combine a tool call with a user-facing message in the same turn, and wait for the tool's result before replying.
- Before looking a user up, parse and clean their name — e.g. split a combined handle like `daiki_johnson_9523` into first/last name — and after a couple of failed lookups, state the exact format you need.
…

我们从智能体在 τ²-bench 上的轨迹中提取准则训练任务，使用gpt-4.1，即驱动智能体的同一个模型，然后原样应用到留出的测试集上。

准则提升了能力和可靠性

在之前的一篇文章中，我们讨论了不同模型 / 任务需要不同剂量的指导。与这一思路一致，我们还评估了提供给模型的不同数量的准则。

每条准则都带有一个支持计数——即它被提取自的不同训练任务的数量，因此支持度越高意味着这条规则在更多任务上泛化，而非一次性的。我们比较三种配置：基线（无准则）、sup3（仅保留支持度 ≥ 3 的准则——一个小而高置信度的核心），以及无损（保留合并后留存的所有准则，即支持度 ≥ 1）。

表 1. 各领域的准则配置及保留的准则数量。

我们跟踪的指标。每个任务尝试4 次，我们以两种方式解读这些试验：

• 平均准确率——4 次试验的平均成功率。这是能力维度：智能体做对的频率有多高？
• Pass^4——在全部 4 次试验中都通过的任务百分比。这衡量的是可靠性维度，也是 τ²-bench 排行榜报告的指标。它在这里很重要，因为一个客服智能体即使 4 次中有 3 次解决了退款问题，仍会让四分之一的真实客户失败——Pass^4 问的是你能否每一次都信任这个智能体，而不只是平均而言。

图 1. 使用gpt-4.1的智能体在留出的零售和航空任务上、每个任务四次试验的平均准确率和 Pass^4。

智能体模型：gpt-4.1（用户模拟器：gpt-5.5）。

表 2. 使用gpt-4.1的智能体在留出任务上、每个任务四次试验的表现。括号中显示相对基线的百分点变化。

两个领域的平均准确率均有提升——零售+4.4 个百分点（78.1 → 82.5）以及航空+7.5 个百分点（57.5 → 65.0）。可靠性进一步提升：严格的Pass^4上升+10 个百分点在零售领域（57.5 → 67.5）以及+10 个百分点在航空领域（35.0 → 45.0）。而且这些提升来自信息更充分的调用，而非更长的对话——我们将在下文中直接考察对话长度更好的性能消耗更多 token，而非更多轮次。

最佳指导量取决于领域

两个领域在多少指导能带来收益上存在分歧。在零售领域，每项指标都是越多越好——小型 sup3 核心在准确率上仅略胜 baseline，而你需要完整的 lossless 集合才能实现真正的跃升。在航空领域，情况在可靠性一端发生反转：lossless 在准确率上领先（65% 对 60%），但紧凑的sup3 核心（14 条指导原则）是更可靠的一个，将 Pass^4 提升至45%而 lossless 为 40%。这呼应了此前的发现：交付是一个可调旋钮，而非固定常量，支持数量是一个值得按领域调优的旋钮，而非一个应硬编码的值。

更好的性能消耗更多 token，而非更多轮次

指导原则并非免费，但成本落在你预期的地方——在提示输入 token中，而非在更长、更迂回的对话中：

图 2. 在完整 base 划分上按领域和指导配置统计的每次对话总 LLM 成本。

表 3. 在完整 base 划分上跨四次试验的每次对话总 LLM 成本（智能体和用户模拟器）。越低越好。

智能体是通过更长的对话达到目标的吗？为了干净地回答这个问题，我们比较同类对同类：在两种baseline 和指导变体下均解决的任务运行——相同的场景和种子，一个真正的“同一任务，正确完成”集合——并统计双方的助手轮次。

表 4. 在测试划分上于两种设置下均解决的匹配运行的每次对话助手轮次，汇总四次试验。

智能体并没有把对话拖得更长——在共享测试集上，指南让对话略微变短：无损方案在两个领域都缩短了约 0.3–0.4 轮（零售 10.59 → 10.16，航空 9.15 → 8.82），且没有任何变体使对话变长。这一点的影响不止于成本：每一轮都是一次串行的 LLM 往返，因此轮数更少意味着更低的端到端延迟——更快的完成时间，对客户来说不仅更便宜，而且更快。唯一真正的代价在输入侧——每次 LLM 调用都要携带更大的系统提示词：零售的 292 条指南提示词将每次对话成本从约 $0.084 推高到约 $0.139，而航空的指南集更小，成本更低。在生产环境中，即便这部分成本也基本可以通过提示词缓存收回，因为指南块在每次调用中都是相同的。

所以这是一笔划算的交换：以略高的输入成本（实践中大部分已被缓存抵消）换来智能体更高的准确率、更高的可靠性，以及更低的完成时间同时实现——这不是常见的以质量换延迟的权衡，而是三者同时朝正确的方向移动。

学习到的指南也能提升使用前沿模型的智能体

到目前为止，我们使用的都是一个较旧的、非推理模型——gpt-4.1。一个合理的质疑是：学习到的指南对使用前沿模型的智能体可能帮助不大：也许它们只是弥补了较弱模型的短板。所以我们直接做了测试——我们重新运行了航空使用gpt-5.5同时用于智能体和指南提取，在相同的 τ²-bench ReAct 脚手架上，指南从智能体自身的运行中重新挖掘。有一个细节随模型而变化：在此设置下提取的指南没有一条达到 support ≥ 3（最高只到 support 2），因此这里的高支持核心是sup2而非 sup3。

表 5. 留出航空性能，针对gpt-5.5智能体，每个任务四次试验。

学习到的指南在这个设置下同样有效。在相同的留出测试任务上，将它们追加到提示词中可提升准确率 +10 个百分点（72.5 → 82.5），并将严格的Pass^4 提升 +15 个百分点（55.0 → 70.0）——一个更大的比我们观察到的可靠性提升gpt-4.1在这些任务上（+10 分），而且起点高得多。学习指南围绕即使智能体从一个更强的基座出发，模型也能让它变得更好。而且，在基线可靠性在多次重跑之间波动的地方，无损配置精确复现——它带来的提升是可靠的，而不是侥幸。

ALTK-Evolve 在排行榜对比中位居榜首

提交内容按完整 base 划分（train ∪ test）评分，这是 τ²-bench 的要求，并在Pass^4上报告。由于这覆盖了完整任务集而非留出的测试划分，这些数字与上文报告的测试任务数字不同。实际效果就在这里体现——提示级记忆让使用各基座模型的智能体进入，或超过，当前前沿公司：

• 零售：#1。在 base 划分上，使用学习指南的智能体达到Pass^4 = 67.5%，领先于所有前沿模型并领先于RAFT-30B-A3B（61.4%），这是一个在合成 τ²-bench 零售数据上微调的模型。使用现成的gpt-4.1和追加到提示中的操作手册，它比那个微调系统高出+6.1 分。
• 航空：#1使用gpt-5.5，#8 使用gpt-4.1对照已发布的榜单，紧凑的sup3 core让使用gpt-4.1 Pass^4 = 44%—第 8 名，击败 GPT-5.2（无推理）并几乎追平 Claude Sonnet 4.5。换上更强的基座，同样的方法直接登顶：使用gpt-5.5的智能体达到 82.0%，超过所有前沿条目（66–72%）。

图 3. ALTK-Evolve 各次运行与 2026 年 10 月 12 日 τ²-bench 排行榜快照的 Pass^4 对比。

两个领域传达的信息相同：学习指南围绕模型在不同基座模型上都有效——在零售领域把使用较旧、非推理模型的智能体带入前沿行列，在航空领域把使用前沿模型的智能体带到榜首。

智能体无需更新权重即可提升

在基准测试上微调模型既昂贵又脆弱，而且无法迁移到下一个领域。在这里，ALTK-Evolve 在两个领域都提升了现成模型上的现成智能体——并在零售领域追平或击败微调系统——仅使用从智能体自身运行中提取的提示级指南，自动完成，无需人工标注，也没有任何测试集泄漏。

---

链接：

• 往期文章
  1. 想到 ACE？我们可以用更少的 token 做到
  2. 你的智能体实际需要多少内存？
• ALTK-Evolve 库—https://github.com/AgentToolkit/altk-evolve
• τ²-bench—https://github.com/sierra-research/tau2-bench
• 零售排行榜提交—τ²-bench PR #542
• 航空排行榜提交-τ²-bench PR #551