深入理解手头的任务

团队在使用智能体时犯的最大错误，是去自动化一个他们并不理解的流程。在写下一行代码之前，你应该能够准确描述人类是如何完成这项工作的。

为了构建 Ramp Stack，我们想要自动化记账任务。在考虑代码之前，我们先思考了需要完成的工作。工作主要分为四大类：对账、数据录入、差异分析，以及明细表和应计项目。分类能让评估在真实工作范围内保持平衡，并在之后向你展示智能体在哪些方面薄弱。

接下来，我们把每项任务拆解成步骤。以应付账款对账为例：会计会提取未付账单和应付账款分类账，在电子表格中将它们逐行对应，并调查任何不匹配的地方。如果账单总额为 $3,500，而分类账显示 $3,000，那么任务就是找出缺失的那张 $500 账单并记录更正。每一步都是智能体必须完成的事情，也是你的评估必须检查的内容。

数据是瓶颈

端到端评估在每个阶段都有相同的形态：业务数据填充数据库，智能体通过工具处理该状态，然后你对它产出的结果进行评分。在发布之前，你没有可用的数据，因此必须模拟数据。

我们的答案是合成业务，我们称之为世界。其中一个是通过 Shopify、Amazon 和批发渠道销售的 DTC 家居用品品牌，拥有完整的账目、真实的交易记录和杂乱的 Excel 文件。杂乱很重要；团队常常构建过于干净的数据。这意味着在离线环境下看起来不错，但一旦面对真实用户就无法存活。

评估的解剖结构

每个评估案例结合四个部分：

  • 任务：请求，例如“为我们 2025 年第四季度的应付账款和账单进行对账。”
  • 世界：智能体可以访问的合成 ERP 和业务数据。
  • 轨迹：智能体采取的步骤，例如读取账单、匹配付款和调查差异。
  • 评分：由会计编写的评分标准，由 LLM 评审根据最终输出进行评分。

评分标准是让评估变得有用的关键。通过/不通过会掩盖部分进展；像“Q4 AP balance correct”和“duplicates flagged”这样的六项标准会告诉你，智能体得了 6 分中的 4 分，以及它具体漏掉了哪两项。让领域专家来写这些标准，因为他们知道评审实际上会拒绝什么。

用评估来做出改变

评估只有在改变决策时才物有所值。第一个决策是模型选择，但最大的 alpha 在于调优你的 harness：优化技能、工具和基础设施，以低成本、低延迟产出好结果。有几个流行的想法经不起检验：

  • 自动调优技能（GEPA 风格的自动研究）：训练带来的收益无法泛化。我们还没有看到有力的证据表明自动提示优化有效。
  • 高推理投入：准确率相同，成本更高。

真正有效的是把智能体当作一个 ML 模型，把它的上下文当作特征：

  • 技能消融：我们一次只针对一个技能与无技能基线进行基准测试，然后把八个技能削减到四个，在六个世界中平均得分提升了 2.8 分。有几个技能实际上起了反作用，而且没有一个技能在所有场景中都是最优的。
  • 技能压缩：把我们最大的技能——一个电子表格技能——削减 61%，质量基本不变，每月节省约 3 万美元。

规律是：在多个世界中，把每一项改动都与固定基线进行衡量，只保留能提升得分的改动。

测试别人跳过的东西：记忆

记忆很少被评估，因为它需要时间流逝。我们构建了滚动推进的世界：同一个业务，向前推进一个月。智能体完成本月的结账，写下它学到的东西，然后在下个月的任务上被评分。

我们学到的规则是：记住业务如何运作，但使用最新的数字。从先前轨迹中提炼出的记忆，去掉特定期间的金额后，相比仅使用技能，平均得分提升了 5.7 分。一个捕捉到可复用工作流的记忆，把一项任务从 0% 提升到 100%。一个夹带了上个月具体配方的记忆，把另一项任务从 75% 拉低到 25%。

要点

智能体开发需要与机器学习开发同样的纪律。理解流程，构建一个足够困难以至于有意义、又足够稳定以便比较不同运行结果的数据集，并让它——而非直觉——来决定什么可以上线。