Ramp Stack 团队分享了构建记账 Agent 的评测方法：先拆解人类如何完成对账、录入、差异分析等任务，再用合成业务数据（worlds）模拟真实场景，每个评测用例包含任务、世界、轨迹和评分标准四部分。评分标准由会计师撰写、LLM 裁判打分，能显示 6 项中通过几项而非简单通过/失败。团队发现自动提示优化（GEPA 类）效果无法泛化，高推理投入不提升准确率，真正有效的是像调 ML 模型一样做技能消融。
推荐理由做 Agent 评测的团队可直接借鉴：合成数据要脏、评分标准要分项、技能消融比调提示更有效
一位开发者复盘了自己在 Agent 评测中犯的 7 个错误，每个都耗费了数天时间。核心问题只有一个：一直在修模型，而不是修度量。典型例子包括：测试套件显示 359 个测试通过，但 Agent 真实通过率只有 20%，原因是 65 个断言文件中有 57 个格式错误，测试框架返回 0/0 却被当作通过；模型精确率 1.00、召回率 0.02 仍被判为通过，因为它找到了能反复触发的退化模式；召回率卡在 0.087，真正原因是对比池未限定在源领域，限定后升至 0.170/0.228，模型本身未做任何改动。
推荐理由做 Agent 评测的人可以直接对照自查：0/0 要当错误处理，精确率 1.00 加召回率近 0 是危险信号。