用端到端评测构建更好的 Agent
Ramp Stack 团队分享了构建记账 Agent 的评测方法：先拆解人类如何完成对账、录入、差异分析等任务，再用合成业务数据（worlds）模拟真实场景，每个评测用例包含任务、世界、轨迹和评分标准四部分。评分标准由会计师撰写、LLM 裁判打分，能显示 6 项中通过几项而非简单通过/失败。团队发现自动提示优化（GEPA 类）效果无法泛化，高推理投入不提升准确率，真正有效的是像调 ML 模型一样做技能消融。
推荐理由做 Agent 评测的团队可直接借鉴：合成数据要脏、评分标准要分项、技能消融比调提示更有效