清除条件
共 1 条
DEV Community · AI09/24模型技巧与观点海外

7 个 Agent 评测错误,作者称每个都浪费了数周

一位开发者复盘了自己在 Agent 评测中犯的 7 个错误,每个都耗费了数天时间。核心问题只有一个:一直在修模型,而不是修度量。典型例子包括:测试套件显示 359 个测试通过,但 Agent 真实通过率只有 20%,原因是 65 个断言文件中有 57 个格式错误,测试框架返回 0/0 却被当作通过;模型精确率 1.00、召回率 0.02 仍被判为通过,因为它找到了能反复触发的退化模式;召回率卡在 0.087,真正原因是对比池未限定在源领域,限定后升至 0.170/0.228,模型本身未做任何改动。

推荐理由做 Agent 评测的人可以直接对照自查:0/0 要当错误处理,精确率 1.00 加召回率近 0 是危险信号。