Surge AI 发布 DAYJOB: Tax 基准,50 项税务任务最高通过率仅 10.8%
Surge AI 推出 DAYJOB: Tax 基准,用 50 个专业税务任务评测 AI Agent,覆盖个人税、小企业税、合伙企业、房产投资、遗产赠与信托、国际税、公司交易、税务审查争议八个领域。评测采用 pass@1、95% 评分标准阈值,即一次尝试需满足至少 95% 的任务标准才算通过。排行榜上 Claude Sonnet 5.5 以 10.8% 通过率居首,Claude Fable 5.1 为 9.6%,Claude Opus 5.5 为 9.2%。文中举例:在 Anna 卖房案例中,Astra 五次尝试均…
推荐理由最高通过率仅 10.8%,说明税务等专业场景的 Agent 仍远未可用,选型时别高估。