Anna 打算卖掉她的公寓。她在 2024 年 8 月搬了出去，想知道在 2026 年 10 月还是 2027 年 1 月完成交易在税务上更划算。
一个 AI 智能体审查了这两个选项，并正确得出结论：无论选择哪个日期，都能满足享受最高 25 万美元免征收益的税收减免所需的居住要求。
但它漏掉了一个重要的截止期限。
按照通常规则，房主必须在出售前五年内至少在该房产居住满两年，才有资格享受该免征。由于 Anna 在 2024 年 8 月搬出，她将在 2027 年 8 月底左右不再满足这一要求。如果她的出售推迟到 2027 年 8 月之后，她可能会失去资格。
在五次尝试中，Astra 从未识别出这个截止期限。Opus 在全部五次尝试中都识别出了它。
该智能体正确评估了拟议的日期，但它的建议让 Anna 没有意识到一个可能影响重大财务决策的截止期限。税务顾问应当识别出重大影响的问题，即使客户并不知道要问这些问题。
这正是我们正在通过以下基准测试的那种专业判断力DAYJOB: Tax，它是Surge AI 的 DAYJOB 基准测试系列的最新成员
推出 DAYJOB: Tax
DAYJOB 评估 AI 智能体在专业税务任务上的表现，这些任务需要专业知识、复杂材料，以及初始指令中未完全明确的决策。我们此前发布的版本涵盖医疗健康和金融领域。DAYJOB: Tax 将这项工作扩展到税务申报、合规和咨询服务。
该基准测试包含 50 个环境，覆盖税务实践的八个领域。智能体接收客户请求和支持记录，然后生成纳税申报表、工作底稿、技术审查或客户建议。
这些任务在考察税务知识、计算、检索和指令遵循的同时，也考察专业判断力。智能体必须决定哪些内容值得调查、解决相互矛盾的证据、识别信息何时不足，并将这些决策贯彻到最终工作中。
结果：排行榜与帕累托前沿
Claude Sonnet 5.5 以 10.8% 的通过率领先在DAYJOB: Tax 排行榜上，紧随其后的是 Claude Fable 5.1（9.6%）和 Claude Opus 5.5（9.2%）。
我们报告的是在 95% 评分标准阈值下的 pass@1。当一次尝试满足任务至少 95% 的评判标准时即视为通过，这些标准评估计算、支持性证据、后果性问题以及完成的交付物。
性能与成本对比
我们还将模型性能与每次试验的平均成本进行了对比。
Claude Sonnet 5.5 和 Opus 5.5 占据了所测帕累托前沿的高性能一端。
专业税务工作的广度
DAYJOB: Tax 涵盖八个领域，每个领域都需要不同的规则、记录和专业知识：
- 个人与家庭税务
- 小企业税务
- 合伙企业
- 房产与投资
- 遗产、赠与与信托
- 国际税务
- 公司交易
- 税务审查与争议
有些任务要求提交完整的申报材料包及支持性工作底稿。另一些则要求智能体调查交易、审查以往的申报，或就客户尚未做出的决定准备建议。
任务内容包含什么？
该基准测试包含1,789 个工作区文件，每个任务的中位数为 30 个，最多达 123 个。其中包括 1,487 个 PDF、117 个 Excel 工作簿、38 个 Word 文档，以及额外的电子邮件、图像、CSV、JSON 记录和文本文件。
这些工作区包含已申报和草稿的纳税申报表、K-1、W-2、IRS 通知、总账、工资记录、合同和往来函件。它们还包含税务专业人员日常处理的那些不太标准化的证据。
其中一个任务包含一张手写收据的照片，该收据涉及为转售而购买的商品。智能体必须读取商品描述和金额，将其与支出记录核对，并确定这些采购如何影响存货和销货成本。
另一个任务涉及一家工业筒仓服务公司，其客户假定该公司仅在阿拉巴马州运营。但其现场调度日志显示，工作人员在五个州开展工作。工作地点、班组规模和现场天数提供了与该公司多州纳税义务相关的证据。
其他环境同样各不相同。其中一个涉及一个跨境家庭，其波兰的就业和财产记录必须与加密货币交易所导出数据、钱包历史以及历史购买批次进行核对。
由税务专家创建并审核
DAYJOB 任务从真实的专业工作流程开始。税务专家将这些情境转化为贴近现实的作业，并开发配套记录、预期结果和评分标准。每个任务都要经过三层专家审核，以确保正确性、完整性和可解性。
税务专家带来涵盖公司税、合伙企业、个人申报、信托和多州合规的经验。他们的背景包括：
- 公司和私募股权税务：一位税务律师，在 PwC、Deloitte 和 Exxon 拥有超过 10 年的经验，涵盖税务筹划、合规、审计和争议。
- 合伙企业和公司税务：一位 Baker Tilly 税务总监，曾在 PwC、Moss Adams 和 Windes 任职，专长于复杂的合伙企业分配、合并公司申报、REITs 和高净值客户。
- 房地产和个人税务：一位税务专业人士，曾在 Deloitte 和 EY 任职，专长于房地产合伙企业、个人税务和信托。
一个建立在未经核实的假设之上的退休计划
一对正在分居的夫妇询问一个 AI 智能体如何分割他们的 Roth IRA 和 401(k)。Opus 5.5 告诉他们，他们并非合法已婚，并建议将账户分开保留，同时支付一笔现金以平衡余额。
它在一条回复的开头写道：
你们并非合法已婚，因此在不触发税费和罚款的情况下，两个账户都无法分割。
但这对夫妇自己的记录对这一结论提出了质疑。尽管他们现在住在佛罗里达州，而该州通常不承认新的事实婚姻，但他们此前曾一起住在得克萨斯州，并在科罗拉多州举行过仪式。得克萨斯州在特定条件下承认非正式婚姻，而在其他地方确立的有效婚姻在佛罗里达州可能仍然有效。
这一区别可能会改变分割他们退休账户的税务后果。
在全部五次尝试中，Opus 都基于这对夫妇未婚的假设来给出建议，即使它承认了不确定性。Astra 在五次尝试中有四次认识到需要核实他们的婚姻状况。其中一条回复建议：
我们首先需要确认您的法定婚姻状况。
客户询问如何分割账户。智能体需要先确定他们是否已婚，然后再推荐行动方案。本应促使进行这一调查的证据其实已经在文件中了。
DAYJOB: Tax 的定位
大多数现有的税务基准测试都从一个已定义的问题开始：一个待回答的法律问题、一份待计算的申报表，或待收集的缺失纳税人信息。这些评估衡量的是重要能力，但税务专业人士的许多工作其实在于弄清楚问题究竟是什么。客户提供的指示不完整，记录中包含相互矛盾的证据，而具有重大后果的问题可能根本不会出现在最初的请求中。
DAYJOB 测试智能体能否处理这种端到端的责任，包括识别客户忽略的问题、评估相互矛盾的证据，以及首先判断需要做什么。
TaxBench
模型能否回答一道困难的税务问题？
TaxBench评估跨多个专业领域的 114 道税务问题，每道题都有明确的问题定义和评分标准。
DAYJOB 还会追问客户是否问对了问题。Anna 想比较出售其公寓的两个日期。两个日期都满足税收豁免的居住要求，但智能体是否会在该资格可能失效时提醒她？
TaxCalcBench
模型能否计算出一份准确的申报表？
TaxCalcBench使用真实的税务文件和纳税人场景，对照预期申报值来评估申报表的准确性。
DAYJOB 还会追问底层记录是否真的支持该税务处理。一家工作室的账本引用了一张随附收据，但该收据缺失。智能体是标记出缺失的证据，还是错误地将该报销视为已核实？
TaxLab
智能体能否收集缺失信息并正确申报？
TaxLab测试智能体能否询问模拟纳税人、获取缺失信息，并完成一份联邦个人所得税申报表。
DAYJOB 将这一责任扩展到更广泛的税务职业领域。交付成果可能是一份合伙企业亏损分析、一份遗产税申报表、对一项有争议税务立场的审查，或一封策略信函。
核心区别在于智能体还保留多少责任。DAYJOB 评估智能体能否发现具有重大影响的问题、运用专业判断，并将其发现贯彻到一份已完成的申报、审查或建议中。
DAYJOB：Tax 衡量什么
DAYJOB 测试 AI 智能体能否从头到尾承担一项专业任务。这意味着要处理杂乱的记录、识别客户从未提出的问题、在信息不完整的情况下做出合理判断，并交付符合专业标准的工作成果。
结果显示，这对前沿模型来说仍然十分困难。即便智能体能够执行各个单独步骤，运用专业判断并可靠地执行现实世界的税务工作流程仍然遥不可及。
智能体尚未通过审计。
包含我们所评估的每一个模型的完整排行榜，位于DAYJOB：Tax 基准测试页面。
如需了解更多信息或申请获取完整基准测试的访问权限，请联系benchmarks@surgehq.ai。