Mercor 研究：90% 美国工时对应的任务缺乏 AI 基准覆盖

基准测试地图

每个方块代表923个构成美国劳动力的 O*NET 职业之一，归入22个职业族。职业的阴影深浅依据其任务在我们初始 AI 基准测试列表中所占的比例。单条基准测试提示可映射到多个 O*NET 任务。

在我们的数据集中：仅有 208个923 个职业拥有至少5 条基准测试提示的任务，且6个22职业族没有任何此类职业。

我们的研究结果表明， 美国工作时间中有 90% 用于现有基准测试覆盖很少或完全没有覆盖的任务。这使得我们很难了解 AI 模型在美国人实际从事的工作上表现如何。

现有基准测试的覆盖也并非随机。我们的地图表明，AI 社区正优先关注最大的劳动力市场：

例如，我们初始列表中的基准测试大量覆盖了受 AI 影响的律师任务，但几乎未覆盖受 AI 影响程度相近的法律秘书或法庭书记员的任何 O*NET 任务。规模较小、中等收入的知识工作职业的长尾似乎覆盖不足。

随着我们逐步构建覆盖整个经济体的模型能力图谱，我们希望既能揭示、也能帮助填补我们对模型能力认知中的更多空白。

为了将经济拆分为行业、职业和任务，我们使用了美国劳工部的 O*NET 分类体系。O*NET 将美国劳动力划分为 923个职业；对于每个职业，O*NET 试图提供一份构成该职业的“任务”的完整清单，总计 18,797项任务，涵盖所有职业。

为衡量基准测试覆盖度，我们首先列出了一份包含 29 个基准测试的清单，这些基准测试因其质量和经济相关性而被选中。（完整清单和筛选标准见 基准测试索引标签页）。在为该清单挑选基准测试时，我们优先考虑：

• 公开可用性。 入选的基准测试至少有 25 项公开可用的任务。我们还纳入了 Mercor 的 APEX 基准测试，因为我们能够访问其留出的基准测试提示词，从而可以将它们映射到 O*NET 任务。
• 智能体任务。 入选的基准测试要求模型执行智能体任务，而不是回答问题或就如何完成某项任务向用户提供建议。
• 经济现实性。 基准测试任务类似于人类（或智能体）在现实企业中被频繁要求完成的任务。具有经济价值的任务优先于学术上复杂的任务。
• 经济多样性。 我们限制了每个职业类别中入选基准测试的数量，这在很大程度上是为了应对流行基准测试中软件工程和研究任务被严重过度代表的问题。
• 难度均衡。 基准测试尚未被前沿模型饱和。

Following work by Wang et al., we then ask an LLM judge to tag each benchmark prompt with as many O*NET tasks as it thinks correspond to that prompt. We validate our LLM tagging with human expert tagson Mercor’s APEX benchmarks, a subset of this list of 29. On the Benchmark Map, an O*NET task counts as “covered” if our LLM judge has mapped it to at least 5 prompts from our 29 benchmarks.

To estimate the total share of working hours Americans spend on tasks covered by benchmarks on this list, we combine our coverage estimates with Hatgis-Kessell et al.’s LLM-derived estimates of the working time share of each O*NET task.

A more detailed account of our methodology can be found in the Methodologytab.

Our estimates of total economic coverage, and of patterns in coverage, all come from the initial list of 29 benchmarks we chose. This is not a complete or perfectly representative sample of the broader universe of unsaturated, public, agentic economic benchmarks. Any incomplete list will necessarily bias down estimates of economic coverage, and it is difficult to bound that bias. We want to stress, therefore, that these results are provisional. We will update them as we expand the initial benchmark list.

We also capped the number of included benchmarks in each job family in order to maximize breadth of coverage. We think this makes our estimate of economy-wide benchmark coverage more accurate, at the cost of biasing down our estimates of coverage in the most-benchmarked job families (e.g. software engineering).

By selecting for unsaturated benchmarks, we risk understating benchmark coverage on O*NET tasks which are easier for LLMs to complete. On the other hand, including saturated benchmarks would risk overstating benchmark coverage if saturation is downstream of lower task realism. The latter claim seems likely, given that benchmarks often overstate LLM performance in real-world deployments. We think that the bias from including saturated benchmarks would be greater than the bias from excluding them, but neither option is ideal.

Finally, while we outline our benchmark selection criteria in the Benchmark Index标签，若干标准（如“经济现实性”）难以形式化，并在我们的选择中引入了一些主观性。

我们指数中的基准测试对整体经济的覆盖相对深入但狭窄。它们不成比例地聚焦于最易受 AI 自动化影响的经济任务（依据Eloundou 等人的衡量），在 O*NET 任务中，被评为“暴露”的任务出现在基准测试中的可能性约为被评为“未暴露”任务的 6 倍。这很合理：基准测试旨在衡量 AI 进展，而 AI 进展在最易受 AI 影响的任务上最有可能实现。这解释了为何基准测试中充斥着软件工程和财务分析领域的任务，而在卡车驾驶和天然气厂运营领域的任务上则很稀疏。

但即使在控制了 AI 暴露度之后， 来自工资总额更大职业的 O*NET 任务在基准提示中仍显著过度呈现：

按职业衡量模型能力至关重要——对于决定哪些模型符合自身需求的企业、对于预测 AI 经济影响的政策制定者，以及对于思考自身职业的美国人而言都是如此。不幸的是，这是一个难以解决的问题。

我们可以尝试对给定工作相关的所有基准测试提示的模型表现取平均值。但正如我们的基准测试地图所表明的，基准测试对某些经济任务的覆盖强度远高于其他任务。简单平均会给被频繁基准测试的任务过高的权重。

O*NET 提供了一种可能减少这种偏差的方法。如果我们按 O*NET 分类对职业相关基准测试提示的模型表现进行加权平均，使得 每个 O*NET 任务在我们的职业平均值中权重相等，我们就能更接近一个代表真实经济表现的数字。

作为第一步，我们在 Mercor 的 APEX 基准测试针对四个职业：投资银行、法律、会计和软件工程。我们将 O*NET 加权分数与模型在相关任务上表现的简单平均值进行比较。得到的加权分数和未加权分数通常相当接近：

至少在这个案例中，O*NET 加权带来的变化非常小。模型在 APEX 提示词上的表现，在上述加权分数所包含的各个 O*NET 任务之间较为相似，这限制了重新加权的价值。然而，上述 4 个职业相关的 O*NET 任务中，只有不到 ⅓ 拥有足够的 APEX 覆盖范围，能够被纳入我们的加权分数。我们期望将 O*NET 加权应用于规模大得多的基准测试集合，能够产生高质量的特定职业模型分数，并正在朝这一目标努力。

然而，即使我们纳入来自数十个基准测试的任务，仍有若干障碍存在：

1. 01

   我们如何应对统计功效不足的问题？

   美国经济中工作范围的广泛性意味着，对于任何 O*NET 职业和任务，我们拥有的基准测试题目都相对较少。这意味着我们的估计本质上功效不足，仅仅一两个低质量题目就可能严重偏倚我们的分数。

2. 02

   我们如何考虑任务难度和保真度的差异？

   有些基准测试项目已经高度饱和，而另一些仍未解决。这在一定程度上是时间因素（因为较旧的基准测试是为性能较弱的模型和更简单的环境设计的），在一定程度上也是质量因素（有些基准测试项目评分过于简单、存在小错误，或者可以被奖励攻击）。我们目前还没有明确的按质量加权的方法。

3. 03

   主要衡量 AI 自动化的评估能否推广到增强？

   在现实世界中，AI 模型仍然主要由人类使用，而不是端到端地自动化整个工作职能。因此，衡量模型在现实世界中的职业能力，理想情况下应包括衡量模型在多大程度上增强了人类生产力。我们已经完成了一些 这一方向的早期工作，但找到一种可扩展的方法仍然困难。

4. 04

   是否每个 O*NET 职业和任务都能用基准测试来衡量？

   知识型工作非常适合通过基准测试来衡量，因为它主要是在笔记本电脑和手机等数字机器上完成的。 Dingel 和 Neiman估计，美国只有 37% 的工作可以完全在家完成，这表明约 63% 的工作涉及某些具有物理世界成分的任务，而这些任务很难纳入当前的基准测试。目前，这可能并不是一个有意义的疏漏——随着机器人能力的快速发展，我们预计对物理任务基准测试会有显著需求。

我们正在积极研究这些问题；如果你也在研究，请 联系我们！

我们感谢 Wang 等人提供的 O*NET 标注方法，并感谢 Nathan Lambert 对本文草稿的反馈。