AI 评估非营利组织 METR 的一份新报告发现,一些 AI 能力正沿着指数轨迹持续提升——但报告也表明,模型在需要判断力的任务上并不像在编程任务上那么出色。

该报告是对该组织时间跨度图表的更新,这张图表曾被广泛传播——也因其所用度量指标的复杂性而被广泛误读。METR 通过让模型尝试一大套任务来评估模型,每项任务也都曾由人类完成。每项任务的难度根据人类测试者完成它所花的时间来评分——然后根据模型能够完成的任务时长来给模型评级。那张图表显示,AI 系统正在快速进步——每四个月,前沿模型能够成功完成的任务时长就翻一番。

更新后的图表增加了更多任务——有些任务估计需要人类花费比原始套件中的任务长得多的时间,另一些则更加开放式。目前 AI 领域最大的问题之一是,“可验证”任务——即可以自动检查 AI 系统是成功还是失败的任务——上的进展在多大程度上能延续到成功或失败更难衡量的任务上。我们知道如何教神经网络完成可验证任务:研究人员让系统多次尝试一项任务,强化有助于成功的神经通路,削弱导致失败的通路。这就是为什么 AI 系统在编程和数学这两个可以自动判断解法是否有效的领域变得如此出色。

将这种被称为强化学习的技术应用于成功定义不那么明确或需要更长时间才能确定的任务——例如选择一个新的研究方向——要困难得多。出于同样的原因,评估 AI 在这些任务上的表现也很困难,因此 METR 最初的时间跨度图表没有包含任何此类任务。但如果 AI 系统要实现研发自动化,恰恰是这类任务将被证明至关重要。

而 AI 研发目前是一个格外热门的话题。AI 社区的一部分人仍在为本月早些时候另一份经过大量删减的 METR 报告感到震惊,该报告声称 AI 可能正在以两倍的速度加快 Anthropic 的 AI 进展。那份报告引发了人们的担忧:这家公司(刚刚完成了一次轰动的 IPO)可能很快就会实现完全的递归自我改进,即 AI 系统在无需人类参与的情况下自主设计自己的后继者。

METR 的研究人员努力确保他们的新任务套件包含一些更模糊、更依赖判断的任务,这些任务可能与 AI 研发最为相关。在一项任务中,他们要求模型设计 METR 可以在其研究中使用的新的 AI 评估,然后由 METR 的人类员工对结果打分。尽管最先进的模型目前在软件工程方面几乎比所有人都强,但在这里它们却表现不佳:没有一个由 AI 设计的评估达到让 METR 员工认为对其研究有用的水准。

在另一项任务中,模型必须为哲学论证打分。这项任务旨在衡量模型能在多大程度上运用良好的判断力——不过 METR 在报告中写道,员工们对于该任务与 AI 研发自动化的相关程度存在分歧。在这项任务上,模型同样未能达到人类的表现。

尽管这些新任务很难打分——而判断这些分数意味着什么就更难——但与我交谈过的专家们对 METR 将新型评估纳入其工作表示赞赏。“我们已经到了 AI 评估需要变得更有创造力的阶段,”计算机科学家、即将入职加州大学伯克利分校的教授 Sayash Kapoor 说。“尝试拓展评估领域的边界是一个值得欢迎的变化。”

Kapoor 表示,看到模型在更开放式的任务上表现不佳,他并不感到意外,例如设计一项 AI 评估——在 8 月的一篇预印本中,他和合作者报告称,AI 模型尚无法独立复现人类的计算机科学研究。而在周三的一篇博客文章中,OpenAI 报告称,其模型在员工分配给它们的真实世界任务上的表现,不如在 METR 原始测试套件中那些更简单、更可验证的任务上那么好。

不过,Kapoor 表示,对于如何解读当前模型在易于验证和难以验证的任务上的表现差异,人们意见不一。尽管他认为研究品味——即选择有前景的问题、假设和实验的能力——将被证明是自动化 AI 研发的一大瓶颈,但其他人主张,在易于验证的任务上训练出来的模型最终也能成功完成开放式任务。而且,在可验证任务上的进展似乎并未放缓。

即便模型目前在开放式任务上确实落后于人类表现,这份新报告表明它们可能正在进步。一些最新的模型,例如 Opus 5.5,往往能在评估设计任务上达到 METR 所称的“勉强高于门槛”的表现——尚不能用于 METR 的研究,但前景可期。就在一年前,每个模型的得分都还落在“明显低于门槛”的类别中。

但由于这些开放式且高度依赖判断的任务极难设计和评分,METR 在其报告中收录的此类任务很少,这使得人们难以预测模型是否以及如何在这些领域继续取得进展。“我认为,我们观察到的改进确实告诉了我们当下的一些情况,”波士顿大学的语言学家兼计算机科学家 Najoung Kim 说。“但我还不确定该如何思考它该如何外推。”

METR 的技术人员 Matt Putz 表示,预测这类任务的进展很可能仍然困难重重。“就其本质而言,难以验证或依赖判断的任务要难研究得多,尤其是难以量化,”他在一封电子邮件中说。“归根结底,我认为我们无法像对易于明确规定的[任务]那样,建立起同样清晰而稳健的趋势。”

总体而言,METR 显然正撞上在困难和定义不明确的任务上测试 AI 性能的实际困难——而这些恰恰是与自动化 AI 研发最相关的任务。METR 的时间跨度图通过评估人类完成任务需要多长时间来给任务难度打分,而在最初的图中,他们是通过实际让人尝试每项任务来测量这一数值的。

然而在新报告中,完成时间大多是估算值,因为为可能需要数百小时、或只有少数专家才有资格完成的任务付费,成本高昂且耗时过长,令人难以承受。其他任务则有更具体的缺陷——例如在哲学论证任务中,大部分论证只由一个人评分,而智能体则根据其与这特定个人的一致程度来评判。如果调查更多专家,分数可能会有所不同——但这也同样耗时。

在难以验证或需要判断的任务上评估模型仍处于早期阶段。而与我交谈的专家虽然认为将这些任务纳入 METR 最新的时间跨度图是朝着正确方向迈出的明确一步,但他们一致认为,关于自动化 AI 研发是否可能到来、以及以多快的速度到来,我们仍远未得到任何确定的答案。“这种转向开放式任务的趋势是令人鼓舞的,”Kapoor 说。但他补充道,“要真正获得更全面的理解,还有太多工作要做。”