Clark 联合创立了 Anthropic，并撰写Import AI 通讯。基于这些数字，他现在认为递归自我改进（RSI）——即 AI 系统开发出自己的继任者——最早可能在 2027 年成为现实。他此前预计是 2028 年。
该基准测试并不能证明 AI 系统已经在自我改进，因为它只捕捉了科学工作中很窄的一部分。但它确实显示了这场辩论的走向：从原始模型性能转向语言模型究竟能承担多少独立研究工作这一问题。
TasteVal 只衡量了部分图景
P-Zero Research 将研究品味定义为三种能力：识别哪些研究问题值得追求、设计实验来回答这些问题，以及正确解读结果。TasteVal 只测试后两项。选择最有前景的研究方向通常被认为是科学直觉的核心，但在 TasteVal 中，这一决定已经替模型做好了。
八个任务中的每一个都指定了一个来自 AI 模型开发的固定研究目标，并配有一个可测量的分数。这些任务涵盖训练数据选择、预训练和微调语言模型、基于人类偏好训练，以及防御对抗性提示等领域。
模型决定接下来运行哪个实验，并利用结果来指导下一步。为避免编码能力影响结果，一个固定的编码智能体在单块 Nvidia H100 GPU 上运行所有实验。每次运行在 40 GPU 小时的计算量或 120 小时的挂钟时间后结束。
人类基线来自 24 位专家，他们最近曾在 OpenAI、Google DeepMind、Nvidia 和 Microsoft Research 等机构工作。他们完成了相同的任务，每个任务至少有两人参与。每个任务中最佳的人类尝试被用作基准。
通过计算效率衡量研究品味
为了让研究品味可量化，P-Zero Research 将其转化为计算效率。其逻辑是，在 AI 研究中实验算力是稀缺的，因此选择正确的实验并正确解读其结果意味着在相同预算下更少的运行次数和更多的进展。
该实验室借助其“AI Futures Model”，该模型预测一旦编程实现自动化，实验算力就会成为最大的瓶颈。因此 TasteVal 衡量的是一个模型需要多少算力才能达到专家的评分。按此定义，用一半算力就能达到的模型，其研究品味就是两倍。P-Zero Research 将这一比值称为算力倍数。
排名最高的模型 Anthropic 的 Opus 5.5 算力倍数达到 2.3，用不到一半的算力就达到了专家级评分。不过统计区间为 1.15 到 4.37。在区间低端，该模型仅能勉强领先。单次运行的成本平均约为专家尝试成本的三十分之一。
在多个模型代际中，自 2025 年 12 月以来，算力倍数大约每三个月翻一番。这里的不确定性也很大，报告的翻倍时间在 1.7 到 5.0 个月之间。
在此前几年，模型研究品味的提升要慢得多。这条曲线直到 2025 年末至 2026 年初才变陡。这是否是一个持久趋势，无法从单一基准测试中判定，作者本人也承认他们的结果可能高估了“研究品味提升的速度”。这些任务可以快速且低成本地核查，而这正是 AI 实验室最容易针对其优化的那类任务。对照组中也没有包含任何顶级研究人员。
Clark 将他的时间线提前
Clark 长期以来一直称创造力是 AI 系统自我提升速度的关键因素。今年早些时候，他写道，模型尚未在任何突破性规模上展现出这种能力。他现在指出，数学突破方面的进展以及像 TasteVal 这样的基准测试，是这种情况正在改变的迹象。
在 5 月的一篇长文中，Clark 曾给出更为谨慎的数字。他认为，一个能独立训练出更强继任者的系统，到2028 年底出现的概率约为 60%，到 2027 年约为 30%。这一预测来自一位联合创始人，而他所创办公司的模型在该基准测试中排名第一，这给预测增添了一层偏见。
批评者恰恰在这一能力上划下了红线
TasteVal 之所以重要，是因为它衡量的正是怀疑者所指出的、阻碍重大 AI 突破的那项能力。AI 研究员 Herbie Bradley 反驳了 Clark 5 月的文章，认为虽然模型有可能接管初级研究员的工作，但研究品味、创造力以及连贯的长期研究规划等更高要求的技能仍遥不可及。
在规划和评估实验方面，TasteVal 对这一判断构成了挑战，尽管它对选择长期研究议程只字未提。
实际差距究竟有多大，体现在一项使用 AI 智能体进行 AI 开发的研究中该研究由复旦大学的一个团队领导。研究人员分析了自己模型的开发过程，发现 AI 智能体贡献了高达 55% 的方法论提案，但人类仍然做出了超过 85% 的最终决策。作者指出，目前尚不清楚 AI 如何能在结果出来之前生成多样化的研究方向并评估其价值，而这正是 TasteVal 从模型手中接过的决策类型。
争论正在转变
该基准测试出台之际，正值各大 AI 实验室自己引发的争论之中。6 月，Anthropic 写道，递归自我改进尚未实现但"可能比大多数机构准备好的时间来得更早"。Anthropic CEO Dario Amodei 现在呼吁对 AI 发展进行有控制的放缓，而 OpenAI 承认完全自主的 RSI尚未发生，并表示只有在人类监督得到保证的情况下才应推进。
TasteVal 改变了什么才算进步。长期以来，焦点一直放在模型解决数学题或编程挑战等定义明确的任务上，但现在的问题越来越是它们能否做出推动研究向前发展的决策。
如果 P-Zero Research 测得的趋势在其他测试中依然成立，其影响是双向的。AI 开发会变得更快、更便宜，但与此同时，越来越多的研究将变得更难由人类验证，因为模型会自行规划和评估实验。