我常常感到惊讶，当我听到业界顶尖研究人员说，他们认为 AI 在几年内会在他们的工作上比他们做得更好，而我并不真正明白自己为何对此存疑。我得出的解释是，研究人员看到的是模型在基础设施和工程能力上的巨大加速。我完全同意，几年后这些模型将成为超人类的分布式 GPU 工程师。这将使对模型构建方式的实验和摆弄变得容易得多，但并不会让我们的模型在本质上发生巨大变化。

在某些方面，Ilya 宣布 AI 进入研究时代算是早的。如今有了编码智能体，研究变得容易多了。这种容易来自一种不同形式的工作，它灵活且引人投入，这标志着这样一个时代的开始：好的想法在软件领域可能比好的执行有价值得多。

立即订阅

我们在这条路上还处于非常早期的阶段。这也不是该领域第一次经历 AI 更偏向“研究”还是“工程”这一平衡的转变。在深度学习起飞之前，AI 也更偏向一种研究事业。如今，最优秀的研究人员众所周知是以他们在复杂基础设施中实现并扩展自己想法的能力来评判的。我们即将经历几年内的一次巨大加速，届时瓶颈将再次越来越少地落在工程上。有人称之为 RSI，但一种更接地气的形式就是“并行化的、AI 辅助的语言建模”。你不需要认同起飞情景，也能看到即将到来的基础设施改进有多大，以及这将如何改变从事 AI 工作的本质。

本文的目标是概述为什么这种工程加速将会发生，并谈及它不会完全解决什么。即便我们无法在数学和编程之外获得具有经济价值的超人特质，这也将极大地推动该技术向经济中的扩散。这种近期进展的很大一部分来自于用现有工具扩展推理时计算，而非模型在研究能力上的戏剧性阶跃式提升。

分享

AI 训练和推理栈的许多部分都是非常可验证的。训练指标如每 GPU 每秒 token 数，也就是训练速度。推理指标看起来像是每个提示的 token 数、每个 token 的 FLOPs，或者实际上就是每个答案的成本。这两者都非常可优化，尤其是因为存在既定的子问题和架构权衡可以改进它们。我预计 AI 智能体将在几年内帮助端到端地优化这一过程，届时我们的推理能力将非常接近 GPU 等加速器上可能达到的底层最大算力。在过去几年中，公司在推理效率上能取得的收益已经非常巨大，例如在某个价格点发布模型后，服务该模型的成本能节省约 10-30%。整个技术栈将产生复利效应，我预计模型智能的有效成本在未来几年将接近指数级下降（可能比近期趋势更快）。

这些唾手可得的效率提升应该只需要几年就能被捕获。更长期将是加速器与模型在更长时间尺度上的协同设计，这将在灵活的 GPU 平台之上额外带来数个数量级的效率提升。在效率快速提升的这段时间里，GPU 的灵活性应该是件好事，因为架构上的探索空间感觉很重要，并且像是自动化研究的一个主要杠杆。一个预测是，预训练研究——至少是服务于我们当前这类模型的架构和数据选择方面——在 2-3 年内实现自动化，对我来说是合理的。

所有这些都将成为智能体模型 Jevons 悖论的大规模触发因素。我预计需求只会增加，因为整个行业的瓶颈主要在于找出更好的方式来定位和交付智能体。Meta 的 Muse 智能体是一个早期信号，我们应该期待针对不同受众和目标用例出现更多类似 Muse 的体验。其价值来自理解智能体如何运作，而不是推动性能的前沿。

在生物学和化学等更广泛的科学文献中，等效阶段将是一个由模型发现大量跨子领域发现所定义的时代。AI 模型在爬取文献、在稀疏网络之间建立联系方面具有超人能力，而这些网络目前由很少互动的小型科学家社区管理。这究竟会预示科学发现的新时代——例如治愈大多数癌症——还是加速科学原本就已踏上的轨迹，两者之间只有一线之隔。

另一个工业规模的唾手可得的成果是提升 RL 环境的整体质量。不用费力就能看到又一家新的 RL 数据公司营收突破 1 亿美元或 10 亿美元。数量远超我的预期。这个行业的平均产出质量低得惊人。无数研究者都同意，他们买到的很多东西坦白说就是垃圾。与此同时，领先实验室从购买这些数据中看到了明确的投资回报。

许多 RL 环境之所以糟糕，显然是可修复的。

阅读更多