Google 工程师 Haydn Belfield 表示,自我改进的 AI 仍然遥不可及,尽管显著的自动化已经在发生。
据 Belfield 称,Google Deepmind 并未观察到由 AI 自身驱动的 AI 研究出现可测量的加速。但这并不意味着显著的自动化尚未发生:AI 现在编写了超过 75% 的生产代码。但据 Belfield 称,约 88% 的代码变更仍需要人工监督或审查,且每次变更在提交前都由人工审查。完全委托给 AI 的代码变更比例从 7.5% 上升到 11.9%。
任务越复杂、越耗时,AI 就越不可能独自处理它。在 1,389 次内部 Argon 智能体运行中,随着复杂度增加,无需人工输入的成功率急剧下降。人类在创造性研究、新颖实验设计、诊断微妙的训练不稳定性和长期规划方面仍然不可或缺,Belfield 说。一项针对十二位 Deepmind 资深研究人员的调查证实了这一模式,自动化在定义明确、可验证的任务中最高,在开放式科学构思中最低。
在 Deepmind 的内部基准测试 RE-Bench 上,该基准包含 74 个真实的 ML 工程任务,Argon 解决了其中约一半。这相比 Gemini 3.7 Flash 的 27% 是一大跃升,但距离完全自动化所需的近乎完美表现仍相去甚远。
Google 自身的能力指数显示 AI 研究并未加速
为了系统地追踪进展,团队构建了一个通用能力指数(GCI),涵盖 123 个模型和 92 个基准测试。Gemini 模型能力以每月约 0.1 个 GCI 点的稳定速度增长,速度没有显著变化。团队将 Gemini 4 Argon 略高于趋势线归因于更多的算力和组织投入,而非 AI 驱动的加速。

该团队目前将 AI 驱动的研究自动化带来的风险评为低,但正在构建测量基础设施,以便今后追踪加速的迹象。
Belfield 的发现与……一致 近期研究,但该领域并非所有人都认同。20 多位 AI 研究人员,包括 Geoffrey Hinton、Yoshua Bengio 和 OpenAI 的 Jakub Pachocki,最近警告可能出现“智能爆炸”在一篇研究论文中。他们认为,AI 系统可能在未来几年内自动化所有 AI 研究与开发,将通常需要数年的进展压缩到短短几个月。