前 Deepmind 研究员 Thore Graepel 希望构建能够追踪自身所知、并对每个结论进行证据核验的 AI 系统。他的团队表示,更大的语言模型无法解决这个问题。

Thore Graepel 认为,让 AlphaGo 在 2016 年击败职业围棋选手李世石的那套思路,同样可以让 AI 系统更可靠,包括在机器人领域。这位前 Deepmind 研究员创立了 Metis Reasoning,并在柏林举行的 Nvidia GTC 大会上阐述了这一方法;会上这家芯片制造商一直在扩展其面向机器人和物理 AI 的平台,目标是把机器人技术的数据问题转化为算力问题。

用知识账本取代烘焙进模型权重的知识

据 Metis 称,当今的语言模型仅相当于 AlphaGo 的预测网络,后者负责给出可能的落子建议。AlphaGo 将该网络与对棋局序列的系统性搜索相结合,发现了著名的第 37 手,而预测网络给人类棋手走出这一手的概率大约只有万分之一。Metis 希望将这类搜索引入通用推理。

Tabelle ordnet neun Elementen eines Spiels wie Position, Zug, Übergangsregel, Ziel, Policy, Value, Suche, Erfahrung und Spielende jeweils ihre Rolle im Reasoning-System zu.
Metis Reasoning 将 AlphaGo 的构建模块应用于通用推理,用一个显式的知识状态来扮演棋盘的角​​色。| 图片:Metis

要做到这一点,需要该公司论文中所称的显式知识账本,其作用相当于棋盘。类似的想法已经存在:微软的GraphRAG在模型权重之外用知识图谱组织知识,而谷歌的AlphaGeometry2则将语言模型与一个可验证数学证明的符号引擎配对。Metis 希望将这些原则推广到现实世界中的开放性问题。

其知识账本记录已知内容、系统的置信度,以及哪些问题仍未解决。一个独立模块会依据计算、形式化证明或经验证据来核验新条目;当某个假设不再成立时,所有依赖它的结论都会被重新评估。一次“落子”可以是一个问题、一个实验,或对现有假设的挑战;系统会选择最能降低关于原始问题不确定性的那一个,最终给出答案或给出有依据的弃答。

Flussdiagramm des Reasoning-Zyklus von Metis Reasoning mit den Schritten Zustand, Ziel und Budget prüfen, Zug wählen und ausführen, Begründung bewerten, Zustand aktualisieren oder Ergebnis protokollieren, Fortschritt bewerten und der Entscheidung, ob die Untersuchung weiterläuft oder mit Antwort, Enthaltung oder Grenzbericht endet.
在 Metis Reasoning 的方法中,只有当独立检查认为某个推理步骤得到充分支持时,该步骤才会改变系统的知识状态。| 图片:Metis

与 AlphaGo 一样,两个神经网络负责提出并评估走法,它们基于以往有记录的调查进行训练,但无法推翻验证规则。Metis 表示,这种设置应当能减少幻觉、给出带来源引用的解释,并且知识可以在无需重新训练的情况下被更改或删除。由于推理被拆分成小步骤,这种方法还可能有利于在边缘设备和机器人上运行的小型模型。

企业仍然不够信任语言模型,因而不敢部署它们

Metis 认为,更多数据和算力能改进语言模型,但无法解决这项技术的根本问题:模型会编造答案,其推理链无法被验证,而且知识被锁在权重之中。幻觉 来自 训练 过程 本身 , itself, 论文 认为, argues, 因为 模型 学到的是 to 生成 看似合理 的文本 , 而非 真实的 文本, 而且 即便 是 当今 推理 模型 中的 思维 链 也 常常 无法 to 展示 how 一个 答案 究竟 是 如何得出的。

论文称,正因如此,AI 迄今的经济影响才如此之小。当智能体代表公司行动时,错误很难追溯到源头,错误的知识也无法从模型中移除。AI 在软件工程领域腾飞,是因为代码易于测试和回滚;但论文认为,在医学、金融、芯片设计和机器人领域,AI 需要从根本上具备可验证性。

这份白皮书描述的只是一个研究计划,没有可运行的系统,没有基准测试,也没有与当前推理模型的比较。团队承认,与围棋不同,现实世界只提供部分信息,获取证据可能代价高昂,而且有些问题根本没有答案。最大的未解问题是:鉴于符号 AI 系统当年失败恰恰是因为所有知识都必须手工录入,一个经过验证的知识账本将如何在教科书示例之外的杂乱领域中成形。

继 Silver 和 Rocktäschel 之后,又一位 DeepMind 老将另起炉灶

根据他的网站,Graepel 于 2001 年在柏林获得机器学习博士学位。在 Microsoft Research 期间,他帮助构建了 TrueSkill,这是 Xbox Live 背后的匹配系统。随后他转投 Deepmind,在那里他参与了AlphaGo、AlphaZero和MuZero的研发。在 Altos Labs 工作一段时间后,他最近在 Google Deepmind 的后 AGI 团队任职,并于今年夏天离开。他还担任伦敦大学学院的机器学习教席。据 Bloomberg报道,Graepel 正在为 Metis 筹集数千万美元的低额融资,同时以更高估值进行的数亿美元后续融资已在筹备中。

他是 Deepmind 最知名突破的最新一位缔造者,如今在 Google 之外另起炉灶。前同事 David Silver创立了 Ineffable Intelligence,并完成了欧洲初创公司中规模最大的种子轮融资。Tim Rocktäschel 联合创立了Recursive,目前估值达 46.5 亿美元。其他人则直接投奔竞争对手。据 Financial Times 报道,Deepmind解散了 AlphaFold背后的团队,诺贝尔奖得主 John Jumper 与两位同事一起离职加入 Anthropic。CNBC将人才流失部分归因于 Google TPU 芯片的内部使用权限有限以及官僚作风,而 Deepmind 自身也正在失去独立性,创始人 Demis Hassabis 已从日常运营中退居二线。

没有炒作的 AI 资讯——由人类精选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

立即订阅