2016 年 3 月的一个下午，在首尔，我看着一个我参与构建的程序在围棋棋盘第五行落下一子，看上去像是送给人类对手的一份礼物。五番棋第二局的第 37 手看起来如此荒谬，以至于一些解说员认为这是程序故障。事实并非如此。AlphaGo 赢下了这局，最终以 4-1 击败了史上最伟大的职业围棋棋手之一李世石。“我以为 AlphaGo 是基于概率计算的，它不过是一台机器，”李世石事后说。“但当我看到这一手时，我改变了想法。毫无疑问，AlphaGo 是有创造力的。”
1997 年，Deep Blue 击败了当时的国际象棋世界冠军 Garry Kasparov，靠的是为每位棋手向前推演六到八步、每秒评估 2 亿个棋局局面，并使用人类硬编码的规则。围棋是一种复杂得多的游戏。一颗棋子的价值取决于相距遥远的棋块和地盘在数十手棋中如何展开。即便只计算可能结果的一小部分，超级计算机也要花上数十亿年。为了取胜，AlphaGo 必须一眼看出谁占优，甚至发明出人类从未想到要下的棋。
这就是为什么许多关于 AlphaGo 对阵李世石的记述都把第 37 手描绘成纯粹机器直觉的闪现。但这是一种误解。实际上，正是 AlphaGo 的推理能力做出了这个富有创造性的选择——而当今的 AI 缺乏这种能力。如果我们希望未来的 AI 系统在科学和医学等领域产生可信的结果和真正新颖的洞见，我们就需要赋予它们这种真正的推理能力。
AlphaGo 由两个系统组成。第一个是它的策略网络，经过训练来猜测一位强大的人类棋手会下哪一步。这个“直觉”部分认为第 37 手没什么特别——一位人类专家棋手下出这一手的概率大约只有万分之一。让 AlphaGo 选择它的是程序的搜索机制，这一机制超越了眼前的合理性，权衡了候选落子在未来造成的后果。它显式地构建并搜索了一棵拥有数千个分支的博弈树，每个分支代表一种不同的可能未来。
行为科学中有一个著名理论，由 Daniel Kahneman 推广，区分了人类思维的两种模式：系统 1 快速、直觉、毫不费力；系统 2 缓慢、逐步、深思熟虑。AlphaGo 提供了一个惊人的机器类比，对应这种划分。它的网络提供直觉——这步棋看起来有前途，这个局面看起来能赢——而它的搜索提供深思熟虑，用后续的招法和应对来检验这些直觉。正如人类认知一样，任何一半都无法单独运作。仅凭直觉永远不会选择第 37 手，而暴力搜索也很难从所有众多可能的招法中筛选出来。
这与当今 AI 模型的工作方式截然不同。大语言模型一次又一次地挑选下一个 token。这相当于系统 1 在运作——快速、联想式，并且在人们写作涉及的几乎所有主题上都能出人意料地出色完成模式补全。
ChatGPT 首次亮相后不久，该领域就意识到，仅靠语言流畅性不足以实现真正的实用性。表面上的解决方案是让模型进行深思熟虑：它们不再立即作答，而是现在可以生成中间步骤，将问题分解、传递部分结果，并影响后续推理——这一过程被称为思维链。事实证明，收益是真实的，尤其是在数学和编程方面。但与 AlphaGo 的搜索不同，这并没有引入一个真正独立的推理机制：中间推理仍然由同一个下一 token 预测过程产生，只是在模型确定答案之前迭代得更久。
有三个缺陷使得聊天机器人的所作所为无法被（以科学家可能认可的方式）称为推理。首先，这些模型通常不维护任何显式、持久且可检查的认知状态。没有一个公开的账本列出模型正在考虑的假设、它对各种解释所持的信心、它正在权衡的证据，以及它保留的未解决问题——所有这些都应随着新信息的到来而被系统性地修订。其次，它们缺乏系统所知内容与它如何操纵这些知识之间的清晰分离。知识与推理在神经网络的权重中密不可分地交织在一起——不存在独立、显式表示的信念集合。第三，虽然聊天机器人产生的思维链看起来像是深思熟虑，但研究表明，这些机器人往往是在事后编造出来的，通过一条路径得出答案，却报告另一条路径。
这是个问题，因为在我们都关心的那些高风险应用中，比如医学、工程和科学研究，重要的不仅是系统得出什么结论，还有它如何得出这个结论。当错误发生时——例如在医学诊断和治疗中——我们需要能够 pinpoint 出哪里出了问题：是系统的推理有误，是它引用了无效证据，还是它做出了错误的假设？
这就是我最近离开 Google DeepMind 职位的原因。我相信我们需要一种全新的机器推理方法——一种借鉴 AlphaGo 架构的方法。AlphaGo 维护着关于给定局面的所知记录：博弈树。这个数据结构包含了 AlphaGo 考虑过的所有变化、所有可能的未来，每一步棋和每个局面都附有其神经网络做出的判断。随着推理的推进，AlphaGo 更新博弈树，并最终综合其中的信息来决定该走哪一步。
同样地，对于通用推理，系统应维护一种认知状态，表示系统认为哪些是确定的、哪些是存疑的、哪些已被排除、哪些问题仍然开放。推理随后可以被理解为一系列改变认知状态的步骤，以推进知识并减少不确定性：推导结论、将问题分解为部分，以及——至关重要的是——决定接下来要问什么问题、执行什么计算或进行什么实验。
当然，开放世界推理比下围棋或国际象棋这样的棋盘游戏更难。在现实世界中，当前事态只是部分已知的，可用动作集合庞大且多变，动作的后果是随机的或未知的。
但 LLMs 和其他神经模型的最新进展，如今让我们有能力处理这类通用推理问题。例如，LLMs 可以根据已知信息和可用资源，提出解决问题的办法。它们可以通过 API 或代码与工具交互，并帮助评估某个主张是否得到现有证据的支持。
最重要的是，为了让系统保持诚实，系统的独立部分必须根据每一步实际消除了多少不确定性来评估它，只有在变化有证据支持时才更新信念。一旦这些规则得到执行，模型就可以积累经过认证的知识，并通过从过去的推理经验中学习来改进其推理策略。你可以把这样的系统看作打了兴奋剂的科学方法，其目的是产生经得起审视的知识。
我不认为把系统 1 做得更大就能实现可信赖的机器智能。规模会让直觉更敏锐，但不会让直觉更具审慎性。第 37 手之所以重要，是因为机器持有一种立场，权衡了各种可能的未来，并选择了它的人工本能很可能会拒绝的那一手。社会需要在药物发现、材料、气候、诊断等领域出现这样的创造性着法——在这些领域，棋盘看起来完全不像围棋棋盘，也没有人把规则交到我们手上。我们只有从能够推理的系统中才能获得这样的洞见——这些系统的结论源自一条可审计的证据、推理与信念修正序列，而不是源自事后讲述的一个有说服力的故事。
Thore Graepel 是伦敦大学学院机器学习讲席教授。他曾是 DeepMind AlphaGo 团队的核心成员，并致力于确保 AI 造福人类繁荣。