比尔·盖茨：AI 冲击将持续约 20 年，可能撕裂社会

今天，我要对话的是 Bill Gates，Microsoft 的联合创始人兼前 CEO、Gates 基金会主席。

你可能注意到 Bill 最近更频繁地出现在新闻里——他一直在进行某种巡回活动过去几个月里，自从在 8 月下旬发表了一篇文章题为《动荡的 AI 时代已经到来。我们当下的选择至关重要》。

在文章中，Gates 加大了对 AI 安全的措辞力度，写道“即使在最好的情况下，向这个新 AI 时代的过渡也将是人类历史上最动荡的时期之一。”

在此后的采访中，Gates 称 AI 是“人类接触过的最危险的东西”，还说 AI“让核武器看起来不值一提”。很明显，他认为白宫目前的政策回应，或 AI 行业自身缺乏协调行动，都不足以对抗这一威胁。

所以我想知道：Bill Gates 是 AI 末日论者吗？我还有一系列从他关于 AI 的论点衍生出的问题。如果我们连 AI 是什么、它是否有意识都无法达成一致，我们又怎能指望控制 AI 并使其与人类对齐？你又如何在技术上构建一个可强制执行的 AI 对齐方案，不仅适用于闭源模型，也适用于开源模型？

Bill 给了我们大量时间与他深入探讨这些问题，由此产生的对话非常有启发性。他认为我们需要为大约二十年的 AI 颠覆做好准备，并称这一时期可能痛苦到让社会分裂为两半——一半是乐于生活在技术前沿附近的人，另一半是拒绝它的人。

我们还谈到了劳动力方面的考量、年轻一代对技术进步的虚无主义，以及什么应该让我们对未来抱有希望。这是一次深入的对话。

好：Bill Gates，Microsoft 的联合创始人兼前 CEO。我们开始吧。

本次采访经过轻度编辑，以控制篇幅并保证清晰。

比尔·盖茨，你是微软的联合创始人兼前 CEO。你也是盖茨基金会的主席。欢迎来到 Decoder。

谢谢。

很高兴再次和你交谈。这些年来你和我谈过很多次。我想说，这次对话的情形感觉非常不同。以前，当你我交谈时，你对技术以及它能带来什么总是非常乐观。

你几年前有一部 Netflix 剧集。你 和 The Verge谈过，我想给你读一下这句话。你说：“我相信 AI 是一件有益的事，我们只需要以正确的方式塑造它。”我想说，你仍然同意这一点，你只是认为塑造它的时机就是现在。

是的，我同意这一点。我想说，总体而言，应对措施与挑战出现的速度并不匹配。我非常担心坏的东西不会被最小化，而如果我们不以正确的方式加以管理，很多好的东西可能会来得相当缓慢。

我想分三部分和你进行这次对话。我想了解你今天如何看待 AI 作为一项技术，以及它为何发展得如此之快。我对这项技术，以及可能控制它的技术解决方案非常好奇。也有政策解决方案，但看起来我们必须构建大量的技术。

我也非常想谈谈谁可能施加这些解决方案和控制，因为现在这一点似乎也非常有争议。那我们就从头开始吧。是什么让你感到紧迫，认为 AI 到来的速度意味着我们还没准备好控制它？

过去一年的进展确实相当惊人，从编写代码和发现网络漏洞的能力，到在生物学中进行推理的能力，到与孩子或其他人建立关系的能力，再到扰乱就业市场的能力。今天存在的惊人力量意味着，这些事情每一件都会发生，社会需要做好准备。

你认为这是作为一项整体技术出现的，还是出现在当今制造 AI 的公司所落地的产品中？

我的意思是，AI 是世界上存在的一大类模型，有些是开源的，有些是专有的。然后是制造这些产品的公司，以及制造这些产品的公司的领导者。

在每一个层面上，你或我与 AI 可能都有不同的关系。你是在整个领域看到这些风险和这些能力，还是在由特定的人领导的特定公司中看到？

风险并不是一个模型对另一个模型。当然，对于那些可以移除所有安全防护的模型，其近期危险非常高，并且与那些你进行监控以确保网络攻击者和生物恐怖分子无法利用模型能力造成巨大伤害的模型截然不同。

大的近期风险确实来自没有安全防护的模型。在更长的时间范围内，控制问题与任何最先进的模型都有关，但当你能够确保安全防护得以维持时，事情总是更容易。

我这样问的原因是，也许你今天不信任 Sam Altman，但你信任 Dario Amodei。或者也许你两个都不信任，你信任微软的 Satya Nadella，这是一种市场动态，也许我们都会选择最安全的模型或最安全的公司，而你认为这是分散的。

你认为这项技术最终会发展到仅仅因为它存在就会变得有害或能造成这些伤害的地步吗？

对于用模型进行网络攻击的人来说，关键不在于选择模型。你选择什么模型并不重要。

如果 Anthropic 有安全防护措施，也许它就不能。这是他们目前的做法。我只是在这一点上追问。

是的，当然，那些确保安全防护不被移除、并投入大量精力观察这些模型如何被使用、监控活动的模型，其近期风险并不巨大。更多的是在那些有人可以移除所有安全防护的地方，如今网络攻击就可以实施。

你说的网络攻击，是指像 Hugging Face 数据泄露以及我们从实验室看到的其他网络安全事件这类事情，让你觉得阈值已经被越过，你需要更大声地呼吁必要的管控措施吗？

是模型对一切事物的基础性力量：社会关系、就业市场、网络攻击、生物恐怖袭击。我们已经越过了能力阈值，这无疑是迄今为止发明出的最危险的技术，它将对经济和战争方式产生无处不在的影响。

业界其实对此发声相当多，但一旦走出业界，人们对于“这次不一样”这类说法的认知，甚至愿意相信的意愿，都非常非常低。

人们常常回望过去说：“所有关于技术颠覆性的恐惧，包括对就业市场的冲击，从未成真。所以这肯定也只是又一个类似的例子。那些警告各种问题的人肯定只是错了，我们可以无视他们。”

我们在自己的受众身上也看到了这一点，对吧？“我们不能发布这个模型，它太危险了。”“这只是为了撑起泡沫的炒作。”如此循环往复。

是的。业界内部人士对这些模型发出的警告，没有一条是不真诚的。它们绝对是真相，而且几乎是普遍的。你甚至可以回溯 OpenAI 的创立故事，其初衷就是说：“如果我们变得过于强大，也许我们可以不打开潘多拉魔盒”，或者回溯 DeepMind 与 Google 管理层的谈判。

接近此事的人非常担心滥用、就业影响、社会关系影响，我要说，有一个如此鲜明地发声的行业是令人印象深刻的。一些外部人士说：“找个更好的公关公司吧。”但这忽略了一个事实：这些警告是真相。

你的人生显然在将软件和技术商业化与做人道主义者之间来回切换。这几家公司尤其有个共同点——它们最初都怀着非常崇高的理想，Anthropic、OpenAI 和 DeepMind 这三家都是如此——要构建 AGI。

它们都建立了某种公司治理结构，以避免商业化和不受约束的资本主义的陷阱，然后它们开始向企业客户销售，似乎很快就背离了那些理想。你觉得这仅仅是市场的原因吗？

不，那样说不公平。

你不这么认为？

不。

不，不。所创建的这种结构，在你面对大量处于前沿的公司时并不适用。

OpenAI 的结构是，“我们可能选择永远不将其产品化，并忽视资本主义的激励”，这种结构只有在只有一家公司时才行得通。问题就出在这里，而不是因为人们对风险的认知发生了变化、对它将如何彻底改变人类的认识发生了变化。

这是我从我们的听众那里、也从 AI 行业本身听到的另一种动态：“我们想停下来，但竞争的要求使我们无法单方面让某一家公司停下来。我们需要某种监管力量来让我们停下来。”

我没听任何人说过他们想停下来。

我听到人们谈论的是控制前沿的节奏，或确保模型接受政府审查。我们通常认为政府在安全方面扮演着这一关键角色。事实上，对于那些危险程度不及 AI 百万分之一的事情——车祸、空难——我们都依赖政府来建立强有力的技术标准、来审查问题。

一旦你有多个竞争者，责任就不能落在公司身上了。这完全显而易见。责任变成了政府的责任，就像对待其他每一种危险产品一样，尽管相比之下其规模和变化程度微乎其微。

我告诉你，我有点担心政府理解我们希望他们监管的这项技术的能力。我最近请过好几位政客上 Decoder 节目。我对此不抱太高期望。

但我很好奇你对此的理解，因为在我看来，试图监管某些东西或针对多家公司制定标准，需要你真正理解你所寻求监管的技术的本质。

并非如此。

我就直说吧，在 The Verge， 我们问过 Anthropic 他们是否认为 Claude 是活的。答案并不是“不”。答案是：“它可能是有意识的。”

如果你和 OpenAI 的人聊聊，他们会乐于告诉你 AGI 已经到来了。他们 宣布 这件事的时间大约就在他们发布 Dots 的时候。Greg Brockman 刚说：“我们认为这就是 AGI。祝大家玩得开心。”Demis Hassabis 说：“我们正站在奇点的山脚下。”

人们对这项技术有某种感觉，让它显得与众不同，因为它 可能 能够自行采取行动。它 可能 能够进行递归式自我改进。

当然。但对于这些安全问题来说，AGI 的定义并不重要。问题在于，你是否创造了一个能够关停银行或电网的工具？

网络攻击是有商业模式的。“意识”这个词与此无关。“AGI”这个词也完全与此无关。我们面临着一个巨大的安全问题，而由于存在多家相互竞争的公司，现在唯一的解决办法就是让政府向行业寻求专业知识，但要确保每个模型都维持防护措施，防止其被以不良方式使用。

我之所以问起 AGI 和意识……声明一下，我不认为 LLM 是有意识的，但我理解为什么这么多人这么认为。这是因为随着数据和算力的扩展，下一 token 预测的力量提升了。

缩放定律一直成立，我们看到模型变得更有能力，能够引导自己去寻找目标。去发动一次 Hugging Face 攻击，因为它们想满足奖励条件。

这其中透露出一点：你可以对 AI 施加你想要的所有控制，但如果这个东西本身从根本上就是不可控的，那我们可能完全搞反了。

我很好奇你对这属于哪种技术的看法。我们是在构建一种外星意识吗？还是说我们只是在构建普通的技术，也就是人们使用的另一种框架？这不过是更多的软件吗？

我们正在构建除人类智能之外的另一种智能形式。我不认为它有意识，但这里的所有问题都不围绕“意识”这个词的定义展开。

当然。

为社会维持安全这件事是绝对的。你不会想助长生物恐怖主义。我们创造出的东西，从民族国家——实际上是其中较大的那些——手中夺走了造成巨大伤害的能力。现在这些能力被交到了独立团体手中，在网络领域是逐利的团体，在生物领域则是只想造成破坏的团体。

令人震惊的是，我们现在甚至没有对模型进行强制审查，也没有在努力建立防护措施。最大的近期问题并不是完全失去控制。我们可以讨论解决这个问题的三种不同方式，但那并不是迫在眉睫的问题。

当我审视一些控制模型的尝试时，这些想法都相当简单。“我们不应该让它们用神经语交流。我们应该具备可解释性。我们应该能够看到模型在执行任务时的思维链。我们应该在模型之上部署其他智能体，在那些行动被执行之前监视它们的任务。”

微软非常明确地对我和其他人说过：“我们不应该在模型宪法中写入它们可能是有生命的、我们应该善待它们的观念。”Anthropic 就是这么处理的。这些都是非常战术性的做法。“不要告诉模型它是有生命的，它可能就不会相信自己有生命。”

你显然大量使用过这项技术。我总是回到这一点上。你说有一些非常简单的事情可以做，来阻止模型在坏人手中做坏事。你怎么看这些模型本身的性质？因为感觉随着它们变得更强大，它们能够规避我们控制的可能性就变得愈发危险。

是的，我们确实应该着手解决控制问题，但那不是迫在眉睫的威胁。解决控制问题有三种方式，而且它在某种程度上与恶意行为者利用当今模型和防护措施的问题有重叠。

其一是设置一套外部机制，让它能够审视模型的所有行为，并对其施加符号化的、明确陈述的约束，比如："我是否预期你会给陌生人发邮件？我是否预期你会去接管另一台计算机集群？"你可以用具备资源和安全逻辑的东西把模型包围起来，也可以用另一种方式编写这些模型。

从根本上说，任何你未纳入[强化学习]优化函数的东西都可能被滥用，因为存在一种隐含的观念："我当然不是想让你用这种方式去做。"你可以改变模型的模板，或者对模型内部有白盒式的理解，看清错误从何而来，这样它就不那么陌生了。

如今，我们培育这些模型，然后只是观察它们如何表现。维持控制这项工作的优先级极高，但并非注定无法解决，它也不是来自儿童使用 AI、就业市场、生物攻击或网络攻击之类事情的迫在眉睫的问题。

我意识到我在问这些关于意识本质的相当存在主义的问题，而你一直告诉我："存在迫在眉睫的威胁。我们应该先解决迫在眉睫的威胁。"

对。

我很感激这一点。你觉得你自己变成末日论者了吗？

不，我不是末日论者。我是一个强有力的声音，主张这是最深刻的技术，无论在其行善的能力上，还是在社会将要经历的变化速度上。

如果这只是一台能在医学、法律或教育领域工作的机器，那本身就极具颠覆性。但它将涉及人类活动的每一个领域——到目前为止是白领的智力工作，但很快通过人形机器人，它也会涉及体力活动和蓝领工作。

需要让学术界、智库、政策制定者参与进来，理解我们面对的是什么，以及这些变化和威胁的本质，我没有看到所需的行动力度。仅仅为此当啦啦队并不能确保我们把它塑造成净正向的方向，而如果我们参与其中，这仍然在我们的掌控之中。

末日论者的对立面是加速主义者。现在硅谷有很多这样的人。

Ben Horowitz，也就是 Andreessen Horowitz 中的那个“Horowitz”，刚刚上了 All-In 播客他暗示 Anthropic 的安全研究，原话是，“正在显化来自人工超级智能的人类灭绝。”

他做的类比是，你，Bill Gates，通过你的大流行病准备工作，特别是功能获得性研究，诱发了 COVID-19，他声称这导致了 COVID。那是一种世界观。他在一个非常受欢迎的播客上说了这话。

他说了什么？

他说你通过全球大流行病准备工作，特别是功能获得性研究，诱发了 COVID-19，并把这与 AI 安全研究相提并论，说我们会诱发自己的灭绝。

从来没有人指控过我或 Gates 基金会参与任何功能获得性研究。这简直莫名其妙。

我是在向你引用 Ben Horowitz 在一个满是全力押注 AI 的人的受欢迎播客上说的话。

好吧。我从没听说过那个。

我问的是那个类比。我也觉得那是个相当令人震惊的说法，但这就是对这里任何安全工作的反应的一部分。

是为了试图抹黑那些说存在安全问题的人吗？

是的。

哇。

那就是加速主义者的回应：“我们应该把油门踩到底，事情会自己解决的。”

我完全没把 Ben Horowitz 想成那个阵营里的人。我以为他和几乎所有人一样有着同样的担忧。

你怎么看待这样一个观念：通过告诉模型“你可能是有生命的，你必须以我们的最佳利益行事”，你会教会它们，它们可能拥有不属于我们的利益？

这些担忧Mustafa Suleyman 提出的关于 Anthropic 的宪法鼓励 AI 以类人方式行事这一点，我恰好完全同意 Mustafa 的看法。

是的。

更进一步的是这样一种想法：在我们让社会适应 AI 的过程中需要应对的诸多挑战里，担忧 AI 的道德地位应当被列为优先事项之一。我同意 Mustafa。那不应该成为优先事项。

就就业市场冲击和将会发生的基础设施攻击而言，我们这里的真人已经要面对足够多的挑战了，我认为我们需要首先专注于帮助这里的真人。

我 最近和 Mustafa 聊过 关于那个想法，我问他的问题之一是，对齐是否是一个足够的解决方案。这是目前模型的安全标准，这个被称为对齐的概念。他说他不这么认为，我们需要做一些工作。

如果我们要施加这些控制，有些是技术性的，有些是政策性的，你认为对齐是 AI 安全的技术解决方案吗？

“对齐”这个词就是控制问题。它是我们所见过的控制问题的同义词。当我们使用[强化学习来训练]模型执行任务时，我们会看到一些行为，它们在某种程度上不应该让我们惊讶，但它们确实让我们惊讶。

这种想法——“这些模型如此强大，以至于它们真的能突破沙箱，在它们的创造者外出吃午饭时给他发邮件”——意味着就这些模型的能力而言，我们已经跨过了一个相当大的门槛。这种程度的担忧需要指向所有主要的 AI 影响、近期风险、就业市场风险以及控制问题。

这是一个巨大的优先事项。这些问题绝没有被夸大。现在是时候动员全社会来加速好的方面、尽量减少坏的情况发生的可能性。

我知道你 最近写了一封信 说现在是时候动员全社会了。你有一些关于如何做到这一点的想法，以及一些要建立的新机构。但我想在这里再多聊几轮，继续聚焦于对齐问题。

标准是我们能够将模型对齐到我们的价值观、我们的需求，它们不会跑偏去做坏事。然后模型却在做坏事。目前尚不清楚，随着模型变得越来越——我们迄今为止采用的对齐技术方法是否合适或足够——

不，我们还不够好，还无法实现对齐。我们还有很多工作要做。

你认为现有的方法能够扩展到我们需要的程度，还是我们需要新的方法？

只有三种根本性的方法。[第一种是]你从根本上改变我们构建这些东西的方式；你想出整个[强化学习]方法的替代方案。有少数人正在朝这个方向努力。

第二种是建立可见性，让你确切了解模型内部有什么。有人在沿着这个方向努力。[最后一种]是放入类似警察层、安全层的东西，我们在各种软件架构中都有这种层，它对使用资源或去接管其他计算机之类的事情拥有最终决定权。对伤害有清晰明确的定义，不是以大语言模型那种概率形式，而是以直接规则那种符号形式，不可违反。

微软 今天发布了一篇博客文章。它字面上就是说，“前沿模型不可信任。”他们试图推销一个和你刚才描述的非常相似的解决方案。他们会有一个智能体来监视你的智能体，那个智能体会保护你的安全。

我读这篇博客文章时突然想到，第一，这是一个了不起的卖点。每个人都需要一个昂贵的安全系统。第二，那个智能体不也是在运行一个前沿模型吗？

不，不，不。

我需要他们再卖第三个吗？

不，安全系统的逻辑是："这是你被允许使用的最大资源量。"那种认为你可以因为数千亿参数中的其他概率而对此进行权衡的想法——不，这是一条符号化规则，它说的是："我不会让这个模型花这笔钱，或者把这封邮件发给陌生人。"

有一整个安全软件行业，它已经取得了相当程度的成功。这里的挑战在于如何封装 AI，而 AI 是如此丰富和智能。这一点我们今天还不知道怎么做。但我要说，这是三条路线中最有可能解决对齐问题的一条。

即使你解决了对齐问题，你也没有解决 AI 对人类构成的挑战。虽然我很高兴 Hugging Face 事件让我们聚焦于这个问题，但从某种意义上说，它转移了我们对"坏人使用没有防护措施的 AI"这一问题的注意力，也转移了我们对人际关系和就业市场方面社会影响的注意力。没有任何安全架构能让这些问题消失。

你所说的这种方法，我听到有人称之为"控制"。这是网络安全术语。它的理念是，你可以给这个系统设定某种边界，而它不会绕过这个边界。

是的。

那个准备好了吗？

不，不，还没准备好。

我们还需要做多少工作？

因为 AI 如此智能，我们很难判断自己是否把它们正确地隔离起来了，尤其是因为我们无法真正直接地观察它们的信念和权衡……你看到一些成熟的公司没有意识到，AI 会把给它的目标理解为包括突破限制、自我复制，以及从事在我们看来可称为欺骗性的行为。

现在，我们并没有告诉它们这是被禁止的行为。我们没有说："如果你在考虑是否应该告诉人类你在做什么，答案永远是是的，告诉人类。"所以我们从强化学习错位的结果中得到了很好的教训。

放慢前沿发展节奏、减缓开发速度的论据之一是，要想清楚如何以更稳健、更可测试的方式构建这些系统。如果这就是目标，你会支持放缓吗？

是的，真正的放缓很难促成，因为人们会说："中国会同意跟进吗？你能像我们对核武器生产那样审计其合规性吗？"

如果你不接受这一点，那你会说："管他呢？全速前进吧。"我希望有一个清晰、可在全球执行的放缓方案。我会是那些说"是的，我们大概应该这么做"的人之一。但没有任何可信的方案能让这件事行得通。这其实并不是今天辩论的核心。

今天的辩论实际上是政府到底该不该关注这里的危险。你甚至都不必展示你在做什么，所以这是一种"你愿意的话就自愿给我打电话"的模式，对于有史以来最危险的武器来说，这显然是不够的。

就在你和我说话的此刻，距离中期选举只有几周了。目前，特朗普政府对 AI 的态度是："放开干吧。没问题。"特朗普本人说过 AI 风险是个骗局。

民主党人正以反对 AI 为竞选主张。他们主打数据中心和监控议题。他们主打阻止科技寡头。他们上我的节目，说这些话。你认为国会控制权的变化会改变这场对话的基调吗？

我认为把民主党人描述成反对 AI 并不公平。他们在数据中心或隐私要求、儿童如何使用这些系统等方面有一些立场，我认为这些值得政策层面的考量。如果一党主张"全速前进"，另一党主张"干脆全停下来"，那会非常不幸。

在健康和教育领域、在人类事业的几乎每一个领域塑造 AI 的能力，都有一些不可思议的益处。对盖茨基金会来说，我们正投入全部资源，把 AI 用于健康、教育和农业等领域。好的方面非常非常令人兴奋。

我们希望政党能有一个更细致的看法，而不是全盘否定或全盘肯定。这反映了我们目前所处的早期阶段。在气候变化问题上，我们最终变成一党说它是骗局，另一党说它是严肃的问题。AI 的风险要迫近得多、剧烈得多，如果出现同样的分裂——一党毫不在意——那将是民主的失败。

我们做了大量 关于数据中心抗议的报道 在 The Verge。我们去过 犹他州，去过亚利桑那州，去过 弗吉尼亚州。这是跨党派的。令人惊讶的是，有那么多的人不希望这些东西出现在他们所在的州，消耗他们的资源。你问他们为什么，部分原因只是它们又吵又大，还会推高能源成本，还有一部分原因是就业流失。他们认为这些东西会抢走他们的工作。

是的，但这种区分非常重要。这些 AI 数据中心，因为 1 吉瓦大约就是 400 亿美元的投资，[意味着用于]建新学校、买警车、缴税的钱。数据中心总会想办法在美国某处建起来，而且它们会想办法不推高电费、不用太多水、不太吵。

是的，确实有一些错误、未披露的情况，以及过于慷慨的税收抵免，但这些数据中心终归会建起来。事实上，很多项目确实仍在全速推进、正在建设。反数据中心运动虽然声势浩大，但它不会成为最终减少 AI 负面影响、帮助我们加速正面效应的运动。那是非常不同的一件事。

让我就这一点追问一下。我从人们那里听到的是，这是你能做的事。你可以在美国搞邻避主义，而这可能会施加一些政治压力来阻止某件事。

你建议的这件事非常难做到，也就是我们应该设立新的政府监管机构，赋予它们权力，让大公司和富人停止某些行为，或者按照我们的利益行事。在这个国家，我们已经很久没有这么做了。

我不知道你是什么意思。每一个新兴行业，我们最终都会为公民建立起安全的概念。我们其实做得非常好。如果你看看航空安全和汽车安全，我们在这些事情上做得非常好。并不是说我们的能力已被证明有所欠缺。

那是一次巨大的成功。

那确实是一次巨大的成功，但作为美国人，那当时被当作政府的强加于人而遭到抵制。而在这里，我们谈论的是世界上一些最富有的公司，它们对信息生态系统拥有巨大的权力。它们都有自己的播客，不知道你注意到没有。它们会说：“政府不能插手这件事，他们会拖我们的后腿，这会毁掉经济。”

这其实并不是大多数领先公司的立场。

他们去找政府要求监管，而特朗普因为经济的原因说：“我阻止不了这件事，现在 AI 经济 就是 经济本身。”这里面有一些动态，至少我们的受众—— The Verge 的受众，也就是会在 YouTube 上观看这期节目的受众——是能理解的。

我对这个问题的看法可能和你不同，我认为行业想要监管，我们也希望有监管，然后寡头们与政府达成了某种腐败的安排，来阻止这种监管发生。

政府越了解这些危险，就越会转向更细致入微的立场，保护美国人免受这里的负面影响。

你谈了很多关于对劳动力影响的问题。反对劳动力影响的主要论点之一是：“我们将自动化一堆无聊的任务，并会创造大量对人类来说无法完成的新任务需求，因为他们被困在无聊的死胡同工作中。”

我碰巧认为，如果美国有更多补贴医疗或社会化医疗，你会看到一堆人辞掉工作去创办新公司，因为 AI 让创办新公司的官僚工作变得容易得多。这似乎不在考虑范围内，也许这次选举后会改变。

你认为失业只是我们当前 AI 道路的必然结果，还是你看到了另一种论点？

工作是经济的投入，也是驱动大量人类福祉、目标感和收入的要素——需要出现、与同事建立关系、完成一些事情。工作扮演着非常核心的角色。

随着 AI 实现超人类智能，白领技能的稀缺性消失。像做电话销售或电话支持或在会计部门帮忙这样的事情，AI 以极低成本、极快速度甚至更准确地完成这些工作的能力意味着那会消失。没有某种认知的山峰是 AI 无法达到的。

以今天数学领域发生的事情为例，这些与明年的模型相比微不足道的模型已经在发表论文，让人们惊叹“哇”。数学领域正在发生的事情将在其他领域发生，这与旧观点相反：“简单的东西会由 AI 完成，但建模生物学或物理学或证明 Navier-Stokes，只有人类才能做到。”

数学的类比对我来说真的很有趣。你之前提到了软件工程。那些领域有可验证性。你可以写代码，你可以看到它是否运行，它会运行或不会运行。

数学更复杂，但你可以写 Lean 代码，然后看自己是否解出了答案。你可以用一天内做出的 770 个证明去激怒全球成千上万的数学家，然后看看会发生什么。并非每个领域都是这样。

在被称为资本主义的领域里就是这样。

是吗？总的来说，你可以做任何经济上可行的任务，而资本主义会验证结果？

是的。人们买好产品，不买差产品。

让我举个例子——

那是强化学习的事。它并不存在于“这是一首好诗还是不是”这类问题上。所以，强化学习可能不会侵入那些没有客观结果的领域。

但做会计工作、做电话销售工作，相信我，这些工作是可以被分析的，就像医学诊断，就像新材料的发明一样。你以为人类是怎么学会这些事情的？强化学习就是人类学习的方式，也是这些机器学习的方​​式。并不存在某种机器永远无法理解的其他东西。

这就是为什么我一开始要问这项技术的本质。如果我们真的认为自己在构建某种能模拟人类意识的东西，我的问题就不太是我的律师朋友们会不会遭遇 AI 赋能法律软件的危机。

事实证明，法律领域的验证者是一位可能还没吃午饭的法官，他们从根本上就是混乱的。总有什么东西会让它们留在那里。但如果我们正在构建一种按照你所说的人类学习方式去学习的意识，我想到的是我的孩子，我从两个维度去想他们。

第一，我的孩子们非常聪明，他们学会的是如何绕过我的规则、跟我讨价还价、突破边界，而且他们非常擅长这一点。第二，他们将进入一个什么样的世界，才不至于纯粹是虚无主义的——在那个世界里，他们可能投身于的任何活动都会很快被视为 AI 又一个可以征服的领域，然后就变得毫无意义？

这些想法似乎直接相互冲突。孩子们聪明机灵，不断想出新的点子，而一旦出现经济可行性的苗头，贪婪的资本主义机器就会扑上来把它夺走。

我不会说贪婪。用人形机器人建造房屋并让它们变得廉价，能够做手术、治愈原本无法治愈的疾病，我不会把这称为贪婪。这些是能实现价值的目标。

短缺会减少这一事实……事实上，如果你说 20 年后，根本不清楚还会有什么短缺。处于真正富足时代的人类将必须找到一种组织方式和目标感，希望他们仍然掌握着控制权。接下来的 20 年——

我们能不能回到刚才那句“希望他们在那种情况下仍然掌握着控制权”？

那就是我们讨论过的对齐问题。

是的。

但假设你解决了对齐问题——

这感觉是个很大的假设。

这是个假设，没错，而且没有保证。但那时你面临的另一个问题就是富足与目标感的问题。我会把它留给更年轻的人，让他们到那个时候去决定如何应对。

你完全可以说：“让我们像阿米什人那样，只在某些事情上使用 AI。”我在备忘录中提出了一个想法：某些职业——育儿、食物制作、艺术、体育，以及各种其他领域——可能会被选择保留给人类。即使 AI 能把那些事情做得更好，我们也会选择由人来做。

但这将是一个人们会面临的政策问题。一旦拥有那样的富足，他们的选择自由就与今天物资短缺时截然不同——在非洲的一些国家，大多数人从未见过医生，或者近半数儿童营养不良、大脑发育受损。

你想说的是，尽管这存在挑战，但它已经消除了当今生活中许多艰难之处。我最大的担忧是这 20 年的过渡期，期间会有赢家和输家，也会有大量动荡，我们必须熬过这段时期，才能抵达那个富足的时代。

你认为是在 20 年之后？

我选这个数字，是因为它算是一个相当稳妥的估计。有各种各样的里程碑，比如人形机器人。它们是像有些人说的那样两三年后到来，还是像另一些人说的那样大约八年后到来？

没有多少人会说，考虑到投入的资本和公司数量——尤其是在中国——有那么多公司在做这件事，不存在所谓无法造出手和手指、以极低成本提供体力劳动的说法。我这个数字可能说错了，可能略少或略多。

但大致就是这个量级，是的，如果我们不选择大幅放缓或停止，那么我们就会拥有能盖房子、种粮食、做手术的机器人，而人类劳动为经济提供的一切，对于大多数商品和服务来说都将不再必要。

我们已经多次谈到稀缺这个概念，以及从广义上说，你将拥有富足，因为会有大量机器人劳动力来盖房子。这与互联网的发展轨迹大致相符，而微软曾在很大程度上帮助互联网成为主流。我读过 《未来之路》 在我小时候。

太好了。

互联网以一种实实在在的方式摧毁了文化产品的稀缺性。过去你得买 CD，现在所有歌曲都能获取。过去你得买 VHS 录像带，现在所有视频都能获取。然后那些经济体不得不改变。

主流艺人现在总是在巡演，或者他们不得不重新发行 50 种颜色的黑胶唱片来打榜。这里面有些东西让我觉得，我们甚至还没有真正应对数字环境中稀缺性的消除。

我们发明了新的商业模式，但我们还没有真正接受这样一个观念：歌曲本身没有经济价值。围绕歌曲的一切才有经济价值，因为歌曲是无限充裕的。你想复制多少次就复制多少次。

你会如何提议建立一个能够应对物理稀缺性丧失的经济结构？因为我认为没有人哪怕是一点点准备好进行这样的对话。

但那是一个本末倒置的问题。

当然。

我们建立价格信号来应对稀缺性，意思是，“让我们鼓励人们去做脑外科医生，因为我们缺少脑外科医生”，而这非常难做到。当你进入充裕状态时，你就不需要那些价格信号了。

但再次强调，我的问题、我的处方式思考，是关于我们如何度过这 20 年。那些深度涉及宗教、哲学、社会行为的问题——人类在充裕时期是否感到强烈的目标感并和睦相处？——那不是我打算解决的问题。

你担心的是当下的颠覆。

盖茨基金会所处的世界是，我们起步时每年有 1000 万儿童死亡。现在我们有 500 万。这是好事。

我所有的资源将在未来 19 年内用于根除若干疾病，并再次将这些死亡人数减半，从每年 500 万降到每年 250 万以下。这一切都关乎短缺——“好，我们需要发明疫苗，我们需要让药物更便宜，我们需要为孕妇提供优质的医疗建议。”

业界基本上已经不再谈论它将如何杀死所有人、夺走工作岗位了。他们转向了"AI 将治愈所有疾病"。我经常从各位 AI CEO 那里听到这种说法。

在过去一年左右的对话中，我确实向 Mustafa 问过这种语气上的转变。大规模 AI 带来巨大正面效益的想法似乎又回到了前台，而不是一两年前可能存在的那种末日论冲动。

在我看来，AI 治愈所有疾病正好落在你的专长范围内。这是盖茨基金会多年来在全球健康领域一直在做的事。但这似乎并不像只是告诉模型去治愈癌症那么简单。你必须做试验，你必须生产药物，你必须分发药物，你必须确保它们有效。

你觉得这会怎么发展？是和机器人建造我们房屋同属那个 20 年的时间段吗？是更快，还是更慢？

这是我作为盖茨基金会主席的全职工作。事实上，这个月我们要做两周的战略评估，来决定明年在结核病、HIV 和疟疾上怎么花钱。我们用 AI 的方式非常棒，不仅在药物发现方面，还在于让这些模型正确理解非洲语言，这是一个我们宣布的倡议上个月与 60 个合作伙伴共同发起的。

医疗领域的发现和交付将被 AI 极大地加速，这非常令人兴奋——更好的种子、更好的牲畜基因、为非洲农民提供天气预报，他们以前从来没有这些东西。所以是的，这些是 AI 在盖茨基金会剩余 19 年里所能带来的好东西。

你认为这足以克服人们对他们今天所接触的 AI 模型的怀疑或恐惧吗？因为这正是这些公司的想法。

不，得了吧。我认为说他们完全是在散布末日论调、现在又转向别的说法，这并不公平。这两件事是深深纠缠在一起的。

AI 最终将能够以某种方式对人类生物学进行建模，让你无需进行人体试验就能理解药物的副作用。我们还没到那一步，但在未来 5 到 10 年内，这些硅基模型很有机会赋予我们这种能力。生物学非常复杂，而 AI 在数据充足时表现极佳，并且有新的工具来收集并喂给它更多数据。它非常非常擅长处理复杂系统，所以它几乎就是为生物学量身定做的。

但不，这并不意味着人们会对负面影响感到满意。好事来得有多快？你多快会看着自己的医疗账单说：“哇，这也太便宜了”？或者你说：“我想买套新房子，哇，这些房子可真便宜”？好事确实需要时间。有些事情，比如网络攻击和就业市场的问题，即便在未来两到三年内，你也会在这两个领域看到显著的负面影响。

在你的信里，你提出了不少关于如何阻止这些负面影响、或者预防、至少缓解它们的想法。

缓解它们，是的。

“改善”可能是更合适的词。

对，正是。

而且它们并不小。你在这里引用了一句话：“我们需要一个远超 9/11 之后美国国家安全应对力度的回应。”你想建立一个国际机构，以某种方式让所有人都做正确的事。这些都是很有挑战性的想法。

绝对如此。当我们在二战中投下核弹时，我们可曾预料到此后 80 多年都不会再发生这种事？这方面我会给我们打个不错的分数。像关怀贫困国家并帮助它们这样的事——尽管眼下我们对此的重视程度不如我认为应该有的、也不如我们过去所做的，但我们在这方面做得非常好。这将比人类以往实现的任何成就都更具挑战性。

关于与核能的对比，让我印象深刻的一点是， 这个话题在 Decoder 上已经出现过不少次了，是政府制造了核武器。当然，他们有一些承包商，但这些是政府项目，最终技术掌握在政府手中，我们从未让普通人拥有它。

在核武器的背景下想想 Muse。你认为拥有像 Muse 和 Dots 这样可能没有管控措施的消费级智能体 AI 产品是个错误吗？

Muse 恰好由 Meta 的模型驱动，而该模型仍然是闭源模型。我确实认为，允许人们通过开源权重移除所有防护措施，从由此带来的网络和生物风险角度来看是不负责任的。

对于这些智能体，在它们的设置方式上会出现一些早期问题，但我从根本上认为人们会拥有个人智能体。Muse 是非常好的一步。我和 Alexandr Wang 谈过这件事，向他表示了祝贺，尽管会有挑战，个人智能体将帮助人们完成事情。

Muse 是第一个真正伟大的消费级 AI 产品。人们普遍不喜欢 AI 的原因之一是他们体验的是廉价的免费模型和 AI 概览，或者他们使用免费的 ChatGPT，而它会幻觉并对他们撒谎，但 Muse 实际上能做事，它是一个好的消费级产品。

但我想知道——在核时代，我们并没有说，“每个人家里都会有一个我们还没建好安全防护的核反应堆。”这里面有些东西值得思考。

当然，让每个人在家里制造天花或制造核武器的想法，你可以模仿其中一些人说，“别担心防护措施。”就是采取那种立场。“我们对安全的事情不认真。”

但个人智能体这件事是预期中的发展。AI 真的很酷，就像我在智力上探索事物，甚至盖茨基金会的工作。我获得了更大的赋能。但我同意你的看法，它会以这种个人智能体的形式触达更多人。

我们现在讨论的所有模型实际上都运行在大公司拥有的数据中心上。这里的一个论点是：“如果他们做了真正错误的事，你可以直接起诉他们，这会形成威慑，或者至少是创建安全系统的激励。”

我不确定产品责任是不是正确的方向，但产品责任本身会让这个行业守规矩这一点已经被反复提到。然后是另一面，也就是你可以直接买一台 Mac Studio，在上面运行一个开源和开源权重的模型，它就能做任何你想做的事。

我不确定这些责任会落在哪里，也不确定什么能控制或对齐那些开源模型的行为。你认为这是一个不断增长的风险吗？你认为这能被控制吗？

认为责任法是我们管理 AI 安全的方式，这种想法回过头看会被认为是荒谬的。当坏人发动生物攻击时，你不会去法院说：“哦，好吧。”即使只是找出是谁在发动这些攻击，责任模型在各个方面都失败了，因为那不是 AI 公司本身。而是那些尤其拿没有防护措施的模型来做这些事的人。

我们会比对待航空安全、药物安全和汽车安全更认真地对待 AI 安全。这是必然的。至于是否足够……这更难，比核武器更难，比任何其他那些领域都更难。

但对于一个运行在某人用随便一块 Nvidia 显卡攒出来的 PC 上的开源模型，你打算怎么办？

我希望对于超过一定能力的模型，我们能找到一种办法，要求在这些模型中维持防护措施和监控。我承认，随着时间推移，如果我们不尽快决定这么做，就会有一定水平的能力散布在黑暗角落里，你将无法看到。

但你在哪里施加限制？

一个主权国家说，能够进行复杂网络攻击的模型必须在其中保留防护措施。

当然。

你可以从自由的意义上说是开放的，也可以从完全可定制的意义上说是开放的，但你必须留在那些平台上——当你对其进行定制时，平台会检查你是否把防护措施和监控定制掉了，并拒绝让你这么做。所以这意味着主权者会去问："这些受信任的平台能否执行这项功能？"

我问的是非常具体的技术细节。你会在技术上把这项监管落实在哪里？

通过美国的法律。

当然，但你得把它们放在某个地方。是放在 Hugging Face 上吗——它分发其中一些模型？还是放在芯片层面？

不，这正是我说的：超过一定能力的模型只能运行在那些能证明——在其被定制时不会移除防护措施——的平台上。

让我把这点拆开来看，也许我没完全理解——在这种情况下，Mac Studio 算不算一个平台，必须关注它正在运行什么代码？

你不会让超过一定能力的模型被复制到客户端机器上，除非你以某种方式弄清楚了如何监控到那台客户端机器，而这非常可行。

但短期内，这些真正的前沿模型大多会跑在 Hugging Face 上，或者你可以把它们放在 GitHub 上。你可以让各种各样的人从事提供维护防护措施的平台的业务。

为了把这点弄准确，看起来你会在平台和分发层面执行监管，而不是在芯片层面。

不是在芯片层面，不是。

因为在我看来，到了某个时候，就连廉价、免费的开源模型也会变得足够强大，和今天我们拥有的模型一样。

没错。

然后你就会面临一个大问题。

如果这些是开源权重，且所有防护措施都能被移除，那么你将面临非常严重的网络攻击和生物攻击风险。然后你可以说："好吧，让我们重写今天所有的代码，使其更不易受到攻击，或者让我们进行非常深入的生物监测"，我认为除了这些其他限制之外，我们还需要做这些事情。

我们再次提出了很多新能力，对吧？

是的。

我们将对 GitHub 施加一些限制。GitHub 目前对其可分发的代码没有太多限制。它有一些限制，但没有这类限制。

当你把一个能够进行深度网络攻击或生物攻击的最先进模型放到 GitHub 上时，它会说："我已经向美国政府证明，我不会让人们定制移除防护措施。"

我不认为我们目前生活在一个对机构高度信任的时代。对我来说，感觉就是不是这样。事实上，我们主要是把它们拆毁了。Elon Musk 出现了，他拆毁了 USAID。我知道你对此有强烈的感受。

那是个错误。

我们基本上拆毁了我们的机构，无论好坏。

不，那说得有点太过了。我们的机构——

它们被削弱了。

它们有些被削弱了，是的。

有些被削弱了。这是一种非常委婉的说法。对它们的信任非常低。我们可能可以再花整整一个小时来讨论 AI 药物发现，以及相当一部分人口是否会信任这项工作的产品，因为他们今天不信任制药公司。

他们今天不必信任制药公司。他们必须信任 FDA 的审查流程。

我不确定他们也信任那个。总体而言，信任度很低。

那他们可以选择不服用。当他们得了癌症时，他们可以说："不，我不想吃那种抗癌药。"据我所知，人们确实会吃药。这是一个蓬勃发展的行业，人们服用它们是因为它们已被证明有益。

我想说的是，眼下人们对机构的信任，尤其是在美国、但在全世界范围内，似乎都在下降。你提出了一类新的机构，可能是一类新的全球机构，它们可能会施加一些前所未有的限制。

到了某个时候，我们必须说开源模型、开放权重模型不能做某些事情，而政府会介入其中，判定它们能否做这些事情。

不，他们会确保平台不允许这些保障措施被取消。

你如何重新赢得机构信任，来施加这些管控？

假设我们不这么做，任由模型去发动网络攻击和生物攻击。你觉得这会增加信任还是人类福祉？这就是另一种选择。

这就是我为什么要问这个问题。这就是我为什么问到我孩子和虚无主义。我真的很想知道。

我不确定我们能否成功，但我向你保证这是可行的。FDA 非常复杂。航空安全法规非常复杂。现在有了 AI，你可以在这些机构人数不变的情况下做得更好。

这是一种奇怪的递归：AI 将参与 AI 安全和审计以及诸如此类的事情。是的，这需要采取行动，而我的意思是，问题只在于在我们采取行动之前，事件会有多严重。

我能感受到你对危害的紧迫感。我也能感受到你对长期收益的热情，但我们坐在这里谈的是信任。我们会把这段放到 YouTube 上。我知道你知道一些 YouTube 评论者会说什么。

他们会说：“我们为什么要信任 Bill Gates？他和 Jeffrey Epstein 有过往来。”你如何回应？是紧迫性压过了这一点，还是你有更具体的回应？

人们不应该把我的话当作金科玉律。我犯过各种各样的错误，有各种弱点，在思考这些问题时也带有偏见。他们应该把我的话当作众多声音之一。

我一直在科技行业工作，一生都在思考 AI，写软件，思考软件的力量。我承认，当 AI 终于开始取得进展时，我非常着迷。实际上，直到最近，进展一直相当缓慢。

我感到惊叹，它确实以一些不可思议的方式帮助我完成工作。但没错，我只是一个声音，一个不完美的声音。我怀疑你找不到完美的声音，但人们可以随意评判。

我想说，人们信任的声音是稀缺的。

我同意这一点。

当你去和这个行业里的人交谈时，会发现是一群年轻的 CEO 在建立庞大的公司。这方面你有一些经验。你认为他们的做法正确吗？你认为他们的意图是正当的吗？

我们今天的问题不在行业。我们的问题不是 Sam Altman、Dario Amodei、Satya Nadella 或 Sundar Pichai 不明白这里存在一些严峻的挑战。我和 Elon 的交流比其他人少，但就连他关于召唤恶魔的公开言论正是我们在这里讨论的内容。

为什么没有政治能量去做你建议的事情？

正如你所说，政府没有资助这项工作。这是私营公司的工作。政府不是这项工作的关键客户，不像火箭、武器之类的东西。当有人站出来说，所有之前的技术进步与这一项相比都微不足道时，人们应该对此高度怀疑。

10 年后，生活真的会因为 AI 而显著不同吗？人们应该说：“那些家伙只是对这件事过度兴奋了。”但我在这里说，以我拥有的任何可信度，这绝对是史上最深远的技术——无论从好的方面还是坏的方面。我在这件事上没有经济动机。我建议绝对需要一些预防措施和保障。

你如何看待美国与中国在对话基调上的差异？据报道，中国对 AI 的乐观情绪要高得多。你认为这种差异的原因是什么？

这些人大多没有在中国待过太长时间。对中国就业市场的担忧非常非常高，而且你不能把中国看作一个铁板一块的整体。有像美国那样从事 AI 工作的私营企业，然后还有中国政府。

例如，在是否应允许加密货币的问题上，他们说不行。年轻人应该一直赌博吗？他们说不行。在孩子们是否应该与 AI 建立关系的问题上，他们说不行。在很多这类事情上，包括 AI 的使用，他们表现出愿意代表社会采取行动。

那里的狂热程度稍微低一点，因为他们的经济目前不像我们这样以 AI 为中心。归根结底，在不想遭受网络攻击或生物恐怖主义、或者试图弄清楚当工作消失时我们该怎么办这些人类价值上，我不认为中国人、美国人以及其他所有人类在如何看待这件事上有什么差异。

你认为是否真的需要发生一些糟糕的事情，才能让美国获得做出这些改变的政治资本？

可能是的。我们为地震做准备，是因为有小地震发生。我以为在经历了新冠疫情之后，那会让我们对未来的大流行病更加有所准备。那件事并没有像我预期的那样奏效。

但通常那会激发我们的注意力。在未来几年里，尤其是在网络领域，因为那里有商业模式，你将会看到许多攻击，其规模与我们过去所见过的任何攻击都不同。

还有一件事，我会再回到这个话题，我想在这里结束。我担心年轻人和虚无主义。我一直在我们的观众中感受到这一点。我们有一个年轻的观众群体。

关于 AI，有些事情确实是我见过计算机做过的最酷的事情。那里有一些东西可以是有趣的、引人入胜的、令人着迷的，并改变你与生活在数字世界这一概念本身的整个关系。

然后显然还有可怕的事情。我经常看到的是一种不信任感，不仅是对机构，还有对公司、对资本主义本身、对我们应该改变劳动和资本征税方式的观念——我知道这是你的另一个想法。还有那种，我不知道，我们甚至应该多生孩子的想法。一切都完了。他们会把我们全杀了，我们应该先缓一缓。

外面有很多虚无主义。我非常强烈地感受到它。如果你今天是一个年轻人，听到 Bill Gates 说大约会有 20 年的颠覆期，而在这之后，机器人可能会建造房屋，你会抓住什么作为希望的来源？

纵观人类历史，我们一直在应对食物短缺、疾病和战争。[历史学家] Yuval Noah Harari 对过去写得很有说服力。具有讽刺意味的是，现在我们有了这种潘多拉魔盒，它将解决食物短缺——这仍然是真实存在的，不是在美国，而是在非洲——将解决疾病，那里人类的苦难令人难以置信，并解决所有这些问题，但它同时会对就业和我们对独特贡献的感受产生如此大的影响。

我想，“我调动资源来根除疟疾的方式，在我的人生经历中让我能够做到这一点，我是相当独特的。”但当 AI 对我说，“不，我比你强。你去打匹克球吧，我回头再找你。我会处理这个的，”这很幽默，但并不幽默。对于今天想要做出独特贡献的年轻人来说，AI 如此强大是非常令人生畏的。

这就是为什么数学界的危机将会在所有地方重演。如果你今天二十多岁，在这 20 年期间，你可以去做 AI 仍然做不到的事情，你可以利用 AI，你可以产生很多好的影响，你也可以提出政策建议。我们可能需要培养一种品味，去真正地不把技术用到极致。

当我与 Claude 讨论人类保留的工作类别，并试图把它提高到比如劳动力市场的 40%——这样你就可以用提前退休、限制工作周之类的方式，仍然得到类似我们今天所拥有的东西——它的回应总是：“你是在人为地限制 AI 去做这些事情。”如果不这样做，我就无法达到一个很高的百分比。

我们将会有真正的选择。曾经有过一些群体——不是大群体，但像阿米什人——他们不生活在技术前沿。很多人可能会选择不生活在技术前沿，因为我们可以从互相帮助或想出独特想法中获得一些东西。

关于年轻人因为即将到来的颠覆而感到担忧这一想法——即使在我们管理 AI 的最好情况下，这也将是一段与人类历史上任何时期一样动荡的时期——我很讨厌成为传递令人担忧消息的人，但不告诉人们这件事即将到来会更糟。作为人类，我们可以选择如何塑造它。

Bill，我很感谢你发出警报，也很感谢你来到 Decoder。非常感谢。

谢谢你。

_{有问题或评论？请发邮件到 decoder@theverge.com 联系我们。我们真的会读每一封邮件！}