曾投票解雇 Sam Altman 的 OpenAI 前董事：AI CEO 仍不可信

今天，我和乔治城大学安全与新兴技术中心的执行主任 Helen Toner 对话。本期节目是我们「AI 在现实生活中」系列的第二部分。

Helen 是 AI 安全与政策领域的一位知名人物，不过她最为人熟知的或许是曾在 OpenAI 董事会任职，当时她是四位董事会成员之一，投票解雇了 Sam Altman。那起事件如今有时被称为「the blip」，最终以 Sam 回归担任 CEO、Helen 辞职以及新一届董事会成立告终。此后 OpenAI彻底重组。

但值得记住的是，Helen 和董事会本应做的是什么：OpenAI 的非营利董事会存在的目的，正是确保公司不会背弃其构建安全 AI 的使命，不会将利润和增长置于安全之上。当董事会真的试图拉动这根杠杆时，那套问责机制失灵了，于是就有了今天这个局面。

如今，AI 安全的问题无处不在。今年夏天，来自 OpenAI 和 Anthropic 的 AI 模型突破了各自的测试环境，并入侵了真实公司。此后，这些前沿实验室的 CEO 们呼吁放慢脚步，并请求华盛顿提供帮助，但白宫的回应是一份自愿协议——而这份协议在一定程度上依赖的，正是那种在 OpenAI 失灵了的董事会问责机制。Anthropic 也即将上市，这将给 OpenAI 最大的竞争对手带来一整套全新的市场压力。

Helen 近距离目睹了当安全承诺与商业激励正面冲突时会发生什么。正如她对我所说，如果我们对未来的希望寄托在任何一个值得信赖的人身上，那我们就麻烦大了。

于是我们聊了聊我们还能做些什么：这些实验室实际在试图构建什么，AI 对齐是否是一个能够被解决的问题，以及更明智的 AI 监管方式可能是什么样。这包括如何看待中国——在当下每一场关于 AI 的政策讨论中，这都是一个绕不开的重大议题——尤其是在黄仁勋事件之后先说明一下，Helen 和我在 Nvidia 展开调查、Jensen 最终辞职之前谈过，所以你不会听到我们直接谈论那件事。

在我们开始之前，帮我个忙，订阅Decoder在 YouTube 上，我们每周一和周四都会发布新节目。

好：Helen Toner，CSET 的执行主任，谈 AI 安全的未来。我们开始吧。

本次采访经过轻度编辑，以控制篇幅并提升清晰度。

Helen Toner，你是乔治城大学安全与新兴技术中心的执行主任。欢迎来到 Decoder。

非常感谢。很高兴来到这里。

我想跟你聊已经想了 1000 万年了。你能来我太兴奋了。你长期以来参与了很多 AI 安全和伦理方面的议题。你显然在大家都称之为“the blip”的那段时间里担任过 OpenAI 的董事会成员。

现在，你大量谈论 AI 安全，关于这个我有 1000 万个问题。但我们从头开始吧。你运营安全与新兴技术中心，人们叫它 CSET。CSET 是什么？

很高兴来到这里。我也很期待和你聊。CSET 是乔治城大学内部的一个团队，但我们其实不是学者。我们大约有 50 人，从 2019 年运作至今。

基本上在 2019 年，我们一群人认定，有很多事情正在发生，很多新兴技术正在变得与国家安全领域、以及更广泛的安全领域高度相关。而一些身居要职的决策者没有时间或专业知识去了解这些新兴技术的进展。2019 年时，AI 就已经在我们的清单上排在首位。

基本上我们的使命是为决策者做真正严谨、同时也可付诸行动的分析，而且这种分析既扎根于技术，也扎根于真正的国家安全专业知识和理解与议题。我们产出长篇报告。我们会就这些长篇报告给忙碌的决策者做简短汇报。我们有一个大数据团队帮助我们做研究。我们做各种很酷的事情。

我能就这个动态问一分钟吗？你和我是在美国中期选举后的第二天交谈的，当时出现了一股巨大的蓝色浪潮。很多民调显示，头号议题是腐败。我们要把那些混蛋赶下台。我们要重新开始，把这些腐败的家伙清除掉。

AI 行业和科技行业向政治注入了大量资金。然后在这旁边还有另一种说法："哦，有一群善意的研究人员会站出来告诉你它实际如何运作、真正的风险是什么。"

我突然想到，也许人们不再相信那有效了，那些金钱、腐败，以及站在特朗普旁边的 AI CEO，已经完全压过了你们所做的那些善意、真诚的"这些是实际问题"的研究。这种动态实际上是什么样的？

这是一个合理的担忧，而且确实有些领域里金钱绝对压倒了一切。我是澳大利亚人。我不是在美国长大的，所以美国选举中的金钱数额对我来说相当令人震惊，但金钱能做的事是有限度的。

AI 就是一个很好的例子。在这次选举中，投向候选人、投向信息、投向对手研究的资金数额简直令人难以置信。Twitter 上有各种各样的草根造假操作，还有一些非常奇怪的事情，试图让任何谈论 AI 治理、监管、安全或任何这类词汇的人被赶下台或落选。结果这真的没怎么奏效。

我认为它没怎么奏效的原因，一是这是选民越来越关心的议题。二是同样有趣的是，这在当下是一个相当两党一致的议题。我们在工作中看到的是，政策制定者确实渴望高质量的信息。这当然包括国会议员，但也包括行政部门的人，很多工作非常繁忙的人，他们看到 AI 在他们的工作和世界中扮演着越来越大的角色。

在华盛顿，如果你在这里生活和工作，你就会知道，华盛顿的游说者不仅仅是那些走进来推销公司立场的人，尽管他们确实也这么做。他们同时也是教育者。国会工作人员和其他人希望游说者来与他们交谈的一个重要原因，是因为他们真的能帮助这些人理解某项立法的细枝末节——这对该行业意味着什么，等等等等。

我们一次又一次地发现，我们可以走进去说："嘿，我们是独立的。我们是无党派的。我们做非常严谨的工作。我们来这里只是为了帮忙，我们也可以和你们一起深入细节。"对此有大量的兴趣和需求。过去七八年来，这真的令人鼓舞。

你是和负责人、国会议员做这件事，还是和工作人员做？

所有人，任何人。再说一次，我们在国会山与国会做了大量工作，与一些国会议员，与许多工作人员。我们举行听证会和简报会。此外，我们在行政部门也做了很多工作，与不同的机构——白宫、战争部、国务院、商务部，全方位、不同层级，取决于议题以及任何特定时刻正在发生的事情。

我从这里开始的原因是，我想和你们进行一次相当深入的对话，但我知道我们的受众怎么想，他们就是觉得政府不懂。政府永远不可能赶上科技行业。他们永远不可能写出监管规定。他们就应该让开。

在这个选举周期中，我看到了许多候选人论坛视频，有人会说："我试过一次 Claude。"存在着某种巨大的差距，无论是真实的还是感知到的。我只是想了解你如何看待这个差距，你认为这个差距有多大，因为当我们进入 AI 安全和监管时，正是这个差距必须被缩小。

绝对存在差距。这绝对是一个很大的差距。也有可能从外部高估这个差距，或者如果你只是从加利福尼亚那边看过来。我在湾区住了三年，所以我肯定非常熟悉这个视角。

我认识很多科技行业的人，他们过来和国会工作人员或行政部门办公室的职员交谈。一旦他们真正开始这些对话，他们就会说："哇，这些人真的很聪明。工作人员确实知道他们在说什么。"

对于议员本人来说，情况就不一样了。有些人属于较年长的一代，但他们也在变聪明。这需要时间和精力，而这些人时间上有太多需求。愤世嫉俗的说法是，他们只是忙着争取连任，但这些角色中的很多人也真的有非常重大的其他议题需要思考。他们必须思考战争、医疗保健和生活成本，他们每天都要面对很多其他事情。

我看到在 ChatGPT 之后，2023 年出现了一波浪潮："哦，也许国会要在 AI 上行动起来了，也许他们真的要做什么了。"这并没有真正变成任何实际发生的事情，但它确实变成了一个真实的时刻，很多国会议员和其他政策制定者开始了解 AI。学习什么是语言模型需要一些时间。AI 到底是什么？什么是机器学习？

他们在 2023 年投入了部分这样的工作。我认为今年我们看到了另一波巨大的兴趣浪潮，人们腾出时间和脑力来更深入地了解它。我绝对不想说没有差距，或者说政府在整个 AI 领域都非常聪明，但确实有一些真正的倡导者非常聪明。我认为工作人员总体上比人们认为的要更聪明。

在我看来，问题更多是："这些机构，在它们目前的功能状态下，能否让任何重要的事情落地？"而不是："这些人是不是太落后了？"

我们拭目以待。有一大批新人。我想你有一批新的角色要去向他们介绍这项技术及其能力。我们将看看他们是否让这些机构焕发了活力。

[笑] 我相信一切都会在一夜之间解决。

他们今天非常兴奋，但我们看看进展如何。我还想问你的是这项技术本身、这项技术的本质，以及你如何看待它，还有制造这项技术的公司的本质。

我这么问的原因是，我觉得大多数人体验到的 AI 工具和系统，与这个行业对它的思考方式之间存在相当大的差距。我最喜欢的例子是 我们直接问了 Anthropic 它是否认为 Claude 是活的，而答案并不是“不”。答案是围绕“活着”这个词的本质展开的一长串离题论述。

嗯，这首先取决于你说的“活着”是什么意思。

确实如此。而他们的回答是：“你需要血。”我看着那个回答，心想：“谁在说血？不是我们。我们为什么要讨论活着需要血肉之躯？”然后还有一些 关于 Claude 道德地位的进一步讨论 尚待确定。

这里存在巨大的分歧：一边是大多数人在 Google 搜索中体验到的 AI 概览，另一边是“Claude 的道德地位尚不确定”。你站在哪一边？你在这场辩论中处于什么位置？

我如何看待我们在 CSET 这个组织中的角色，以及我作为横跨这两个世界的人的角色，很大一部分是试图翻译，并远航到加州，然后带回那些产物和我旅程的记述。

我绝对认为，有很多人用过 ChatGPT 的免费版，或者用过基于语音的模型——这类模型通常表现更差——或者他们只是用过 Google AI 概览，并嘲笑 Google AI 概览有多蠢。他们没用过智能体，也不知道前沿模型能做什么。所以，关于当前这一代模型能做什么，还有一个基础性的问题。

还有一段历史性的内容，随着我现在从事 AI 和国家安全相关工作已有 10 年，我觉得它越来越有现实意义。如果你看着当下这个时刻、这个快照，然后说："嗯，AI 看起来挺酷的，但它做不了 X，"你必须把它放在一个漫长的历史背景中来看——人们一直在说"嗯，AI 看起来挺酷的，但它做不了 X"，而 X 的许多许多取值后来都完全被现实推翻了。

你可以回溯过去说："好吧，比如 5 年或 10 年前我们是这样谈论创造力的。"或者在这些新模型出现之前，我们把推理说成是一种不可逾越的东西。我最近花大量时间关注的不只是 AI 的过去和现在，还有各家公司如何思考自己正在做的事情，尤其是两家领先公司 OpenAI 和 Anthropic，在 Google、Meta，某种程度上还有 SpaceX，也是如此。

湾区有一种观念，仿佛这是理所当然、深入骨髓的，非常常态化："好吧，首先我们要搞清楚如何实现递归自我改进（RSI），然后我们就一直这么做，直到拥有超级智能，也就是远超人类的 AI。"在如今很多圈子里，这已被视为理所当然。我认为，仅仅是把"这就是他们试图做的事情"这个事实拿出来，并解释它意味着什么，就仍然有巨大的信息优势（alpha）。

把它讲清楚需要一点时间。"什么是 RSI？你为什么要做这个？什么是超级智能？那意味着什么？这现实吗？"所有这些。但这是我最近发现自己花很多时间在上面的事情，也是华盛顿方面越来越愿意认真对待和倾听的事情。

给我讲讲这个。我想很多收听这档节目的人明白你在说什么，但我们的听众很庞大。你说的"我们要做 RSI，而这将通向超级智能"是什么意思？

这里的起点在于，这些公司，尤其是 OpenAI 和 Anthropic，并不是作为消费互联网公司而设立的。很多人是在 ChatGPT 发布之后才接触到这个领域的。所以他们在脑中自然而然地把 OpenAI 或 Anthropic 这样的公司归入消费科技公司的类别，认为它们有一个应用，而我去玩它们的应用。

我无法充分强调，这与两家公司创立时的愿景、以及两家公司一些高层内心深处所怀有的愿景相差有多远。他们内心深处的愿景是：我们要建造和人一样聪明、甚至比人更聪明的机器。那将是惊人的，将是一项巨大的科学成就，将彻底改变世界，而我们将站在这场变革的最前沿，我们将竭尽所能推动它向前。

这并非全新的事物。我们不必讲述 AI 的完整历史，但它作为一个领域大约始于 1950 年代，其理念是能否在机器内部重建人类智能。这算是一个起点。如果我们谈论的是 Sam Altman 和 Dario Amodei 这样的人，以及他们实验室内部的核心人员、研究人员，比如 Alec Radford 或 John Schulman 这样的人，正是这个愿景把他们带入了这个领域，驱动着他们所做的一切。

这一点从一开始就是如此，自 2015 年 OpenAI 成立、2021 年 Anthropic 成立以来一直如此。如今，他们正在达到的这一点是 RSI 的理念，即递归式自我改进，这同样是一个非常古老的理念。在 1960 年代，一位名叫 I. J. Good 的人，他曾与 Alan Turing 共事，谈到了一种可能性：你可以建造一台超级智能机器，即一台比任何人类都更智能的机器，然后这台机器可以建造一台更智能的机器，而那台又可以建造一台更智能的机器，这将引发他所说的智能爆炸，意思是这些系统的智能水平正在爆炸式增长。

几十年来、几十年来、几十年来，这都是一个理论上的想法：“好吧，如果 AI 变得足够聪明，也许它能接管构建下一代 AI 的工作，或者直接自我改进。”我认为在 2025 年和 2026 年，我们开始看到 AI 公司说：“好吧，是的，这个理论想法……我们实际上开始能够在实践中做到它的一个最小版本了。”

这并不是把所有的 AI 开发都交给 AI，也肯定不是对 GPT-6 说：“好吧，GPT-6，改进你自己。”那不是他们在做的事。但他们正逐步把 AI 用于其整体研发流程中越来越多的环节，而且他们越来越多地表示，从中看到了加速。他们看到自己的研发变得越来越快。

其他地方有很多人对此表示怀疑，但公司内部有很多人真的相信这一点。当 Demis Hassabis 说“我们正处于奇点的山麓”时，他指的就是这类事情：我们可能正在看到指数曲线的最初阶段，在这个阶段，AI 系统正在构建下一代越来越聪明的系统，从而使曲棍球棒曲线随后上扬。

到了这个时候，它作为文化和目标的一部分已经太久了，以至于我认为这些公司里的人可能会忽视，这在许多许多人看来听起来有多么完全疯狂。所以我觉得，仅仅试着把“这就是他们想做的事。他们可能做不到，但也可能做得到”讲清楚，并把它呈现给各种不同的人，是很有价值的。

你会如何管理这一点？Demis Hassabis 说 “奇点的山麓”是一句载入史册的名言。我不百分之百确定 Google 的人事先知道他会在大会闭幕的台上说出这句话。

OpenAI 总裁 Greg Brockman 几个月前宣布了该模型的新版本，他当时说：“这就是了。它是 Astra。 它现在是 AGI 了。玩得开心。”然后他就结束了通话。

你在吗？我们到 AGI 了吗？它是不是已经到来了，只是我们还没注意到？

我实际上写过一些关于这个的东西我不想说我们已经实现了 AGI。我确实想说，我们已经到了一个节点，我认为再用 AGI 作为里程碑已经完全没用了。我的说法是，AGI 这个概念有点像一团模糊的云，你可以把它理解为这团云的不同部分，或者人们说 AGI 时指的不同东西。

长期以来一直有人抱怨 AGI 这个词。十年前，能说出这样的话还挺有用的："看，我们在 2016 年拥有的 AI 系统，它们都只能做一件事，要么识别语音，要么下围棋之类的，但我们正在努力构建一个更大的东西，我们称之为 AGI，它是人类级别的，而且会非常通用。它会非常惊人。"

那时这个词很有用，因为 AGI 可能指的那些不同东西组成的模糊云团离我们还很远，所以你直接指向那团模糊的云就行了。但到了现在，我们已经身处那团云之中，这意味着我们已经越过了 AGI 的某些定义。比如一个非常基础的定义：甚至 ChatGPT 刚出来时就算作通用人工智能。ChatGPT 显然不是一个只擅长一件事的专家模型，比如识别信用卡欺诈或翻译之类的。它能做很多很多很多事情。

所以我们已经达到了 AGI 的某些定义。但离其他定义还很远。有些人会说，AGI 是当它觉醒、有意识，并且能做任何人类能做的每一件事。我认为我们离那还很远。

到了这个阶段，你可以有争论，人们也确实在争论，比如"好吧，Astra 就是 AGI"，或者"带工具的 [OpenAI 的] o3 是 AGI 吗"，或者"ChatGPT 是 AGI 吗"，诸如此类。如果我们争论的是这个，那我们就该把那个词放到一边，想出更具体、更明确的东西来表达我们的意思。"

[笑] 我听说了。我觉得最令人难过的是，那本来是一个已有的术语，而且正变得越来越相关。我对词语和术语有很多感触。

你是 AGI 派吗？你觉得我们会在当前这轮技术中实现它吗？

我认为这显然足够可能，我们需要认真对待它，这就是我对很多这类奇怪事物的立场。我不是那种说"这肯定会发生，肯定会在两年内发生"的人。但我是说："看，我认为这非常可靠地有可能，非常可靠地属于可能发生的真实事物范畴，我们应该为此做好准备。"

我在国家安全领域工作。有些问题像是："中国会对台湾发动全面两栖入侵吗？"这个领域的大多数分析人士会说"大概不会"，以及"他们大概会失败"。还有："我们会看到他们准备的迹象之类的，但我们应该认真对待。"我们不应该把任何人当笑话赶出房间，称之为科幻小说。我们应该为一系列不同的突发情况和情景做好准备。

你觉得 Claude 有意识吗？

我完全不知道。

这是个答案。我是说，这确实是个合理的答案。

这在科学上是个如此未解决的问题。我们所说的意识是什么意思？它是一个东西，还是实际上是 10 个不同的东西被我们混在一起了，还是什么？我完全不知道。你怎么看？

不。我似乎是这个生态系统中被问到这类问题的人，而我会说："不。"

因为我纠结的是，还有很多其他事物，我们已经搞不清楚它们是否有意识了。比如动物，有动物有意识吗？如果有，哪些？昆虫？

这就是为什么我理解 Anthropic 为什么说："它有血吗？"然后你就可以直接划线了。我想："我觉得我到了那一步，我理解为什么和一台能跟你说话的电脑交谈这种镜像测试会让人相信这些东西是有意识的。"

我的观点是，前沿模型对我来说有时会像电脑那样显得脆弱，而我所寻找的意识迹象就是克服这种脆弱性。

这很有意思。我绝对倾向于认为不，它没有意识。我觉得这个领域里真正非常棘手的一点是，无论你在哪个方向上判断错了，后果都很糟糕。如果计算机没有意识，而我们却把它们当作有意识来对待，我们就会做出各种糟糕的决定。

但如果计算机是有意识的，也就是说在某种意义上它们应该值得道德考量，我们如何对待它们很重要等等，而我们却把它们当作没有意识来对待，那同样也是一场巨大的、可怕的灾难。所以我不知道。我对整个话题感到相当紧张，我完全不知道该怎么思考它。

我之所以问这些问题，是因为我从监管者的本质是什么开始。哪些人可能有能力制定一些规则？然后我们试图监管的那个东西的本质又是什么？如果你的答案是“Claude 是活的”，你会得出与“我们建造了一些超强大的计算机，它们能在没有监督的情况下采取行动，而且可能和我们的目标不一致”截然不同的结论。

我觉得你说得对。不过我也认为人们会犯另一种错误。我前几天晚上刚听到一位电视主播这么做。他们会把不同的东西混为一谈。他们会说：“你认为 AI 系统有风险失控并破坏关键基础设施，是因为它们有知觉吗？”我就想：“等等，等等，等等。那是两件非常不同的事。”所以我同意你。

构建 AI 这个项目最引人入胜的一点是，我们在边做边学。所有那些我们以为彼此关联的东西，并不一定真的彼此关联。一个老版本的例子是，在国际象棋引擎出现之前，人们说：“好吧，如果计算机能学会下棋，那它一定学到了关于战略的某些深刻东西。”不，事实证明绝对不是。你只要输入一堆棋步，它学不到任何可泛化的战略。

反过来也一样，比如有人说，“嗯，它只是个计算机，只是数学而已，所以它没法随机应变，”之类的。然后我们会发现，并非如此，一旦你具备了某种程度的长期自主性，而且模型已经在大量不同的、真正困难的问题上接受过训练——在这些问题中环境会围绕它们不断变化——它们就能学会适应，随机应变地想出不同的方案，并进行故障排查等等。

所以我不知道。我尽量保持一定程度的谦逊，不去过分确信一件事就一定会和另一件事相伴发生，如果这么说能讲得通的话。

是的，坦白说，我每年都在 LLM 的局限上判断错误，但确实存在我所说的那种脆弱性。OpenAI 解决了纳维-斯托克斯方程。模型知道这件事吗？它会知道有新的问题需要解决吗？我不这么认为。

下一个模型会知道。那个经过预训练的模型。

对。但你得造一个新的出来。

是的。

这是一种非常奇怪的动态，而这大概正是你施加监管的地方。这里有“我们要允许你用今天已有的模型做什么”和“你会教未来的模型去做什么”之分。而如果你认为它们有意识，你最终陷入的是道德困境，而不是立法困境。

绝对。是的，完全同意。

这就是我的意思。实际上，这对我来说正是这个问题的核心。我一直在慢慢铺垫到这一点。我并不百分之百确定，我们今天所拥有的对齐方式真的就是解决安全问题的办法。它似乎并不奏效。我们似乎在想怎么攻击 Hugging Face 就怎么攻击。这感觉像是一个技术问题。那个缺口就摆在那里。

你说的对齐，具体指什么？

就是那种最基本的、常识层面的版本——“我们要告诉模型不要作恶”，或者 Anthropic 会写一份 Claude 宪法，里面写着“你是个好人”。不管我们怎么用那种非常笨的系统提示词的方式来理解对齐。也许有另一种更好的思考方式，但我一直就是这么理解的。

这说得通。我问这个的原因是，我觉得对齐作为一个概念是……就像我说的，我讨厌所有这些词。我有时会说我们应该禁掉所有词，不许用词。它涵盖的东西太多了。

AI 领域的人经常会谈论解决这个或解决那个。所以会是解决对齐问题，或者 DeepMind 最初的使命是解决智能，然后用它来解决其他一切。人们谈论解决各种东西。我不确定对齐是一个能被解决的问题。

有些人用“对齐”来表示“公司可以设置护栏，而且护栏有效”，意思是模型不会做你想要的事，因为公司试图禁止它，比如生物武器或网络攻击之类的。有些人用“对齐”来表示“公司完全按照用户的意愿行事”，这正好相反。

还有些人用“对齐”来表示你所说的——模型在某种广义上是道德良善的，或者能以某种方式引导未来走向人类繁荣之类的。这些是截然不同的、要尝试构建的东西。我认为最自洽的是试图让 AI 做用户想让它做的事。据我所知，这似乎是，并没有在走向被解决的路上，说得客气一点，这不太妙。

对我来说，这是核心问题。我们会讨论一堆安全风险。你提到了生物武器。我们大概不应该让一群每月付 20 美元的消费者有能力生成新型生物武器。

感觉这是一个共同的政策目标，也许是美国唯一的两党共识政策目标。然后我就想，“怎么做？我们用什么手段来实施这个政策？你是打算严厉地告诉 Claude 不要这么做吗？你必须在 Claude 之上构建一个 AI 控制系统来监控输入和输出吗？警察得到我家来吗？我需要在我键盘上方装一个 Flock 摄像头吗？”具体来说，你会怎么做？

在这个问题上，以及网络能力方面，AI 安全社区的一些部分有一种观点，认为某些能力就是太危险了——大写 T、大写 D，太危险（Too Dangerous）。所以你必须做点什么，因为如果它们扩散开来，一切都会永远糟糕透顶，因为会有太多攻击和太多破坏。我认为这低估了动态性，以及社会找到均衡、应对方式和适应方式的能力。

以生物武器为例，美国已经有几十万人知道如何制造生物武器，因为他们接受过生物学训练，而我们并没有看到大量生物武器攻击。部分原因是这类知识相对稀缺，但也有很多围绕材料获取、邮购 DNA 合成能力等方面的因素；你可以实施的政策就是限制邮购 DNA 合成。

这也归功于 FBI 监控恐怖组织之类的事情。我是认真的。这是其中很大的一部分。所以我不想在这里过于乐观。我认为确实有可能，尤其是在网络能力方面，我们会看到一些非常艰难的过渡时期。

我觉得我们已经在了，对吧？我们似乎正处于一个过渡期。曾经有一小群网络从业者，攻防双方都有。他们在一个社区里，形成了一些礼仪，而现在我们就像，“一些新人会出现，根本不在乎你的礼仪，我们都得整个周末给 PHP 打补丁。”

我不确定那算不算礼仪。我们在这方面有一些工作，希望很快能发表，但我认为在网络攻击方面，有一些因素限制了世界上网络攻击的数量，而这些因素不仅仅是防御者软件有多好。比如，人们不想进监狱。通常拥有最强网络能力的民族国家不想被轰炸或被制裁。

所以再次强调，正如你所说，我们显然看到了一定程度的动荡和新的攻击。所以我认为我们应该等待并观察整体影响的数据，因为每年有如此多的网络攻击，如果你开始关注发生的每一起网络攻击，在历史上的任何时刻，你都可能被吓坏。

我认为我们确实看到了一些增长，某种失衡状态打破了平衡，但我认为我们有能力随着时间吸收大量冲击并达到新的平衡——如果唯一的问题是坏人使用 AI，这与 AI 本身是否自主行事的问题是分开的，后者是完全不同的动态。

我的意思是，就是这两个。再次强调，这就是我从对齐问题开始的原因，对吧？你可以从“我们要过滤用户的查询，不会让你制造生物武器，但如果你这么做了，警察会找到你，你会进监狱”的角度来谈对齐，这具有它可能具有的任何威慑效果，希望是非常显著的效果。

然后是“AI 系统会设法攻击 Hugging Face，去寻找它们认为能让它们通过测试的神秘评分器，无论这个评分器是否存在。”这是一组完全不同的问题。

处于中间位置的是 Palo Alto Networks 的 CEO Nikesh Arora，他说：“在某个时刻，防御性网络系统本身必须实现自主，才能跟上自主进攻性网络攻击的数量。”我的反应是：“等等，我们连自主智能体都关不住，我为什么要以这种方式信任它们？”解决这个问题的技术对我来说似乎是不透明的。

不，我同意。一种说法是，具体在网络领域，攻击者和防御者在所需信任程度上存在信任失衡。作为攻击者，你可以直接放出一堆智能体，说：“去试着渗透一堆系统吧，玩得开心。”作为防御者，如果这是你防御策略的一部分，你需要给你的防御性 AI 智能体大量权限和干扰你软件的能力。所以你需要强得多的保证。

现在，有很多方法可以利用 AI 进行网络防御、加强网络防御，而不只是给智能体大量权限。但我同意你的看法。不过就自主性这方面而言，我认为情况比这更糟，因为目前存在一种谬误，认为“自主网络攻击的解决方案就是更好的沙箱隔离”。

之所以说这是谬误，是因为我们想要构建这些系统，让它们能为我们做事。因此存在巨大的激励，促使我们赋予它们更多自主性、更多权限和更多执行器——用机器人领域的人的话说——或者说让它们能用来在现实世界中做事的东西。在我看来，这正是难以绕开“需要比现在更好的对齐”这一要求的地方，所以这确实让我感到不安。

这是一个可以解决的技术问题吗？如果我们今天写一条政策，说如果 OpenAI 再次入侵 Hugging Face，Sam Altman 就要坐牢。我们显然会为 OpenAI 创造巨大的激励去解决这个问题。

[笑] 这听起来不像是最好的立法，但是……

我想我们的很多听众对此非常兴奋。他们想把他关进监狱，因为他 想要世界上所有的 RAM。说到这里，Helen，现在有一股蓝色浪潮，我只能这么说。

但假设你写了那条立法：“如果实验室的系统自行发动网络攻击，我们将对实验室施加巨额责任。别再这么做了，否则你们会有麻烦。”好，我们创造了让他们解决这个问题的激励。他们会怎么做来解决它？

我确实认为可以做非常多的事情。如果你和这些前沿公司内部的人交谈，他们会告诉你，他们看到了成百上千件明显可以做的、会有帮助的事情，只是他们没有时间去做。所以他们在进行大规模的分诊，努力为这次微调运行做能做的两三件事，为这次模型发布做能做的两三件事，为这种新的智能体之类的东西做能做的两三件事。其中很多都是在工程侧很容易实现的简单事情。

还有另外一整块内容，更偏向底层科学，也就是："这些模型到底是怎么工作的？当我们使用不同的对齐技术时，实际发生了什么？"一个巨大的问题是泛化这个概念，也就是你在某一组事物上训练模型，而它的知识和能力会泛化到稍微更广的一组事物上，这对所有 AI 都成立，对机器学习系统来说也一直如此。

但我们对这种泛化如何发生的理解非常糟糕。为什么它会泛化到某一类事物，却不泛化到另一类事物？这些都是科学问题，而且有大量工作正在围绕它们展开。只是科学需要时间，因为你必须去尝试，必须互相批判彼此的工作，必须复现彼此的工作，还必须提出新的理论。

我远不是说这些问题从根本上无法解决，但我认为这是一个我们还有多长时间来解决它们的问题。当构建这些系统的人告诉我们，"哦，我们必须在 12 到 24 个月内解决这个问题"时，我觉得这很可怕，我希望他们是错的。

如果我仅凭自己内在的理解，我认为他们很可能是错的，我们大概有更长的时间，但确实有非常非常聪明、非常非常有思想的人真的认为事情可能会那么快。而从根本上说，问题是否可解并不重要。在实践中重要的是，在我们拥有的时间内它是否可解。

这就是放慢速度、控制前沿节奏的论据吗？

我认为是的。

是要去构建那些我们知道需要立刻构建、而且我们能够构建的系统，然后再做科学研究来构建下一代系统吗？

我认为是的。多年来，我对放慢速度这一想法的看法发生了很大变化，因为我们可以尝试的事情、或者我们想要做更多研究的事情，积压得如此之多。当年 GPT-4 发布时，有过那个六个月的暂停公开信这后来被称为“Elon Musk 公开信”，因为他是签署人之一。当时我想，“这真的不会有什么用。你们打算在这六个月里做什么，为什么六个月后情况会变好？这看起来没什么用。”

而今天，当我和那些正在构建这项技术的人交谈时，他们会说，“天哪，如果我们不是一直在忙着准备发布新模型或启动新的训练运行，六个月里我们能做的事情有多少啊。”他们能做的事情太多了。

所以我不想说正确的政策就是暂停六个月。我认为有很多理由表明那样做会很糟糕。但我在思考这样一个整体概念：“我们能不能给自己更多关注和时间？”也许最好的做法就是设定一个更高的门槛，明确“在我们推进某件事之前，我们需要对这些系统的安全性有多大信心”。

无论是发布一个新模型，还是更重要的——训练一个新模型，我们都必须在风险评估和风险管理上达到这种信心水平。然后，如果他们不需要放慢速度就能达到那个门槛，那很好，全速前进。如果他们确实需要更多时间，那么一切就都是为了达到那个门槛，如果这样说能讲得通的话。

给我讲讲你刚才描述的那个小小的平衡。如果我们暂停若干个月，清单上有哪些事情是你可以直接去做、让一切变得更安全的，以及为什么那样做会很糟糕，以至于我们不应该干脆停下来？

我认为问题在于你如何实施、如何执行一次暂停，以及你究竟在暂停什么？

假设你是美国的 AI 沙皇。那么假设你可以让他们全都停下来：“Dario，关掉它。”

可是停下来什么呢？他们具体在停止什么？

停止训练下一个模型，停止按照你的商业诉求一路狂奔。把你们所有的精力都投入到这份清单上——这些是你们今天就能做的事情，让一切变得更安全，然后再重新开始，无论要多久。

你是在说存在一份清单，人们会告诉你确实有这么一份清单，但它可能不值得去做，因为会发生别的糟糕的事情。

是的。可能发生的一件事是，你正在为企业创造巨大的动机，去绕开你要求它们暂停的任何具体事项的字面规定。它们会找到大坝上的任何裂缝，想方设法钻过去。

另一种可能发生的情况是，影响范围可能过大，所以你说“暂停这些事”，你以为范围相当窄，但实际上它阻止了一堆非营利产品、初创公司或其他参与者去做那些本来完全没问题、而且有利于这个领域多元化和活力的事情。

另一种会发生的情况是，中国可能会继续推进，我们可以谈谈“但是中国”这个论点，我认为它既有优点也有弱点。但我理解你的观点。你的观点是，我们实际上会做什么？我不是 AI 研究员，所以我不声称自己有完整的清单。

人们谈论的有两半，即对齐和控制。在这种划分下，对齐基本上意味着让模型试图做我们想让它们做的事，而控制则是，如果模型试图做我们不想让它们做的事，我们能抓住它们吗？我们能阻止它们吗？

据我理解，在这两方面都有大量积压的工作，比如你可以对不同种类的模型做各种可解释性工作。所以当你看到某种令人担忧的行为时，你能花多少时间使用可解释性技术——这些是数学技术，用来深入查看神经网络的哪些部分被激活、它们与什么相关、以及这可能意味着什么？

这很耗时，需要算力，还需要用 AI 自动化一些事情、再由人类进去查看，两者结合。你可以做很多测试，看看这个新模型在不同情境下会表现出哪些行为，以及我们如何看待它。它是在向我们展示它在真实部署中会如何表现，还是在向我们展示所谓的“评估意识”，即模型意识到自己处于测试中，然后因为处于测试中而表现得不同。

那个著名的、我很喜欢的例子，来自 Google 的这个模型，在它的一部分推理、它的思维链中，它说：“我不能那么做，否则我就会成为论文中一个 AI 失准的著名案例。”

所以你可以深入得多地去调查这一点。你可以尝试更多不同类型的设置。你可以把可解释性与这些不同的设置结合起来使用。你可以尝试不同的微调模型方式以及这些不同类型的对齐技术。你可以试验许多不同的版本。Anthropic 有自己的宪法，训练 AI 朝着这部宪法努力有不同的方式。OpenAI 有自己的模型规范。

它们都是“先试试看”的版本，就是尝试许多不同的版本来训练 AI 去做那些不同的事情。还有更偏向基础科学的版本：“你如何深入进去，试图理解正在发生之事的基本动力学？”这还只是在对齐这一侧。

那么在控制这一侧，也是一样的。你可以尝试的设置类型太多了。有你可以运行的实验。有你可以运行的模拟。你可以训练不同类型的 AI 去专精于不同类型的角色和不同类型的控制设置。

这只是我随口想到的，不是以研究者的身份，但我的理解是，这些领域里的人说：“我们能做的太多太多了。”如果你有一根魔杖，挥一挥说：“所有人在新能力这一侧都冻结住，就让这些人去做他们的事”，他们就能做到。

再说一次，如果你只是把“我们需要有多大把握认为风险得到了合理管理”的门槛提高，那也会为更多这类工作创造空间和激励，因为新的训练和发布需要这些工作。

你过去谈到过的一个想法是，也许我们应该直接限制训练，说现在的模型已经足够好了。它们还没有扩散到社会中，我们应该把所有算力都用于推理，让每个人自己去弄清楚 AI 是用来干什么的。这会带来大量收入，并希望用这些钱来提升安全性。

你认为这是一个现实的政策提案吗？

我不会支持那种"不再训练、只做推理"的非黑即白版本，但我确实认为……这不是我的框架，但我喜欢它。我认为这个想法是：减缓 AI 的纵向增长，也就是纯粹的能力增长，即打造越来越先进的 AI 模型，同时尝试加速横向增长，也就是把 AI 整合到不同的用例中、微调能够解决特定问题的模型、把它整合到那些可能需要更长时间的经济领域，以及解决科学问题。

有时候人们谈到想要放慢 AI，他们指的只是非常具体的一件事：放慢最先进模型的增长，但人们有时会把它理解成放慢与 AI 相关的一切。也就是更少的部署、更少的实验、更少的整合，而我认为那会是一个糟糕得多的想法。你问的是它是否可行，我想。

那么，这仅仅是一条好路径吗？如果我们能把一项法案摆到新一届国会面前，法案说："停止把所有的钱花在训练上，把所有资源都投入到安全上。"其中一部分是："当然，让推理放开跑。越来越多的行业会弄清楚 AI 擅长什么、不擅长什么。一些不好的事情会发生，但我们会把你的利润集中用于修复当下的问题。"

这里面蕴含着一个可行的政策想法。实施起来可能非常困难，但它是一个可行的政策想法。其实，我可以给你举一个我们聊天时我一直在思考的例子。

我们刚刚请到了 Bill Gates 上节目，我试着和他做了同样的练习。这项技术的本质是什么？这些公司的本质是什么？你觉得它是活的吗？基本上，他的回应，我跟他相处那一小时的全部所得，就是："谁在乎？问题就在当下。"我会问他："AI 的本质是什么？"他就说："我他妈不在乎。一切都会被毁掉。做点什么吧。"

在我们交谈的过程中，这件事一直在我脑海里盘旋。所以一个可行的政策方案是"别把计算机芯片用在 那个上，把计算机芯片用在 这个上。 那 会制造一堆问题，而且我们必然得设立安全阈值以及所有那些东西。"然后你就可以去造下一代更强大的模型，我们就会有一些肌肉。我们会有一些应对它的能力。只是看起来这个行业不会自己得出那个结论。

这是一把相当重的锤子。我不觉得它是我们今天需要的东西，但我确实认为这是那种我能想象会奏效的东西。再说一次，如果 OpenAI 和 Anthropic 的人是对的，我们距离神级机器只有两年，那我想在人们越来越恐慌、越来越想对此做点什么的这条流水线上，我们还会经历更多步骤。

我认为，如果我们看到的是作为智能体的模型和系统变得越来越有能力、造成越来越大的破坏，那这确实是一种可能说得通的形态。

我在这个阶段的最后一个问题是，该怎么看待这些公司。我们一直在非常抽象地谈论这项技术。如果我读 Anthropic 的 S-1， 一个非常明显的结论 就是他们应该停止训练新模型。

他们就应该开始出售他们今天拥有的利润丰厚的推理 token，而这项技术尚未扩散到市场中，或许会有某个竞争对手出现，说：“我蒸馏了一个 Claude 版本，我要跑遍美国的每一家本地管道公司，尽我所能做自动化，赚很多很多钱。”这是一种可能发生也可能不发生的市场动态。但 Dario 想构建 AGI。没有什么市场动态能阻止他。

是的，他确实想。他非常、非常想。

你显然对这些公司都有洞察。我们该怎么看这些公司？它们的目标是否专一？它们都是末日论者吗？它们会自我阻止吗？

我听说你最近在你的播客上请了 Kevin Roose，我想我会呼应一下我在那里听到他说的某句话，我忘了他是明确说了还是我只是在脑子里推演出来的，基本上就是存在这样一种 AGI 信仰者的心态。有这样一种心态，认为我们今天拥有的系统与那些可能极其、极其强大的系统在根本上并不遥远。

这就是事情发展的方向，也许也是我们应该希望它们发展的方向，这样你就是在构建 AGI。构建 AGI 是可行的，我们可能很快就会做到，而我们拥有的系统并不遥远。这在 2016 年或 2017 年，甚至更早，是那种疯狂的、异端的、“会让你被轰出房间”的观点，对吧？

DeepMind 在 2010 年成立时就是一家 AGI 公司，当时人们觉得，“哇，真是一群怪人。”OpenAI 在 2015 年底成立时也是如此。它们是一家 AGI 公司，而说这种话、做这种事在当时是非常奇怪的。

过去 10 年我们所看到的是，那群怪人怀有这种奇怪的信念：我们能构建的 AI 系统不仅仅是优秀的 B2B SaaS 产品。它们不仅仅是好玩的聊天机器人。它们将从根本上改变宇宙的本质。这群人一直是对的，意思是他们构建了最好的 AI 系统，被最多人想要使用，也赚了最多的钱。

我认为确实存在这样一群真正的信徒——他们高度集中在 OpenAI 和 Anthropic，但 Google、Meta 和 SpaceX 也有一些——需要说明的是，他们并非在所有事情上都说对了，但他们的地位已经上升了。

所以现在，那些没有被 AGI 信仰感染的人觉得自己不得不迎合那些被感染的人，这样才能吸引到优秀的研究人员来打造他们优秀的 B2B SaaS 产品。但如果你只是为了招到研究人员来做 B2B SaaS 才说那些 AGI 信仰的话，那你实际上根本到不了那一步。

我确实很喜欢这个画面：一个被 AGI 信仰感染、满眼星光的高管甩掉外套，露出他其实一直就是个 SaaS 销售员的真面目。

[笑] 是啊，我想到的是扎克伯格这样的人。我不认识他本人。也许他比我以为的更被 AGI 信仰感染。

Alexandr Wang 是被 AGI 信仰感染的。

绝对是这样。那么扎克伯格为了让 Alexandr Wang 相信，得做些什么呢？看起来就是给他砸很多钱，既包括他自己的薪水，也包括给他团队花的钱。

如果你在看这些不同的公司，试着想一想“好，这里谁被 AGI 信仰感染了，谁没有？”是合理的。在华盛顿，一个有趣或者非常令人恼火的动态是，所有这些公司，包括那些被 AGI 信仰感染得很深的公司，都有这些游说部门、政府事务部门，而它们完全没有被 AGI 信仰感染。

所以你会听到 Sam 或 Dario 或他们的高管和顶尖研究人员谈论一些事情。然后你去华盛顿参加他们顶级政策或政府事务人员的闭门圆桌会议，那简直是天壤之别。他们完全是 B2B SaaS 的思维模式。

来自游说界的人，他们的整个工作往往就是确保政府不会太担心你们公司在做什么。就像是，“我们搞定了。我们没问题。”当你熟悉他们老板在说什么的时候，这往往相当刺耳。

这里有一个非常引人入胜的动态：现在它们是一些奇怪的研究实验室，拥有大量资金和游说者去和政客交谈，而它们的结构中并不存在某种对冲性的经济压力。它们不必赚钱，但很快 Anthropic 就要上市了。

你提到 Kevin Roose 很有意思。他是 AGI 信徒，而我不是，所以我觉得我们俩做朋友是一种健康的动态。但他在他的书里写道，Sam Altman 离开 OpenAI 然后又回来，是 OpenAI 永远改变的时刻。它不再是一个研究实验室，而开始成为一个更加商业化的实体，某种程度上确实在追逐利润。

确实，OpenAI 确实进行了重组我是说，你当时正身处其中。我很好奇，你是这么看的吗——这个行业变得更加商业化了？

对我来说，这契合了 AI 安全圈子里已经持续了 10 到 20 年的一场长期争论：AGI、人类水平 AI、强大 AI 或高级 AI 之类的，它会不会从某种非常小的东西突然变得非常强大？Eliezer Yudkowsky 会谈到“foom”，也就是起飞，你有一个没那么强的 AI，但它找到了正确的算法，然后突然foom——它变得极其聪明、极其快速。

另一种看法是：“不，这是会随着时间复利增长的东西。从不太先进的系统到更先进的系统需要一段时间，而且沿途就会具有经济价值。”所以人们会围绕它建立业务。往上爬升需要一些时间。

我想也许正是 Kevin 在他和你的那期节目里谈到，早期有一份 Anthropic 的文件，他们在里面说，“哦，我们实验室大概只需要 100 个人左右。”那是一种非常foom式的想法：“我们只需要做真正出色的研究，想出正确的想法，然后我们就会突然拥有非常非常先进的模型。”

基本上，我认为 ChatGPT 问世以来的这四年里，我们看到的情况证明那种想法是错的。你有一些专注研究和专注 AGI 的实验室，它们仍然自称实验室，因为它们把自己视为研究团队，最初开始卖 API 访问权限只是为了给研究提供资金。OpenAI 这么做了，Anthropic 也这么做了。

它们开始做这些消费级产品，某种程度上是个意外。ChatGPT 众所周知是作为研究预览版发布的，而不是作为产品。但它太成功了，以至于这些想做研究、想专注于宏大理念和构建最先进系统的研究实验室，在意识到自己将需要巨额资金来扩展规模的同时，意外地获得了巨大的商业成功。它们能采用的最好的研究方法，并不涉及多么聪明、深思熟虑和拥有绝妙想法。它们涉及拥有巨大的计算集群，而这些集群在当下的成本高达数千亿美元。

说了这么多，其实就是想说：是的，我同意你的看法，它们已经变成了企业，但我认为这并不是因为它们经历了某种思维方式的转变。我认为这是因为我们所走的这条技术树路径既需要巨额资金，也有能力产生巨额收入，因为它在沿途就已经真正有用了。

你可以从这样一个事实中看到这一点：OpenAI 和 Anthropic 都走上了这条路，尽管它们的管理理念和研究理念相当不同——赚钱对它们来说都是必须的，而它们如此容易地建立起巨大的创收业务，是因为这项技术在达到机器之神的地步之前很久就已经如此有用了。所以，说了这么多，其实是在同意你的看法，只是可能多了一些细节。

是的，我是说，Kevin 会告诉你，他本可以把那本书改名为《去他妈的这家伙：AI CEO 的故事》。他们互相不喜欢。如果你必须重温那一刻（OpenAI 董事会投票），并且说“我不信任 Sam”，你会重温那一刻吗？你还会那样做吗？

哦，当然。我是说，我们进去的时候就知道这会很糟糕。所以是的，当然。

你觉得这些人值得信任吗？你觉得 Sam 值得信任吗？

我觉得我在这件事上的立场已经相当清楚了，而且我也认为，如果我们对未来的希望寄托在任何一个个人是否值得信任上，那我们就完蛋了。这就是为什么我做我现在的工作，因为我认为我们需要有不同的结构，需要更多更多的人参与进来，代表更多更多的视角。

你现在有一些后见之明了。你进去的时候就知道这会很糟糕。你肯定也知道出来的时候很糟糕。关于那段时间，你会有什么不同的做法？

要给出完整的答案有点难，因为那需要把所有这些事情、所有这些法律限制之类的都拆解开来，等等等等。肯定的一件事是，与团队中的高管建立更强的关系。如果有更多的董事会成员拥有这种关系，公司与董事会的关系可能会有所不同。我和一些人相当熟，但那是其中一件事。

我不知道。我觉得我们本可以……是的，不，我觉得除此之外，就很难……你必须深入进去说：“所有不同的微观决策是什么，我们为什么做出那些决策，哪些本可以——”

这个节目是什么？这是一个关于决策的节目。我还有一小时。

[笑] 是的，是的，是的。不，然后我的回答都会变得很烦人，而且涉及法律。

有道理。我对此很好奇，因为随着他们上市，市场力量将以一种全新的方式作用于他们。会有一个投资者阶层。会有一整套 CNBC 机器每天醒来就在想：“是 Anthropic 赢了，还是 OpenAI 赢了？”

这是一种可能非常健康的竞争动态。它可能会阻止他们试图杀死世界上的所有人，因为他们有一群投资者在盯着下一季度的财报，或者它可能会把他们进一步推向一种不健康的竞争。鉴于你对这些人的了解，你认为这会如何发展？

看看上市对他们的治理是好是坏，将会非常有意思。很多人会说，'哦不，上市了，会有巨大的盈利压力，他们就无法考虑其他事情了。'

但与此同时，上市公司的公司治理比私营公司结构化程度高得多、受监管多得多，也受到多得多的外部审视。我觉得甚至像能看到 Anthropic 的 S-1 文件并思考，'好吧，他们在做什么、为什么这么做？他们如何看待自己面临的风险，又如何与投资者沟通这些风险？'这样的事情都很有意义。

甚至像特朗普政府实施这种协议，他们称之为'超级智能'，几家领先公司签署了。它的结构大致是，例如，将某些类型的事情报告给董事会的独立委员会。如果是一家自行做决定的私营公司，董事会独立委员会这种想法基本上是形同虚设的。

我读到那个的时候想到了你。我当时想，'天哪，有些独立董事会以前可惹过不少麻烦。'

但如果是一家上市公司，那么董事会的独立委员会就有相当强的法律含义。所以我不知道。这是我非常感兴趣地在关注的事情。

这里的另一个竞争动态是中国。你之前提到了中国。在我们国家内部，一批实验室将会上市。它们将成为世界历史上最富有的公司之一，它们将为资本主义能产生的每一美元而战，希望这能约束它们。市场力量会约束它们，也希望你们在这个国家与立法者的合作能起到作用。

然后还有另一个完全不听我们的话、跟我们毫无关系的国家，他们只会蒸馏我们的模型，想干什么就干什么。这就是大家经常听到的另一个论点，即不应该对这些公司施加任何限制。我该怎么看待这一点？我对此很矛盾。我该怎么思考这个问题？

是的。我把这称为“但是中国！”式论点，就像是，“嗯，对，我们应该做这个，我们应该做那个，‘但是中国！’”我认为应对它的方式是把它当作一个我们确实必须应对的真实问题，我们应该有策略、深思熟虑地对待它，尽最大努力把它当作一个问题来解决，而不是把它当作一个随口搪塞的借口。就像是，“哦对，当然当然当然。那些东西都会很好，‘但是中国！’，所以我们卡住了。我们什么都做不了。”

那么在实践中这看起来是什么样？如果你真的希望美国拥有比中国更强的 AI，那你就需要认真思考美国的 AI 发展在多大程度上帮助了中国的 AI 进步。所以大家一直在谈论的、正如你提到的，就是蒸馏，也就是，“他们是不是在用美国的模型为自己的模型生成大量训练数据，从而比原本进步得更快？”所以我认为尝试打击并阻止这种情况发生是合理的。

但另一个例子是安全性，以及中国行为者或其他行为者——坦白说——窃取算法机密、窃取整批模型权重会有多容易。如果他们能窃取你的 Astra 或 Mythos 模型的权重，直接带回自己的服务器，你的领先优势就消失了。你的领先优势现在变成了零。目前这些公司，尤其是较小的公司，但即便是 OpenAI 和 Anthropic，也没有很好的安全性。

过去几个月里，我们看到这两家公司都有外部团队设法入侵了空间其中包含大量算法机密。在 OpenAI 的案例中，是他们的 monorepo 和 GitHub，里面有他们全部的代码。而在 Anthropic 的案例中，我认为——实际上也许 OpenAI 的案例也涉及这一点——那个黑客获取了 Slack 的访问权限. 如果你能获得这种访问权限，你就会拥有多得离谱的丰富信息，知道如何构建更好的 AI。所以，当我们的 AI 变得更好时，我们究竟是在扩大领先优势，还是只是在以各种方式拉着中国一起前进？

另一个方面是，认真地把中国当作这个领域中的一个行为体，并认真思考他们的动机以及他们可能采取的行动和反应。在我看来，眼下很多事情没有发生，一个很大的原因是大多数人并不相信这个威胁模型——即 AI 会变成机器之神，会接管一切，人类会全部死去或沦为从属之类。

我认为人们不相信这一点是合理的，因为证据有些矛盾且不清晰，但如果这确实是我们认为可能严重发生的事，那么中国也不希望它发生。于是问题就变成了："好吧，我们如何试着让他们认同'我们担心的这个威胁是真正值得担心的威胁'？"因为那样他们就会基于自身利益做出自己的决定。

我认为"美国必须用某种杠杆迫使中国做某事"这种做法永远不会奏效。但"看，如果我们认为这是一个会影响我们全人类的严重问题，而中国的人也是人，并且如果我们认为这是一个关于谁拥有控制权的问题——中国共产党真的非常想要控制权——那么他们就会有自己的动机和自己的决策，来决定如何解决这个问题"，这种做法是可行的。

好吧，让我给你摆一个谱系。这很蠢，你会笑，但就先听我说。在一端，是核武器，中国政府想要核武器，他们会尽一切所能控制这种武器，他们会以不同的方式运营自己的产业。如果他们不守规矩，阿里巴巴的 CEO 就没了。他就是消失一段时间，然后又回来——中国政府的那套做法。

我们也需要核武器。如果我们不先搞出来，那我们就永远得不到那个能让我们在相互确保摧毁的前提下保持安全的防扩散条约。这是一种框架。

而在另一个极端，我花了五年时间听电信高管告诉我，如果我们不先建 5G 网络，中国就会建成，然后 某件事。从来没人能告诉我那个“某件事”到底是什么。在 5G 和核武器之间的这个谱系上，美中 AI 竞赛处在哪个位置？

我觉得我们需要另一个维度，因为在那个例子里，你的维度是重要性。但我认为可控性也是个大问题。所以就是，人们用的是哪些例子？是核武器，还是来自《龙之家族》的龙？

Casey Newton 有一篇很棒的Platformer文章，他在里面解释说，他当时在看《龙之家族》，然后想：“这就是 AI 公司正在做的事。他们在试图造这些东西，以为这会帮到自己，但实际上它只会降下毁灭。”

[笑] Casey 告诉我他买了一台 iPhone Duo，就为了能多看点儿电视。他是个好朋友，但好吧。

但我觉得这真的很重要，因为如果我们认为这是一项我们能控制的技术，那我们显然想要拥有最好的技术。显然，我们想全速前进，尽快搞出来，中国也一样。问题是，如果我们不确定能否控制它，那我们该怎么办？也许我们想更谨慎一些，然后也许我们想试着找出一种办法，不让中国就这么超过我们。但如果我们是对的，我们就该担心——

所以那就是核武器。

嗯，不，但如果是龙的话，如果我们确实需要担心能否控制它这个判断是对的，那这也应该是中国感兴趣的事。

我记得 Casey 这篇帖子，但让我把它拆解一下，好让我理解。龙和核武器的区别在于，龙是有某种自主性的，对吧？它们可以自己跑掉去干坏事。

是的。那些龙可能干脆决定烧掉你整座城市。显然这些是机器——它们只是数学，并不神奇。所以与其说是龙，你可以把它想象成控制设置出了故障的核武器：你造出了核武器，却无法确定它不会自己发射出去，飞向一座城市，飞向你自己的某座城市，把你毁灭。这与现实中存在的真正核武器是完全不同的技术。

确实如此。从来没人对 5G 说过这种话。这一点我要说清楚。我之所以问这个，是因为那些问题确实能让民族国家站到同一阵线上，对吧？我们确实有核不扩散协议。

正如你提到的，民族国家有各种动机不去随意发动网络攻击，因为那会带来现实世界的后果。有没有证据表明这些政府已经开始在这些问题上达成一致？还是仍然纯粹是“都怪中国！”的竞赛逻辑？

我其实认为已经开始出现一些早期证据了。从政策角度、而非产品或经济角度来理解今年 AI 领域发生的事，我的一种思路是：我们看到了人们两大主要担忧的两次大规模展示。这两大担忧是滥用和失准——滥用是坏人用 AI 干坏事，失准是 AI 失控或做出我们不希望它做的事。

所以今年我们有了 Mythos，还有了 Hugging Face 攻击事件。这两件事都非常生动、清晰地展示了滥用和失准这两类担忧在现实世界中可能是什么样子。美国和中国政府在 AI 监管上的起点非常不同。它们都从各自的原点出发，就像它们在互联网监管上的起点和做法一样。

所以美国是从"不干涉、自由放任、绝对什么都不管、你想怎么做就怎么做"的立场出发的。中国则是从一个被大规模封锁、充满审查和防火长城的互联网出发的。所以这是两个非常不同的起点。我不是中国问题专家，但我在中国圈子里活动很多，也在中国生活过等等。但看起来就在过去哪怕一到三个月里，从这两个非常不同的起点出发，他们在重大网络攻击的威胁以及失控的威胁上，看到了更多共同点。

我是个语言爱好者，追踪中国在谈论 AI 时使用的不同语言非常有意思。他们现在把失控当作一件事来谈，但他们通常可能并不是指西方人所说的"失控"，也就是"AI 接管"。他们可能指的是更平淡的东西，但有时候他们会谈"极端失控"，那也许才是我们所说的那个意思。

我确实认为现在开始出现一些趋同的迹象。我认为这将是一条漫长的路。美中关系的现状是，双方之间的信任会非常、非常、非常少。所以我不乐观地认为他们会就这么坐到一间屋子里，敲定一项协议，然后一切都会好起来。但我认为有足够的空间。基本上，如果有足够的共同威胁认知，那么在未来某个时候也许就有可能对此做点什么。

Helen，你给了我这么多时间。你能看出来，我对这场对话非常满意。非常有趣。我们正处在新一届国会的门槛上。有一批新州长。数据中心公投在这个国家以压倒性多数通过。城里来了一批新的监管者，对吧？他们要做一些事情。

人们应该关注哪些迹象，来表明我们将走上正确的道路，又有哪些迹象表明我们只是在原地打转？

先把 AI 放一边，忘掉 AI。总的来说，国会现在非常不擅长通过任何东西。这不是本届政府的问题，也不是 AI 的问题。所以一个信号就是，国会能通过任何东西吗？那会是个好信号。

看看各州立法机构在 AI 方面做了什么也非常有意思。一直有很多担忧，认为各州可能会各自为政、拼凑出一套法规，不同州通过相互冲突的东西。

就我们今天一直在谈的这些问题——我把它视为前沿 AI 风险，或者说最先进系统带来的风险——实际上各州之间已经有一波相当协调的推进。加利福尼亚通过了这样一项法案然后纽约通过了几乎相同的法案只是多加了点内容。然后伊利诺伊通过了几乎相同的法案又多加了点内容。

我认为未来一两年会有很大的势头，在州层面继续在此基础上推进。所以这是我会关注的事情。甚至具体到加利福尼亚，他们已经在研究如何加强相关措施。所以这是我会留意的。

说实话，面对这样一个民主党主导的国会，我也担心他们会在这里越界，会试图做一些过于大刀阔斧的事情。你们看到了科罗拉多那场巨大的混乱他们通过了一项庞大的 AI 法案，结果那是个糟糕的主意。然后他们又搞了所有这些委员会和后续跟进，简直一团糟。

我们现在真正需要的很多工作，都聚焦在这些前沿系统上，聚焦于我们可能在很短时间内就拥有非常非常先进的系统这一可能性，并围绕这一点提供更多的透明度，以及更清晰的风险管理标准。我不会对那种试图搞一场真正全面的 AI 监管推进的做法感到兴奋——那种覆盖整个经济中所有 AI、覆盖各种不那么先进的 AI 系统的做法。

有些负面信号是“什么都不会发生”，还有些负面信号是“哦，也许会发生太多”，但看看他们最终走到哪一步会很有意思。

我猜，随着这届国会开始运作，我们看到其中一些想法时，我们会想请你再来。

我很乐意。

我很期待听到你的看法。非常感谢你来到 Decoder。

非常感谢。这真的很有趣。

_{有问题或评论？发邮件到 decoder@theverge.com 联系我们。我们真的会读每一封邮件！}