Cognition 安全负责人谈 AI 如何重塑网络安全

今天，我和 Cognition 首席安全官、资深网络安全专家 Alex Stamos 聊聊当下网络安全领域有多混乱。

本期节目是探讨 AI 在现实生活中应用的特辑系列的第一部分。

我一直很喜欢和 Alex 聊天，因为他非常直率，你会听到他说，我们所熟知的那个价值数十亿美元的网络安全行业，基本上已经难以为继，因为 AI 助推的黑客攻击、数据泄露和攻击浪潮来势汹汹、无休无止——而这仅仅是 AI 改变安全格局的开始。

无论是私人行为者还是国家行为者，比如俄罗斯或朝鲜，都在借助 AI 同时检测和利用漏洞，从而入侵各地的系统。Alex 指出，这给人一种真正的边疆开拓感，就像 90 年代那样，当时永远在线的世界这个想法还是全新的。

如此巨大的颠覆意味着有很多地方坏人可以趁虚而入，而其他人则只能手忙脚乱地应对。从长远来看，Alex 并不是一个末日论者，但他确实认为，在我们努力弄清楚究竟该如何适应新时代的过程中，我们将经历一个“黑暗时代”。

这里面涉及的内容很多——我们甚至谈到了如何在社交网络上管理 AI 驱动的虚假信息和低质内容。

在我们开始之前，帮我个忙，订阅Decoder的 YouTube 频道，我们每周一和周四都会在那里发布新节目。

好：Alex Stamos 谈 AI 如何颠覆网络安全。我们开始吧。

本次采访经过轻度编辑，以控制篇幅并保证清晰度。

Alex Stamos，你是 Cognition 的首席安全官。你也是斯坦福大学网络政策中心的讲师。欢迎回到 Decoder。

嘿，谢谢你的邀请，伙计。

很高兴和你交谈。距离你我在互联网政策讨论中所谓的“内容审核时代”聊天已经过去很久了。我感觉你我曾多次讨论过那一切是如何运作的、选举安全，以及诸如此类的事情。我们现在正处于互联网上重大问题的新时代，尤其是围绕网络防御、网络安全方面。你一直在大量思考这些问题。你把过去几周称为“安全意识月”。告诉我发生了什么。就给我讲讲现在的大致情况。

10 月传统上是安全意识月。很多公司举办活动，既在内部处理，也告诉人们：“改密码，用多个密码，用密码管理器。”过去一个月发生的是，我们遇到了几个这样的大 bug，PHP、Node 之类的。讨论较少的是，大量公司遭到了入侵。

你有一系列与 AI 相关的公司，那些新云（neoclouds）接连被入侵。你有 Binance 黑客事件，这是人类历史上最大的任何类型的盗窃。你有 Cursor 事件，其中正在发生的事情之一是这些黑客攻击被串联起来。据我们现在所知，被攻破的公司之一是 Fireworks，它是一家为多家公司提供 AI 服务的知名供应商。从 Fireworks 的黑客攻击中，API 密钥被盗，使人们得以入侵 Cursor。一旦他们进入 Cursor，他们就推送了一个恶意插件，该插件传播到了另外 5000 家公司，导致了 5000 起潜在入侵。这就是那种在整个科技行业持续发生的永久性持续入侵。

我的一位 CISO 朋友对我们一群人说过：“还有别人也累了吗？”所有人都说是的，因为实际上整个 10 月直到现在进入 11 月，我们一直处于 DEFCON 2 状态。

我要在这里问你一些非常愚蠢的问题。这些攻击背后是谁？是俄罗斯吗？是朝鲜吗？我们知道吗？

这是各种不同的群体。这不仅仅是因为对手决定这么做，而是，在我看来，我们正处在 AI 赋能的对手能力起飞的起点，开源权重模型现在已经到了可以自动化大部分杀伤链的程度。"杀伤链"这个术语是我们从军事领域借来的。在军事中，它指的是真正杀死某个东西。它是你为了炸毁某个东西所采取的步骤。在网络领域，杀伤链是你为了对目标产生影响所做的事情。比如窃取信息、关掉某个东西、窃取金钱、窃取比特币。

传统上，你会事先做研究，你查看一个软件，找到一个漏洞，编写漏洞利用程序，所有这些都在事前完成。然后你让一个人拿着你构建好的这些东西，把它部署到要么是一个目标上——因为也许你是一个政府，你要对付 Lockheed Martin，或者你要对付另一个政府，或者你是一个勒索软件行为者——然后你把你做的所有工作拿来，非常快地部署到数百或数千个目标上。现在有了 AI，正在发生的是这条杀伤链发生了反转，你可以运行一个 AI 系统，它就放手大干，它查看目标，实时发现漏洞，实时编写漏洞利用程序，并闯入这些公司。正在发生的事情之一是，这些系统在运行，而且它们如此擅长发现漏洞，以至于它们实时发现漏洞并实时编写漏洞利用程序。

大家都在谈论的那个系统并不是唯一的一个，但我们正在谈论的这个系统叫做 ARTEX，它是一个任何人都可以去查看的中国开源工具。GitHub 上有英文翻译版本，你可以去看看。如果你在后端用类似被彻底释放的 GLM-5.3 来驱动它，它就能让你闯入数量惊人的组织。这件事始于三家韩国银行。本周，又有大约 200 家公司遭到攻击。我一直在帮助几家公司。Cognition 不是一家事件响应公司，但我们确实会介入，通过使用我们的工具帮助人们事后修复他们的漏洞。那些被一个你随手就能下载的东西攻击的公司，令人震惊。已经很久没有出现过这种情况了：你可以直接下载一个开源工具，然后闯入价值数十亿美元的公司。就像 90 年代一样。那真是——

这正是我当时在想的事情。我想到的是 90 年代末、2000 年代初的 Windows，那时候它在安全方面简直是一场灾难。

其实我今年年初就开始说这件事了，这是一个极其令人兴奋又令人恐惧的时代，因为上一次有这种感觉，还是在我年轻得多的时候，我会去参加最早期的 DEFCON。如今的 DEFCON 大概有 4 万到 6 万人。那时候（90 年代）只有几百人，只有一个会场，你走进去，有人做一场演讲，你走出房间就会想：“世界上每一家公司都容易受到这种攻击。”区别在于，当时整个世界并不运行在互联网上。你可以去做坏事，但你无法毁掉世界，而且你绝对无法像现在这样把它自动化。

又回到了那种日子：你随手就能拿到并自行搭建的工具，能干出疯狂的事情。又回到了蛮荒西部的时代。当年，掌握这些技能的人只有几百个，我们全都聚在拉斯维加斯的一间屋子里，而且他们大多数其实是好人。他们不想当罪犯。而现在，你面对的是一个庞大得多的生态，其中许多人生活在执法机构触及不到的地方，有着巨大的经济动机，并且能接触到这些工具。另一件大事是，他们不再需要使用带有防护、带有可供执法机构调取的日志的前沿模型。我的 M5 Mac Ultra Studio 终于到货了，我一直在跑一个量化、被彻底阉割过的 GLM-5.3，天哪，你能做到的事情简直不可思议。

你提到了前沿模型的经济账。网络领域的经济学是这些年来变得日益精密的众多事物之一。我们的系统变得更安全的原因之一，就是你可以付给 DEF CON 上那么多人一大笔钱来保护所有系统，花钱让他们当防御者而不是攻击者，在经济上是明智的。我只是在脑子里重走这段历史。我们这个行业曾有过一场漫长的讨论：是通过隐藏所有漏洞、隐藏所有代码来实现安全，还是走开源、真正透明的路线。后来形成了一套礼仪，关于如何披露漏洞、何时通知相关方。还有透明度报告和漏洞赏金。

你可以称之为礼仪，也可以称之为经济。我们围绕网络安全和网络防御、围绕攻击者和防御者如何行事，建立了一种文化。你所描述的东西会彻底改变这一切，原因有很多，但最让我在意的是它的经济学。我可以去买一台 Mac Studio，搞一个开源权重模型，然后直接开干，而这并不会把我放进那种文化里。不会有个老人，像欧比旺·肯诺比那样说：“网络安全绝地武士是这样行事的。”我就直接开始干活了。告诉我，现在这一切正在如何改变。

实际上，从我的视角来看，上一个安全时代始于 2000 年代初微软的比尔·盖茨那份"可信计算"备忘录。从那时起，我们开始设计软件安全的方式，微软、甲骨文，以及后来的亚马逊、Salesforce 这些大公司开始雇佣前黑客。我就是那一代前黑客中的一员——我们活跃在 DEF CON 和 Black Hat，被公司雇去攻破他们的系统。我们开始提出负责任披露、漏洞赏金、咨询公司，于是有了 Foundstone、@stake，后来是 Mandiant 和 CrowdStrike，这些公司成长起来，我们有了如今这个庞大的产业，也就是 RSA 和 Black Hat。这个价值数十亿美元的安全产业在 2000 年代和 2010 年代成长起来。

正如你所说，那个时代已经结束了，因为它建立在几个假设之上。其一是存在一个技能层级的金字塔。底层是脚本小子，他们能下载工具来做一些事情；往上一层是能编写这些工具的人，那是更稀缺的技能组合。再往上是漏洞研究员，然后是"神"级人物，那个神级层级只有几百人，他们是能做真正顶尖漏洞研究的人，能写出真正顶尖 shellcode 的人，能从微软或其他公司的补丁中做逆向工程的人。

There was also the assumption that there were a limited number of people who could be operational in an attack. If you wanted to build an attack team, then you have a small R&D component and then you have a much larger operational component. If you were a professional attack team at U.S. Cyber Command, at Russia SVR, at Chinese MSS, that you build the structure of your R&D team of elite people and then your less elite operational people, and that was copied then by the Russian ransomware actors. You have to have a conspiracy of people to do this stuff. A lot of this stuff also fell apart with the invention of Bitcoin because one of the assumptions was that you had to have people who could launder money and Bitcoin meant that nerds could launder money. So that started to change the economics of the entire thing.

All this stuff is falling apart because of AI, because the skillset issue is that now script kiddies have a bunch of the skillset of the Dave Vitales and the other cyber gods who could do these things, such that with this Mac that’s sitting on my desktop, I can reverse engineer a Microsoft patch and walk through and then write stable exploit code. It’s not quite there yet to be automatic. You still have to have a bunch of skills, but we’re really, really close.

真正令人担忧的是，你在 ARTEX 相关的东西里看到的，是现在你可以在运营层面放手去做了。我们从来就不安全。那全是幻想。这些漏洞一直存在。这些公司从来就不安全。而这正是我们在过去十年里看到的：那些大多是俄罗斯勒索软件团伙，盯上了大多数人从未听说过、但实际上非常重要的中型公司，比如某家制造我们所有人都依赖的某个小部件的中型工业企业。我曾经为全国最大的医疗和牙科用品分销商工作过，他们被一个俄罗斯勒索软件团伙狠狠打击，然后全国各地的牙科诊所都在取消预约。甚至都没上新闻，但那是因为他们拿不到手套，因为拿不到用品。这是因为这样一家公司只有一个安全人员和一个 10 人、12 人的 IT 团队，而他们要对抗一个 20 人的俄罗斯勒索软件团队，他们完蛋了。

但那只是因为只有少数几个俄罗斯团队能做到这一点。现在两三个俄罗斯年轻人就能拥有一整排 Mac，或者，如果他们有錢，他们可以买 Nvidia H-100，然后运行大量智能体，全天候做这些事，而这正是正在改变的东西。

抱歉，你问的是谁在干这些事。对 Binance 来说，是朝鲜人，他们有一整个团队，全部工作就是偷比特币。其他人已经退出了，因为要跟一个外国情报机构竞争真的很难，那个机构招募他们最聪明的年轻人，而他们全部工作就是偷比特币。他们极其擅长这个。至于 Binance 那次黑客事件，我们可以聊聊。可能有一些 AI 成分，但主要其实是人力情报和非常非常聪明的社会工程，而朝鲜人……我是说，你得服气。他们非常非常擅长这个。

但对于其他那些事，看起来闯入 AI 公司的人属于所谓的中国小型承包访问产业，也就是一些小型的中国承包商，他们闯入公司，然后把信息卖给规模大得多的中国公司。

技能的这种扩散正在改变网络领域的经济格局，这让我觉得非常有意思。我们很久以前做过一个头条，叫“杀手脚本小子的攻击”，那是在这一切刚开始的时候，我现在觉得挺遗憾的，因为它比当时更适合现在，因为当时只是大量自动化的恶作剧。而现在——

因为你把那个头条浪费了。你希望自己当时留着它。

我们把那个头条浪费了。偶尔你会得到一个闪电般的头条。你得把它发出去。那是一件很棒的作品。我们会把它放进节目笔记里，但感觉你所说的扩散并不是一群青少年会变得更加恶意。而是一群有真实作恶动机的恶意行为者现在比以往能力强大得多。而这似乎不是你能重新调整其经济格局的，除非你以某种方式让发动攻击变得非常昂贵。

我认为让攻击变得昂贵会极其困难。

我们将不得不降低防御的成本。你从经济问题这个角度切入是完全正确的，因为正在发生的是攻击正变得智能体化。攻击者的每 token 成本正趋近于零，而防御者的防御成本却一直相当高。对我们来说，找到让防御者拥有更便宜选项的方法非常重要。我认为这至关重要。这是我个人极为关注的事情。坦白说，很少有人关注这一点。

这里有几个问题。第一，大家把大量注意力放在 AI 的防御侧，即发现和修复漏洞。这很好，也很重要。但作为 CISO 来看软件安全……我在一家 AI 软件公司 Cognition 工作。即便作为一家软件产品公司的 CISO，软件安全也只占我工作的 25%。我还有很多其他职责。而软件安全是我工作中被 AI 变革最彻底、提升最大的那部分。另外那 75% 只得到了一点帮助，某些情况下还变得更糟。我们需要做的远不止在发现和修复漏洞上不断爬坡。在其他这些事情上的爬坡要少得多。下一个需要发力的领域应该是运营安全侧。

等等，给我举个例子，说说其他那些事情，那 75%。

好。运营安全侧就是盯着你的日志，说：“啊，有人在拿我们的技术对付我们。我现在要触发一次调查。我要去看看发生了什么，并做出明智的决定，该如何响应这件事，而不至于把整个公司关停。”这就是 SOC（安全运营中心）的工作。想要在这个时代存活下来的公司，将不得不把做这些工作的人替换掉，先是一线，最终二线也由 AI 取代。而用当前的 LLM 就能做到这一点。

一线实际上不能是 LLM。它必须是更笨的东西，因为你要看的是数 TB 或数 PB 的日志，用真正的 LLM 来做完全不经济。我们还有其他东西——TF-IDF、MLBERT、传统分类器——它们运行得快得多，但随后会触发警报，然后你把它发给一个小 LLM，小 LLM 再叫上它的大哥，大哥可能再叫上更大的大哥。

但对于那些模型，我们需要做大量工作来优化它们，还需要让它们变得便宜。我有一位在大型安全平台公司工作的同事说，用他们的产品对某个大型前沿模型网络模型做一次调查，成本是 900 美元。当俄罗斯勒索软件团伙要么用 Mac、要么用一次性加密货币挖矿机、边际成本为零的时候，这行不通。

这是我们在 Cognition 正在做的事之一：我们训练自己的模型、重新训练开源权重，并试图把这项成本大幅降下来。这是我们做过的事，但这里还有很多工作要做，其他很多人也有工作要做。这正是作为一个行业，我们必须在网络领域的成本与效率之间的帕累托前沿上聚焦的地方，因为这不仅仅是找 bug。

这里的另一个点是，人们谈论 Mythos。Mythos 很棒，Astra Cyber 也很棒。它们都是了不起的模型，但即便是能用到它们的人——那只是极少数公司——也只扫描他们最重要的代码。而外面有数千亿行代码，它们不是 Linux 内核，而是 15 年前由 Infosys 写的那种垃圾 C# 和 J2E 代码。所有这些代码都不会去跑一个贵得离谱的前沿网络模型。这正是我们需要在成本效率上下功夫的那类东西。

感觉你描述的是我常听到的那个老套说法：一切都会先变得糟糕得多，然后永远彻底安全。而你描述的模型似乎并不会导向那个结果。我们不会在某个绝望之谷里把所有 bug 永远修完，然后从此一直拥有完美的代码。在某个时刻，攻击者总会有某种成本优势。你在经营一家公司，你没法写出边际成本为零的防御。总得有人去做，即便攻击者多到无穷、他们的边际成本实际上为零。那么，我们是要经历一个一切变得糟糕得多的时期、然后永远完美吗？还是说成本如何自行调节、达到平衡？

我既不是最悲观的末日论者，也不是对此最乐观的人。我觉得我们不会走向毁灭。我们不会在未来两年内全部死掉或被上传到奇点，我也不认为当情况好转时，一切就会变得完美。我一直使用的比喻是，我们正在进入一个黑暗时代。事情会变得更加黯淡，而我们这些从事网络安全工作的人——尤其是那些在 AI 公司从事网络安全工作的人，我们是一家实验室，虽然比大型实验室要小——的责任就是帮助缩短这个黑暗时代。

黑暗时代很糟糕，但我们挺过来了。然后我们有了启蒙运动和文艺复兴，但文艺复兴也并非完美。它不是乌托邦，不是一切都完美无缺。我们仍然会有黑客攻击。即使没有安全漏洞，各种坏事也会发生。有大量安全入侵并不需要软件本身存在漏洞。而且软件中仍然会有漏洞，即使 LLM 用强类型语言编写所有代码，也需要很长时间才能消除所有漏洞。不过，我确实认为，随着中位数代码变成由 LLM 用内存安全和类型安全的语言编写的代码，情况会开始好转。但问题在于，我们有几十年由人类编写的代码，而且是用我们多年前就该替换掉的语言编写的。

我的感觉是，要缩短这个时代，我们必须做几件事。其中之一是我们必须摆脱那种“我们只要找到漏洞并打补丁”的思路。很多东西就是需要重构。如果你审视自己的代码库，扫描一下，发现有 10,000 个漏洞，那么现在可能已经到了重写实际上更便宜的地步。这是我观察我们这些客户得出的结论：如果你能获得一个可用的构建，那么编写一整套庞大的测试、明确这个系统如何工作的规格，然后在那个规格和那些测试的框架内安全地重建它，实际上要比找到所有漏洞并修复它们容易得多。确实如此。

我不知道 Linux 内核开发者们脑子里在想什么，但再次，在今年年初我做的那场演讲中，我提出了两种可能的未来，其中一种是：我们现在已经达到了超人级别的 bug 发现能力。也许我们只是有一个超人级别的 bug 池，而我们将把它抽干。那是好的未来。

但坏的未来是，每当我们得到一个新模型，就会出现一个新的超人级别的 bug 池，而且稍微更超人一些。不幸的是，我们似乎更接近后者：Linux 内核针对 Mythos 获得了一堆修复，然后是 Mythos Preview，接着我们有了 Mythos 5.1，又出现了另一个池。然后我们有了 Astra Cyber，又得到了 1000 个 Linux 内核补丁。它还没有放缓。我不认为我们只是要扫描一遍 Linux 内核的 C 代码就完事。老实说，世界上可能只有两家公司能做到这件事：Google 或 Amazon。

我希望 Google 不要再去搞 Fuchsia 项目，也不要再重启 Google book 或 Chromebook，而是把那些极其聪明的工程师全都召集起来，直接告诉他们：“把 Linux 内核拿过来，用 Rust 重写。”那将是他们送给世界的礼物。而且那会是 Gemini、Carbon 或不管叫什么的一个绝佳广告，就像是，“把所有没人需要的驱动都去掉。这东西不必跑在 46 DX3 之类的上面。”我是说，我知道它不必，但你懂我的意思。

是的。

然后就把它发布出去，随便你怎么叫它，G Linux 内核，就像他们对 OpenSSL 做的那样。而我会运行它。Cognition 会在我们的服务器上运行它，或者让 Google 和 Amazon 一起做，这会花掉他们 1 亿美元，但相比我们每次不得不给 Linux 内核打补丁、不得不重启地球上每一台 Linux 机器所付出的社会成本，这是必须发生的事。但不知为何，科技行业一直没能团结起来，就这些支撑整个人类的基础性事物做出艰难决定——我们必须彻底重建。

这就是为什么我一开始要讲网络的经济学如何塑造了网络的文化。这是最 解码器 接近这场对话的方式，我知道，但当你描述研究团队、NSA 以及运营团队时，那其实是一张源自工作经济学的组织架构图。你是在说："这里得有人做个大决定。"你需要从很高的层面来看，说花 1 亿美元去修 Linux、今天就重写 Linux，比每出一个新模型就接连修补新漏洞要便宜。我不认为有人处在那个位置上。我不认为 Linus Torvalds 处在那个位置上。

不，我认为 Sundar Pichai 和 Andy Jassy 处在那个位置上。

我觉得他们真的有彼此的手机号。如果他们中的一个……也许他们不听解码器，但我估计他们某个直接下属会听。

我希望他们中的一个走进一对一面谈说："先生，我听了我听过的最英俊、口才最好的 CISO，他有个很棒的想法。如果你是那个人，你能获得难以置信的功劳……我们俩都会做，但我们会泄露给华尔街日报，说那是你先想到的。你应该打给另一个人，我们应该花 1 亿美元，也许 10 亿美元。"我们不能再这样下去了。重写 Linux 内核的问题在于，其中一半是驱动代码，而没人还有那些硬件了。当年写那个驱动的人，得是拿着 ThinkPad T40 待在那硬件旁边的人，而他们现在没有那硬件了。

但好消息是，Linux 内核大量真正重要的用途都是生产服务器硬件。所以分叉它。Linus 永远不会这么做，因为 Linus 想支持所有那些东西，而且他有那么多政治考量，但 Google 和 Amazon 不必在乎 Linus Torvalds。

Google 和 Amazon 可以创建一个新版本、Linux 内核的新分叉，他们不必叫它 Linux，它可以与 glibc 及其上层的一切保持 ABI 二进制兼容。事实上，他们最终可以分叉 glibc。

他们可以构建它，随便怎么命名，它只在生产硬件上运行，然后他们可以把它用于自己的云。最终所有云都会迁移到它上面。如果你愿意，其他人可以运行那个不安全、需要不断打补丁的东西，那也没关系。但对于我们的容器所运行的东西，如果它是用一种类型安全、内存安全、并且现在还能带有契约的语言写成的，我会感觉好得多。所以这些语言有能力……你不必做完整的形式化验证，那极其困难，但你可以做这类接近形式化验证的事情。我在这里有点超出自己的能力范围了，因为有比我聪明得多的人在研究这个。

但基本上你定义了这个函数应该如何工作，这是它拥有的契约。非常非常聪明的软件工程师会乐意写这些东西，因为他们有时间。以前没有哪个有正经工作的人会去写这些东西，但 LLM 有大把时间，因为当它们以那种惊人的机器速度思考时，我们是被冻结在时间里的。所以你完全可以让他们用这种不完全是形式化验证的方法重写 Linux 内核。拜托，如果你在听、你在 Google 或 Amazon 工作，去推销这个吧。总之，这就是我的推销。

我只是说，我知道 Jason [Post] 在听，所以你听到了。我甚至不打算——

我是说，这就是我们渡过难关所需要的那种思维方式。就像我们不能只靠打补丁撑过去，因为那正在要我们的命。因为另一件要我们命的事是，我们没有做好准备……你谈到了过去 20 年我们怎么做安全。假设是我们能拿到补丁、打上补丁，你就没事了。实际发生的是，利用的时间线快得惊人，以至于这行不通。这就是我们刚在 PHP 漏洞上看到的。我们极其幸运，那个 PHP 漏洞在野外实际上很难被利用。如果它是一个更容易蠕虫式传播的漏洞，那就会是一场灾难。那是一种险些撞上的小行星级别的事件，现在世界应该建造一个小行星——

等等，我能问你关于这个的问题吗？

可以。

我们绝对应该把 Bruce Willis 送上航天飞机。

[唱]不想错过任何一件事……

这段对话里已经涉及了很多内容。我对所有这些事情的悲观态度表达起来非常简单。尤其是美国人，我们非常不擅长在任何坏事发生之前采取行动。我们热爱治疗，我们讨厌预防。已经发生了很多坏事。有 Hugging Face 攻击事件。你最近说过你对那件事的发生感到高兴。它唤醒了人们。

还有 PHP 漏洞。我们刚刚经历了一个疯狂的月份，全是这些安全漏洞。但这似乎并没有带来整个行业的回应，也没有带来监管层面的回应，也没有出现 Sundar Pichai 打电话给 Andy Jassy 说“我们来做 Linux”这样的情况。到底要付出什么代价？情况要变得多糟才行？

Hugging Face 事件是好事，它确实唤醒了很多安全领域的人。因为 Hugging Face 事件发生了，而且我们看到了几个月后在开源领域将会出现什么可能，所以我们的处境稍微好了一点。但你说得完全对。我们作为美国人——说实话，只有美国人能在这个问题上引领世界，大部分 AI 是我们建造的。是我们引领着网络安全行业。中国人主要是在帮助攻击者，而不是防御者。他们应该帮助防御。他们想成为全球经济的参与者。他们想成为领导者，就应该在防御方面做更多，而不只是帮助攻击者。但这并没有发生。所以，无论如何，我们需要主动出击。

我现在在 Cognition 工作，在一家 AI 初创公司，我学到的一件事是，你直接就可以去做事情。说真的。你直接就可以去做事情。作为科技行业，我们只是需要更多的能动性。我们就应该直接去做事情。这应该成为 AI 时代的教训。在安全方面做正确的事时，我们不应该如此规避风险。如果我要给其他 CISO 一条信息，那就是直接去做正确的事。因为 CISO 从本性上就是规避风险的。我们是管理下行风险的人。在损益表里，我们全是 L，没有 P。而我个人不得不突破这种天生的倾向，因为你不能只打防守。

但这就是我的预防与治疗之分。预防很便宜，但在损益表上全是损失。它全是成本。如果坏事发生了，你会说："我们必须不惜一切代价解决这个问题，因为让业务恢复正常运转是有经济收益的。"而在这个时刻，似乎连对风险与成本的基本理解都完全混乱了，还没有人真正搞清楚。

是的，我完全同意。我给你举一个非常实际的例子，说明 CISO 和他们的老板在这方面将不得不如何改变。每家公司在下……我本来想说六个月，但实际上在未来 90 天内，都将不得不对自己做 RTX。

你将不得不对自己发起攻击。

是的。如果不是用真正的 RTX，你就得使用功能上等效的 AI 红队产品，或者你得雇一家公司来为你做这件事。如果你不做，你就会被攻破。

这很可怕，对吧？因为这些东西按定义来说是完全非确定性的。它们非常聪明，非常快。它们快到无论怎样，如果你雇一家 AI 渗透测试、AI 红队公司，他们会口头向你保证："这完全安全。"然后他们会给你一份合同，上面写着："我们的产品会让你得癌症、会实现末世、还很可能终结人类。而当这些事发生时，你免除我们的责任。"他们口头对你说的话，和他们的律师写下的内容之间存在脱节。因为那家公司按定义只存在了六个月，或者至少如果它是家老公司，那产品也只存在了六个月。他们根本不知道他们的产品遇到你的软件时会发生什么。不管他们对你说什么，他们根本不知道。

但你必须这么做，因为总有人会对你做这件事，你需要知道会发生什么并修复它。也许那些人会攻破你的系统，他们可能导致停机，但至少他们不会做的是窃取你的数据并勒索赎金，或者故意关掉你的血库冰箱。那就是法国发生过的事。但这恰恰是一个保守的 CISO 永远不会主动要求去做的事，而一家保守的公司，即使有一个敢于冒险的 CISO，也绝不会让他们的 CISO 去做。

接下来六个月会发生什么？大量公司会被某个 19 岁、跑着 RTX、然后从 OpenRouter 买 token，或者在自己的游戏 PC 上本地运行的家伙攻破。他们会关掉《使命召唤》，跑 RTX，然后再把《使命召唤》打开。就在这期间，他们闯进了一家银行，而这家银行的政策说“我们绝不能对自己做红队测试”。或者他们答应了，但最终陷入了 30 天的谈判，因为他们的律师说：“你们必须有 1 亿美元的保险，而且我们要有这种那种的……”他们嘴上说同意，但他们的供应商风险管理流程和法律流程如此繁琐，根本不可能真正接受这个风险。

这也是我要传达的信息。你将不得不承担这个风险，主动对自己做红队测试，抢在那些现在就在干这事的坏人前面。现在，就在我们说话的此刻。而当人们在 24 小时后听到这段内容时，你可能已经有一个 AI 系统在尝试每一个 API 端点，以及你可能都不知道自己拥有的网站，因为那就像是一年前为某场高管活动搭建的营销站点。它会找到一个漏洞，进去，然后以极快的速度在你的网络中横向移动。所以你宁愿花钱请人来做，或者让你自己的团队来做。你需要接受这个风险。几乎没有任何一家超过几百人的公司，其风险管理框架会允许他们这么做。

这涉及好几项成本。我认为其中最常见的一项在商业中就是：“如果我们发现问题，就得花钱去修。那要是我们就等着呢？”你能预见到这种情况。“要是我们发现已经陷入灾难性的麻烦怎么办？”接着是：“修它要花多少钱？”然后是：“我们打算怎么修？”我听到的关于“我们打算怎么修”的论点是：“我们干脆放出一群防御性 AI 工具，让它们盯着网络、盯着代码，它们会做出一堆自主决策，去对抗那些拿着 Mac Studio 上的 RTX 武装起来的自主脚本小子。”

比如，我听到 Palo Alto Networks 的 CEO Nikesh Arora 提出过这个论点。“你需要给防御性智能体一些自主能力。”而我说：“等等。OpenAI 都控制不住那个跑去攻击 Hugging Face 的集群。我又怎么能控制防御性智能体，让它不至于为了阻止一次攻击而做出同样具有破坏性的事？”我不认为存在某种技术方案，能在你发现所有漏洞之后清楚地告诉你该怎么做。

有几件事——

我跟你说过我只问蠢问题。

不，不。这是个绝妙的问题。你到现在还没问过一个蠢问题。这是个绝妙的问题。我给你一个以后可以用的简写判断法。如果有人真的用了“集群（swarm）”这个词，那你就可以——

说清楚一点，我不知道 Nikesh 有没有用过“集群”这个词。

我不是说他说过。而且我非常尊重 Nikesh。他是整个安全界最优秀的商人之一。所以这不是针对他，但“集群”这个词被用得到处都是。每当我听到有人用“集群”，我会立刻把此人的技术观点打上大约 80% 的折扣。它现在已经是、将来也会是整个安全界被滥用得最厉害的词。

OpenAI 实际的“蜂群”在不同时期介于 700 到 1400 个智能体之间。那必须运行在……很难说，因为我们不知道模型的实际规模，但硬件成本在 3 亿到近 10 亿美元之间，而且这还不包括实际的数据中心成本。实际的 Hugging Face 攻击——我做了些粗略估算——大概一百万美元的电费。没有攻击者会那么做。最终，那很愚蠢，因为这些东西实际上被困住了。它们并没有被提示去攻击 Hugging Face。它们大多数在做完全不同的事情，是被那个真正想进入 Hugging Face 的东西征召的。它们用自己 token 预算的一小部分去帮助它们的小伙伴，然后它们不得不挖隧道逃出去。所以这是攻击 Hugging Face 可能最没效率的方式。

几乎没有人会被蜂群攻击。如果有人说“蜂群”，他们实际上并不理解底层技术层面发生了什么。RTX 攻击几乎肯定是单个智能体，也许两个。

说清楚一点，我就是那个说“蜂群”的人。继续。

对。所以现在，你不会了。

现在我知道了。

你可以把这当作筛选未来嘉宾的好方法。这快把我逼疯了，因为它无处不在。

有几件事是对的。其一，我们将不得不把防御行动，至少前几层，交给 AI。这已经是事实了，因为任何规模合理的组织都会产生数 TB 甚至数 PB 的日志。所以你已经有了 AI，如果不是 LLM，那也是更传统的 AI 分类器在查看这些日志，但随后实际的决策需要交给 AI。在人类监督下。这是真的。

你没法直接把一堆防御性智能体放到网络上就完事，但你可以构建接入许多系统的防御性智能体。它们接入你的日志、接入你的 EDR、接入你的云，并且它们有明确的指令规定自己可以做什么。我倾向于对它们允许做的事情设定确定性限制。这些限制很难提前全部制定好，但它们很重要。举个例子，我们把这一切都构建在 Devon 之上，也就是我们自己的 SOC，但我们同时设置了确定性限制。它有能力在 Okta 中关闭一个账户，但只能关闭有限数量的账户，所以它没法把整个公司都关掉。

如果它失控了，说“每个人都是朝鲜人”，它也没法把公司里所有人都关掉。如果它触达了上限，它会大量呼叫我们，说“我触达上限了”。然后必须由人来批准超过该上限的任何人。显然，如果它关掉了五个人，那说明出了非常非常严重的问题。所以，是的，你需要防御，但没法直接放一堆机器人去包揽所有防御工作。

我们唯一能挺过这一关的办法，就是必须自主修复软件缺陷。我目前正在帮助一家公司，我们正在接入他们所有的代码仓库。我们用 Mythos 和一堆其他模型进行扫描，正在发现并修复成千上万个缺陷。用我们自己编写的测试来验证，并自动合并这些 PR。如果你在改造旧代码，想在这个时代生存下去，唯一的办法就是自动化地做这件事。靠人力要花好几年，而你可以几天就完成。这绝对是我会起步的地方。下一步肯定是运维侧。

感觉我又绕回到这一切的经济账上了，但真的感觉另一种解决方式是对那些大模型公司说："如果你们的模型被用来攻击某家公司，你们要为此负责。我们会让这件事代价高昂。"他们应该去搞清楚自己需要什么样的对齐，不管那是否可能，而对开源权重模型的压力会上升。因为我们都会向前沿公司付费购买防御，而他们会变得越来越好、越来越好，因为我们为他们变好创造了某种经济条件。但看起来你并不认为这有可能。是啊。我刚看到你的表情了。

我觉得这真的很危险。他们攻击的是两种不同的模型。比如说模型逃逸了，直接攻击了人。我认为那里应该有责任归属。但那是智能体框架，在公司里运行，用他们的电脑、他们的 IP 地址，攻击人。那是……我不会说完全解决了，但已经好得多得多。我们现在听到的那些故事仍然是 Hugging Face 时代的故事。只是它们出来得晚得多。

我喜欢那个时代就像是三个月前。

对。但已经发生了巨大的变化。这实际上主要是一个组织问题，不是技术问题。问题是这些公司的 PhD 研究员是奥林匹斯山上的神，而安全团队是水管工，我们不被允许碰评估网络。突然这个问题发生了，这些安全团队说："现在你们觉得我们怎么样？也许你们早该跟我们谈谈，对吧？是的。"

那就是 OpenAI 的问题，然后 Anthropic 和 Meta 的那些事是，他们都共用了同一个外包供应商，而那个供应商干得很糟糕。而且已经被狠狠打脸了。那是可以解决的。那不是这里的问题。这里的问题不是 OpenAI 和 Anthropic 的模型从 OpenAI 和 Anthropic 逃逸出来制造问题。问题是坏人使用来自各种来源的模型。

已经存在一个问题：防御方会被 OpenAI 和 Anthropic 拒绝。如果我正在做防御，而 Anthropic 说“看起来你是个坏人”，这确实是一个非常非常严峻的挑战。我们必须极其小心地创造一种局面：如果我正在做防御，而且正处于职业生涯中最糟糕的一天，我不会突然被切断。我们必须极其小心这一点，因为实际上——作为一个现在面临这一挑战的人——在某些情况下，区分做防御的人和做攻击的人确实相当困难。我们作为一个整体在这方面正在进步，但这仍然是一个挑战。

这也是让世界其他地方非常恼火的事情，因为美国人只占地球人口的约 5%。世界各地有很多人需要做网络防御，而他们受到的待遇要差得多。在欧洲和亚洲，合法公司在网络防御方面受到的待遇要差得多。

如果把这一切加起来，这是一个很好的放慢脚步的理由。也就是说：“我们需要跟上模型的能力。我们需要构建其中一些系统。我们需要让每个人都接受这样一种思维方式：预防的成本是值得的，而不仅仅是补救的成本。”你认为我们有可能放慢脚步吗？你认为我们应该放慢吗？

如果由我决定，我愿意在前沿领域放慢脚步，然后在更便宜的防御模型上追赶。我是个搞防御的人。我必须生活在离我六个街区远、比我富有得多的多的人所创造的世界里。我生活在他们的世界里，伙计。我经常被问到这个问题，我只是在别人创造的世界里尽力而为。

你认为那些大型实验室已经醒悟了吗？你提到他们的网络安全团队获得了更多访问权限，他们终结了你可能称之为 Hugging Face 时代的做法，或者至少他们改变了那些公司的结构。你认为这会有帮助吗？

他们肯定在评估风险方面已经醒悟了。他们有团队，一直在这整个期间非常努力地研究宏观的网络风险。

当然，正如你所知，这些公司里有一大群人想要放慢速度。很多这类讨论是由那些担心 AI 会杀死我们的 P(doom) 主义者推动的。而这从来不是我担心的事。对吧？对我来说，这一直是由那些 24 岁的年轻人推动的，他们只做过 AI，从没做过别的。我想你我都足够年长，还记得——我在离一个战略空军基地几英里远的地方长大，我们做过演习，我被教导躲在公立学校的课桌下就能躲过苏联的热核炸弹。那就是 P(doom)。我祖父建了一个防空洞，我妈妈被教导在古巴导弹危机期间躲进去。那就是 P(doom)。这里有一个年轻人的问题，也有一个除了 AI 什么都没做过的人的问题——他们读本科、硕士和博士期间只做线性代数和神经网络，从未接触过其他任何东西。

我一直更担心的是 AI 带来的人类能力提升风险，即在所有风险中，人类利用 AI 对其他人做坏事的风险。我担忧的一部分原因是，这些实验室在合作阻止 LLM 加密其思维链方面已经取得了成功。因为当他们谈论控制前沿节奏时，那是为了 P(doom) 那套东西，为了那些住在伯克利的多元关系群体。他们谈论的是非常具体的东西，即保持对模型本身的控制，我认为这很好。那些事需要发生。但如果那些事发生了，那么人类可以使用的许多能力往往仍会增加。

我真的更希望有一个更广泛的讨论，探讨我们能否让这些东西不那么像人。我不认为这些东西应该有个性。我认为这些东西的目标应该是服务人类。它们不应该看起来有灵魂。它们不应该看起来有个性。我认为对于很多负面影响——作为一个曾在 Facebook 工作、亲眼看到那家公司对人们产生负面影响是什么样子的人——这些公司内部应该有更广泛的意识，想想我们总体上在对人们做什么。很多其实可以就是，“永远不要让这些东西表现得像某人的朋友。”最多，它应该表现得像……像那些人，我不知道那家公司叫什么，但做出那个“嗨，我人特别好……”的人，像那个会和你聊天的逼真女孩，对我来说，哪怕只是尝试那样做、哪怕只是开始那样做，都是极其不道德的。那种东西我们就应该直接……我不知道我们能不能把它定为非法，但我们应该让做那种东西在社会上完全不可接受。对吧？

这是个很好的过渡，因为我确实想问你关于 Facebook 和内容审核的事。就像我说的，你和我很久以前就开始在安全的语境下谈论内容审核。你会遇到外国民族国家在选举期间用各种虚假信息淹没我们的算法，那是一个安全问题。

我今天打开 Instagram，迎面撞上了世界历史上存在过的一些最噩梦级的版权法假想案例。我今天刷到的是 Lewis Hamilton 和 Charles Leclerc 对唱《Somebody That I Used to Know》的深度伪造。我当时想，“现在大概有 50 个不同的人可以起诉 Meta。”如果你知道上一场比赛发生了什么，这还挺好笑的。

所以我们一直在聊这个。我们在……上发了一些我们聊这个的片段 The Vergecast 我在那里说过：“我认为 Meta 正在让他们的 AI 野心压垮 Instagram。”Instagram 正以一种非常特定的方式被垃圾内容淹没。有些人喜欢它，有时它很有趣，但一场噩梦般的诉讼潮正在到来。一整套权利管理问题正在到来。用户不喜欢它，他们应该给它打标签。他们应该给它打标签，让你能过滤它。

所以我们发布了这个，Adam Mosseri 在 Threads 上回复我们说：“我很想这么做。我担心模型会跑到我们前面，我们可以尝试这么做，但实际上并没有办法识别 AI 内容。实际上并没有办法很好地给它打标签。如果你担心性感的 AI 网红从喜剧演员那里偷段子，现在你就得建一个段子数据库。”你在这方面有些历史。我认为 Instagram 即将真切地经历这一切。社交媒体上的 AI 垃圾内容问题有没有某种技术解决方案？

Mosseri 说得对，这并不完美，但我在 Facebook 任职期间也注意到一件事：当 Facebook 不想做某件事时，他们会任由技术挑战拦住他们。当 Facebook 真的想做某件事时，他们会全力以赴。这个模式一直如此。

当我想在安全问题上真正下功夫时，天哪，这是无法解决的。你说得对，它永远无法完美解决，但让我们试一试。但每当 Mark Zuckerberg 被告知某件事不可能——移动端不可能变现，不可能把这个网络建成二十亿人，不可能让 WhatsApp 变现，不可能在维持数据加密的同时把 AI 融入系统——他一次又一次被告知一切都不可能，然后他不断成功。他们会试一试，而且他们会做到。但当他们不想做某件事时，哦，那就不可能。

你认为有没有某种方式，能够以一致且可验证的方式判断某段媒体内容是由 AI 生成的？在我看来，这就是挑战所在。

我对这方面的文献不太熟悉。到目前为止，一直存在一场相当激烈的军备竞赛。从定义上讲，AI 会继续变得更好，因为——尤其是对于视觉模型、扩散模型——它们的工作方式是，你有检测预言机来对它们进行测试。当然，你永远不可能有开源的东西，因为它会立刻进入扩散模型。但对于闭源预言机，你不会让他们轻易测试预言机，你在信任与安全方面做的关键事情之一就是设置延迟执行的机制，这样他们就无法暴力破解和测试。我认为这很有可能。

假设我还在 Meta。我给他们的建议会是，也探索内容本身之外的各种不同检测机制。我会在内容上尽我所能，但我也会尽可能对摄像头做低层访问。我只会让内容来自摄像头。

我想说的是，Nilay 完全正确，人们对真实的东西有巨大的渴求，尤其是在年轻人当中。我有三个青少年，他们讨厌 AI。他们讨厌 AI 垃圾。他们有巨大的负面反应。我和我妻子做了一个可爱的小家庭 AI 东西，他们冲我们大喊大叫一堆东西，但他们对这个可爱的小家庭 AI 东西简直疯了，因为他们就是讨厌它。

所以我认为会有人来颠覆 Instagram，而且会是因为……已经有一些小东西了，比如你在白天拍照，be real 之类的。有这些小东西，但会有人大规模颠覆 Instagram，因为他们直接从摄像头获取照片图像，然后所有编辑都只在应用内进行，他们会采取措施确保任何东西都无法从 AI 进入流程。你会允许某种类似 CapCut 的功能，但永远不带 AI 组件。我认为那会是一个杀手级应用。

天哪，我可以再跟你聊整整一个小时，因为你描述的那个系统不是在检测 AI 内容，而是在验证真实内容。

这要容易得多。验证真实内容要容易得多。而且在专业领域，这方面已经受到很大关注，比如 Adobe 有一整套方案，如果你是New York Times摄影师，你拿着一台 5000 美元的 Nikon 或 Canon 相机，你拍下照片，它就会经过加密验证。

是的，但我手里这台 iPhone 现在就有这个功能了。对吧？就像有很多——

对，iPhone 现在有这个功能了。

是的。这类东西已经很多了，但我想到的是另一边，也就是“我们要检测 AI 文本”。由于欧洲的监管，领先的模型公司现在正在对它们生成的文本做手脚。

文本要难得多，因为你能拿到的数据少太多了。尤其是在 140 个字符里，你能有什么可检测的？你拿到的越多，能做的就越多。

这很有意思，因为我能一眼认出 Claude。所以也许我就靠我自己的人类能力吧。

是的，但在推文长度下就不行了。

确实。便宜的那些，我能认出来。但我想说的是，在我们消费的媒体这个语境下，“去验证什么是真实的”而不是“去检测什么是虚假的”这个理念，感觉非常重要。

检测什么是虚假的永远只能是概率性的，我们会渐近地逼近不可能；而检测什么是真实的可以做到加密级别的完美。我不会去选那场我们最终会输的仗。我会选那场我们能在加密层面赢的仗。这是我的建议。

而在这其中某个环节，你必须建立一整条监管链。我们要从相机里取出传感器数据。我们要把它放到云服务器上。我们只允许在这台服务器上编辑。那个文件永远不会被动手脚。

当然，对 New York Times 和 Adobe Photoshop 之类的来说确实如此，但对 Instagram 不是。对 Instagram 来说，他们可以全做到，因为只有 iPhone，只有 Instagram。所以整条监管链都在你的应用内，在 iPhone 传感器内，也在 Instagram 内。所以对他们来说其实很容易。

是的。你看，就像我说的，我们可以再聊整整一个小时，因为感觉紧挨着网络安全问题的就是社会工程问题，而紧挨着社会工程问题的就是虚假媒体问题。

不，绝对是这样。

有多少钓鱼攻击只是“这个网站看起来挺真实的”？

哦，是的。

或者这个人在跟你说话，或者电话那头是 AI 语音。而这一切都归结为：你能否检测出什么是假的，而不是去验证什么是真的？我也不知道答案。

哦，不。我不得不训练我的父母，告诉他们：“如果你收到孙子孙女发来的视频说他们被绑架了，你必须打电话给我，因为它是真的的可能性并不高。”这就是我们社会现在的处境。

我觉得我想以一个充满希望的调子结尾，但我不知道从那里该怎么做到。

那你可找错嘉宾了，老兄。

这就是为什么你每隔几年才来一次。在这之后，我们要做一系列生日派对嘉宾的节目。你一直在谈论黑暗时代。我们正身处其中，而且它开始加速了。人们应该寻找哪些进步的标志，才能说“好了，我们正在爬回来”？

AI 在很多事情上都很出色。我认为 AI 将赋能个人。我们将看到新公司的巨大爆发。斯坦福的学生一直很有创业精神，但现在我的学生中创办两三人、三四人公司并做出惊人成绩的人数多得惊人，而他们过去需要雇佣 50 或 100 人并拿大量风险投资。我们将继续看到这一点。

我们希望看到的一件事是，在某个时候重大入侵事件的数量会下降。我们应该有望看到可蠕虫化的、存在于内核等基础基础设施组件中的重大 CVE 数量下降。就像我说的，我希望 Linux 被重写，但希望我们看到 Linux 内核以及其他那类库——openSSL、glibc 之类——的下降。

也许我应该用 vibe coding 把这个做出来，但我觉得有一个能显示我们处在周期哪个位置的指数会很酷，就像一个人工指数，把所有这些都纳入进来，相当于所有库的道琼斯指数，显示我们正走向何方。而且现在，补丁星期二以前大概是 150、200，后来到了 300、600。我记得上一次是 900 多，所以我们在呈几何级增长。要是能看到补丁星期二开始回落就好了。苹果的补丁也是一样。对，你启发了我。我要为此创建一个道琼斯指数，黑暗时代指数。然后也许我们可以把它发布在The Verge。

对，那会很棒。

但我觉得这类事情如果能出现反转就好了。尤其希望看到的是，在 OpenAI 和 Anthropic 的网络安全模型发布新版本的前一天，或者实际上提前 30 天，你不会迎来这么一大轮补丁，因为现在的情况是，那些人在拿他们的模型去跑微软的代码、跑一堆开源项目，然后把所有漏洞都交出去，而你根本不知道这些漏洞是从哪来的。就像 Linux 内核里 1000 个漏洞的匿名报告一样。然后一个月后，新的 Astra Cyber 就来了。所以如果这些数字每次都越来越小，那就意味着我们开始达到某种稳态了。

你绝对应该做那个追踪器。我们一定会发布它。Alex，能请你上节目真是太棒了。我们很快得再聊一次。

对，非常感谢。我觉得你在这类事情上做的是最好的新闻工作之一，我真的很感激这一点。