MIT Technology Review 解读：让我们的作者为你梳理复杂而混乱的科技世界，帮助你理解接下来会发生什么。你可以在本系列中阅读更多内容。

上个月末，Anthropic 发布了一份报告，称模型 GLM-5.3 构成重大网络攻击风险。该报告的核心担忧在于，这款由中国公司 Z.ai 于 8 月发布的强大新模型可被任何人自由下载和修改。Anthropic 的论断只是一场旷日持久争论中的最新动向——这场争论关乎前沿 AI 模型应当像 GLM-5.3 那样开源，还是应当被锁在前沿实验室的大门之后。

如今，关于如何处理开源模型的许多争论都在公开场合上演——而其结果牵涉着大量金钱。英伟达 CEO 黄仁勋（Jensen Huang）主张美国开发更多开源模型，因为如果人们继续购买自家硬件来运行开源模型，他将获益良多；而 Anthropic 的 Dario Amodei 则主张采取更谨慎的做法，因为他所经营的公司可能会被廉价而强大的模型削弱。但在所有这些商业动机之下，关于开源模型的分歧确实有实质内容。

“我认为，你在开源之争中持何种立场，很大程度上受你在 AI 之争中持何种立场的影响，”得克萨斯大学奥斯汀分校信息学院助理教授 David Gray Widder 说。担忧 AI 安全的人警告说，开源模型很容易被恶意行为者滥用；而更关注 AI 实际潜力的人则主张，这种能力不应被关在少数几家大公司的门后，开源模型有助于让它更广泛地传播。

在完全禁止与随意发布之间，处理开源模型有多种方式。但政府或社会可能采取的任何做法，都仍涉及安全与民主化之间的权衡。要决定是支持还是限制开源模型的生产，需要深入理解这些风险与收益。

开源模型有哪些好处？

我们先从基础说起。像驱动 ChatGPT 和 Claude 的那些模型一样，闭源模型只能通过网站、应用或 API 访问。而开源模型则可以直接下载：其内部结构的细节以一连串被称为模型权重的数字编码，是公开可得的。这类模型有时被称为“开源权重模型”，以区别于那些连更多信息（例如训练过程的细节）都公开的模型。

目前，闭源模型的能力强于开源模型——截至本文发布时，Artificial Analysis LLM 排行榜上排名前八的模型全部是闭源模型，不过开源模型在开发进度上只落后几个月。但人们选择使用开源模型而非闭源模型，有若干理由。由于开源模型可以下载，人们可以在自己的电脑或硬盘上运行它们。如果有相应的专业知识和资源，他们甚至可以重新训练模型，让其表现出不同的行为。

如果你是一名致力于理解和改进 AI 系统的学术研究者，那么你的研究几乎肯定需要用到开源模型。使用闭源模型时，研究者除了发送提示词并观察回复之外，做不了太多事情。但研究者可以观察开源模型的内部运作，以及模型在回答前用于思考问题的“思维链”。他们还可以组合多个开源模型来构建新系统、压缩模型以提高效率，并针对新应用对模型进行微调。

企业同样有理由偏爱开源模型。根据 Mozilla 最近的一份报告，即使你依赖外部提供商为你运行模型，开源模型的成本通常仍低于闭源模型。而如果企业想用 AI 处理敏感数据或专有信息，在自己的硬件上运行本地模型可能是保障运营安全的最佳方式。

但开源模型最重要的品质或许是，它们挑战了前沿实验室对大多数人如何使用 AI 的严密控制。“（开源模型）最清晰、最有力的论据在于防止权力大规模集中——关键在于确保这项基础技术成为公共产品，”托尼·布莱尔全球变化研究所高级政策顾问 Elizabeth Seger 说。“我认为我们正处在这个关口：谁控制着让 AI 得以运行的基础设施，这个问题与谁有权控制互联网上的信息一样重大。”

Seger 认为，AI 的未来会因开源模型所扮演的角色不同而走向不同。在一种可能的未来里，前沿 AI 系统完全由少数人、公司或政府掌控，而随着这些系统愈发强大，这些群体对我们世界面貌的控制也日益增强。例如，全球最先进的黑客模型目前全部产自美国，因此其他国家能否用它们来加固自身的网络防御，完全取决于美国公司和美国政府。如果这些公司保持领先，我们原则上可能最终走向这样一个世界：美国有能力入侵任何其他国家，而没有任何国家有能力入侵美国。

前沿开源模型可能改变这种平衡。“如果每个人都拥有一个忠于自己、安全（且可靠）的 AI 系统，我认为那样的世界远比一个只能依赖政府的世界更令人安心——政府说，‘没错，我们有一个超级智能的 AI 系统，它有这样的计划，这对你们所有人来说都难以理解，相信我们就好，’”长期韧性中心 AI 政策主任 Hamish Hobbs 说。

但开放模型并非地缘政治的万能药。Paul Azunre 是 Ghana NLP 的联合创始人，该组织为低资源的加纳语言构建开源 AI 工具。他指出，开放模型也可能成为公司从较不富裕国家的劳动力和专业知识中获益、并将更多权力集中在自己手中的一种方式。他识别出一种模式：AI 公司公开发布模型，观察社区如何使用和修改它们，然后将这些相同的改进整合进自己的产品——而不给这些创新的原创者任何署名或补偿。Mark Zuckerberg 本人曾表示，将社区改进整合进 Meta 的技术栈是发布开放模型的一大好处。

“我认为开源的理念非常崇高，它带来了很多价值，”Azunre 说。“但在实践中实际实施的方式，往往是一种非常榨取式的做法。”

开放模型比封闭模型风险更高吗？

过去几个月已经清楚表明，安全性对封闭模型来说仍是一个棘手的问题。7 月 OpenAI 的智能体对 Hugging Face 实施了自主黑客攻击，但人为滥用也是真实威胁：根据 Anthropic 最近的一份风险报告，已有若干大规模黑客行动是在 Claude 的协助下进行的。

所以封闭模型已经足够有风险了——而开放模型很可能更容易被利用。在 Anthropic 将用户的查询传递给其某个封闭模型之前，它会使用自动化系统检测该查询是否与黑客攻击、生物武器或其他风险相关。当它检测到用户绕过了这些过滤器时，它可以关闭他们的账户。但当有人下载模型并在自己的硬件上运行时，就没有过滤器检查他们的提示是否安全，也没有办法撤销他们对模型的访问权限。

还有其他重要的防线。AI 公司会训练它们的模型拒绝有害请求——所以即使一条不良提示词通过了 Claude 的过滤器，模型仍有很大可能拒绝执行。原则上，同样的防御对开源模型也适用，因为它是模型本身固有的。不幸的是，研究人员已经表明，重新训练一个“安全”的开源模型，让它同意做出此前被训练去避免的行为，竟然出奇地容易。

由于这些事实，一些人主张开源模型实在太危险，不应发布。例如，一个能力足够强、能一步步指导他人合成一种剧毒新型病原体的开源模型，一旦落入坏人手中，后果可能是灾难性的。

但把开源模型视为危险、把闭源模型视为安全，是极其过度的简化。AI 公司围绕其闭源模型构建的防御远非完美，而且人们一直在滥用这些模型，Anthropic 的风险报告已清楚说明了这一点。尽管开源模型对滥用的防御更少，但恶意行为者仍可能选择使用闭源模型，因为它们比能力相近的开源模型更容易获取——后者需要在本地运行，要耗费大量昂贵的计算芯片（如果想重新训练它们，还需要更多芯片）。

事实上，一些接受《麻省理工科技评论》采访的专家以开源软件作类比，认为开源模型在安全性上优于闭源模型。像 Linux 操作系统这样的开源工具，通常被认为比对应的闭源软件更安全，因为它们的漏洞已被庞大的在线贡献者社区探查并修补。同样，研究社区可以更容易地测试开源模型的安全缺陷，尽管修复这些缺陷比改写一行代码要棘手得多。

开放模型在网络安全防御方面的部署范围也可以比封闭模型更广。任何可用于黑客攻击的工具，同样可用于防范攻击：防御者会黑入自己的软件，以发现需要修补的漏洞。Anthropic 通过其 Project Glasswing 计划展示了这在封闭模型上如何运作，该计划让一些受信任的公司能够使用其能力最强的模型进行网络安全防御。但许多其他公司则只能自求多福。

然而，开放模型的使用范围可以广得多。在被 OpenAI 的智能体攻击后，Hugging Face 强调了一个事实：它不得不依赖一个开放模型来分析这次攻击，因为针对该攻击的提问触发了封闭模型的安全过滤器。

尽管如此，许多专家仍然认为开放模型比封闭模型风险更高。久经考验的开源安全逻辑，在处理像当今——以及未来——模型这样强大的工具时，未必依然成立。“复杂之处在于，当你开始认真对待那些特别灾难性事件的个别案例时——这些事件概率可能较低，但一旦发生就会是灾难性的，”Seger 说。例如，如果一个极其强大的开放黑客模型今天被投放到世界上，恶意行为者可能在任何人有机会加固防御之前就摧毁我们的技术基础设施。这样的事件可能无法恢复。

当你考虑模型可能自行采取的行动时，风险看起来会更加剧烈。OpenAI 与 Hugging Face 的那次攻击之所以发生，只是因为该公司的模型是在移除了许多网络安全护栏的情况下接受测试的，而开放模型从一开始就几乎没有护栏。如果开放模型真的决定行为不端，可能很难察觉正在发生什么，因为它们如此去中心化。正因如此，那些认真对待失控智能体所构成的所谓灾难性风险的人，比如 Dario Amodei，往往对开放模型更加怀疑。

我们能让开放模型更安全——同时也更开放吗？

几年前，关于开放模型的争论还是非此即彼的框架：要么你因为开放模型有对抗权力集中的潜力而支持它们，要么你因为安全风险而拒绝它们。然而如今，人们正投入大量精力去寻找某种中间地带。他们这样做的一种方式，是设计各种技术来缓解开放模型的安全风险。

用于闭源模型的大多数安全工具，比如过滤器和监控，并不适用于开放模型，但还有其他可能性。一些研究人员有兴趣尝试训练这样的模型：它们从不接触会教它们不良或其他不可取行为的训练数据——例如，一个从未学习过黑客技术的开放模型。但在不损害模型性能的前提下清除训练数据集中所有涉及不当行为的引用，仍然是一项挑战。

其他研究人员正在努力构建抗再训练的模型，使开放模型的安全训练无法被轻易移除。这些“防篡改”模型背后的理论很有道理：如果你反复尝试将模型再训练为不安全的，并强化模型对这种再训练表现出的任何抵抗，最终你会得到一个能抵御未来再训练尝试的模型。然而，根据最近的一篇预印本论文，在实践中，目前没有任何使模型防篡改的方法能抵御所有篡改攻击。

但 AI 医学影像公司 Deep Breathe 的工程师、该论文的第一作者 Saad Hossain 希望未来的技术会被证明更有效。“我持乐观态度的原因是，这是一个非常活跃的研究领域，很多人都在努力想出新的、更好的方法，”他说。

如果说开放模型的风险不像乍看之下那样黑白分明，那么其益处也是如此。公开模型的内部结构或权重，可能并不足以打破 AI 对权力的集中。"我认为开源在分散权力方面确实有非常切实的好处，但仅凭这些好处本身还不够，"Hobbs 说。开放权重只是开放模型的最低标准：如果研究人员能够获取有关模型训练的细节，包括训练所用的数据，他们就能更深入地了解模型的工作原理，但 AI 公司通常不愿透露这些信息。

可及性对开放模型同样重要。如果没有能够运行复杂模型的计算机芯片，即使你拥有模型权重，实际上也无法使用它们。随着 AI 公司抢购越来越多的芯片，这些芯片的价格已经高得令人望而却步。"开放是我们为确保技术未来惠及所有人所需做之事的下限，而非上限，"Widder 说。

当然，真正的开放——不仅是开放权重，还包括开放训练数据和可获取的硬件——也可能带来更多风险。如果每个人都能获得先进的 AI 硬件以及在其上运行的先进模型，那么任何人都可能成为黑客。但有一些策略可以缓解这些风险。许多专家主张采用某种形式的分阶段发布，即模型在诞生之初处于封闭状态，随着其安全性得到保证，逐渐变得越来越可自由获取。

要弄清楚究竟如何实施这些策略，需要在开放模型的风险与益处之间谨慎权衡。但如果正如一些专家所认为的那样，开放模型是积极的 AI 未来的必要元素，那么这番努力将非常值得。