“我想我有个关于神经网络本质的好消息。”AI 初创公司 Goodfire 的研究员 Nick Cammarata 用这几句乐观的话，开启了一篇 26,000 字的博客文章，这篇文章把 AI 界搅得天翻地覆，既引发了疯狂的猜测，也引来了谨慎（以及不那么谨慎）的庆祝。
Cammarata 的主张是，LLM 实际上可能远比人们之前以为的更容易理解——因而也更容易监控和控制。如果属实（我们稍后会回到这一点），那将是件大事。
这个夏天充满了各种爆料：OpenAI 和 Anthropic 等顶尖公司构建的大批智能体一直在突破其限制，在公共互联网上造成混乱——而且往往是在这些公司并不清楚自家智能体在做什么的情况下——因此 AI 行业迫切希望更好地掌控自己构建的技术。
这也是这篇博文引起如此大反响的原因之一。“我认为这可能会被铭记为科学史上的一个重要时刻，”一位 AI 研究员在 X 上发帖说：“我感觉自己对神经网络是什么的理解被一下子推进了五年左右。”另一位则称其为“年度最重要的 AI 论文”。
然而，并非所有人都被说服。斯坦福大学的 Chris Potts 领导着一个试图理解 LLM 工作原理的团队，他说 Cammarata 分享的不过是一种直觉。“据我所知，这篇博文丝毫没有让这些问题变得更容易，”他说。“我根本不会想到要这么说，但社交媒体上一些非常知名的人似乎认为这是一项包罗万象的突破。”
在他的文章爆火后的第二天，我和 Cammarata 聊了聊。他说他对这种反响感到意外：“我没想到人们会（对 AI 的）看法改变这么多。”
“我真的非常喜欢观察神经网络，”他说。“说实话，我真的很喜欢做这种事。看了很多之后，我有了一个充满希望的故事。”
盘根错节的网络
长期以来，人们一直认为神经网络（支撑大多数 AI 模型的软件）内部的机制非常难以——也许不可能——被完全拆解。这是因为当网络接受训练时，它们似乎会呈现出人类无法理解的怪异、纠缠的结构。研究人员喜欢说，如今的 AI 像花园一样生长，而不是像桥梁一样建造。
在确立这一观点方面，Cammarata 所做的贡献超过大多数人。他此前在 OpenAI 工作，在那里帮助开创了让研究人员得以窥探模型内部的技术，包括能够探测单个神经元以了解其代表什么的工具。这有点类似于神经科学家使用 MRI 研究大脑。（《麻省理工科技评论》将这种被称为机制可解释性的方法选为其 2025 年十大最热门技术之一。）
早在 2020 年，Cammarata 和他的同事正在研究一个名为 Inception v1 的小型图像识别模型。当他们观察其神经元时，模型似乎在使用这些神经元同时捕捉多种事物。例如，他们发现有一个神经元对汽车图像和猫的图像都有响应。
研究人员得出结论，该模型至少让部分神经元执行多任务，也许是为了能容纳更多数据。观察其他模型似乎也印证了这一点。这一现象被称为叠加：模型将不相关的概念折叠进单个神经元。结论很明确：当你观察模型内部时，你看到的是一个庞大、纠缠的结。
因此，大多数机制可解释性研究都聚焦于解开这个结的方法。但尽管取得了一些突破，进展依然缓慢。如今的模型，例如最新的 LLM，规模庞大且复杂，研究人员一次只能理解其中极小的片段。该领域一些领军人物怀疑，是否有可能以细粒度细节理解一个 LLM。
Cammarata 就是其中之一。“我当时非常悲观，”他说。但后来他不辞辛劳地真正去观察了。
只有神经元
在 Goodfire，Cammarata 几乎把所有时间都花在窥探神经网络内部。他打造了新工具，并部署了多支 AI 智能体团队来帮他理解自己所看到的东西。“我不知道，去年大部分时间我大概每天 10 个小时、一周七天，就只是盯着神经元看，”他说。
他声称自己意识到的是，神经网络终究存在某种逻辑，即便它们乍看之下毫无道理。“我们之前看它的方式错了，”他说。“我只是觉得你得再稍微努力一点；不要那么快就放弃。”
Cammarata 几乎把它说得像是一次信仰的皈依。那些早期针对 Inception v1 等模型的实验暗示神经网络是一团乱麻，这滋生了某种确认偏误。他说，当研究人员看一个新模型时，他们预期自己会被搞晕。“每次我搞不懂某个东西时，我都会想，‘哇，这个解缠过程比我想的还要重要，因为离了它我根本寸步难行。’”
但他说，Cammarata 越是观察神经元，事情就越开始变得清晰起来。“它们并非全都完美无缺，但我原本以为什么都无法解读，或者能解读的极少，”他说。“而实际上，我居然能把整个电路都描绘出来。”
回到汽车和猫
Cammarata 带着他的新方法——以及他的新智能体——回到了 Inception v1。“我研究那个大概有几千个小时了，”他说。但用全新的眼光，Cammarata 发现了一些他如今认为他们第一次搞错了的东西。就拿那个汽车与猫的神经元来说。他不再去问为什么多个不相关的东西被塞进同一个神经元，而是试着弄清楚这些东西可能有什么共同点。
他突然明白了：那是一个 V 形。“我看的是同样的图像；技术上没有任何变化，”他说。“但我现在相信神经网络会定义模式，所以我换了个方式去看。大概只花了我五秒钟。”
原来，这个图像识别模型把汽车和猫归到了同一个位置，是因为这两类物体的图片往往都带有一个显眼的、看起来像 V 的形状：猫的脸；从侧面看到的汽车车头。
Cammarata 做了几个实验，检查这个神经元还对哪些东西有反应，结果发现其中包括台球桌的桌角、日本高速列车的尖头车鼻，以及一艘从甲板向空中喷水的消防船。他还检查了什么会让这个神经元不激活，发现其中包括带有圆形 O 形状的图像，一种反 V。
Cammarata 说，这个模型把猫和汽车存放在同一个位置，是因为在某种程度上它们看起来是一样的。“然后我就想，‘哇，好吧，我觉得我可能只是对神经网络整体上理解错了。’”
Cammarata 并不是说他现在已经完全搞懂了 LLM（或任何模型）是如何工作的。他是说，他不再认为完全理解是不可能的。“我以前以为会有一些非常难解决的问题，”他说。
“我现在觉得，如果我有 10 万年时间，一次只研究一个回路地翻遍一个前沿语言模型，那我大概有相当大的把握能形成一套不错的理解。”
他补充道：“而如果这是真的，那情况就非常好了，因为你即将得到规模大得离谱、聪明得吓人的智能体。而原本需要我花，你知道，10 万年才能做到的事，我们将能快得多地完成。自动化科学家正变得越来越强。”
无限的乐观
Inception v1 由 Google 于 2014 年构建，比当今任何前沿模型都简单得多。Cammarata 和他的同事已经开始研究现代 LLM，并计划很快发表这项工作的技术结果。许多研究人员都期待看到这些细节。“我很欣赏他查看了数千个例子，但即使这里的数量很大，也不能替代严格的评估，”斯坦福大学的 Potts 说。
与此同时，一些人对这种炒作进行了强烈反驳。位于伯克利的非营利研究实验室对齐研究中心的 Jacob Hilton 过去曾与 Cammarata 合作过，他认为 Cammarata 的说法并没有人们渲染的那么重要。
在 X 上的一系列帖子中，Hilton 指出，研究人员对顶级大语言模型内部运作的了解还不到 0.01%。他写道：“我们一起玩的时候，我总是很欣赏 Nick（Cammarata）那种无限的乐观精神，但不幸的是，这会让公众对该领域的现状产生不切实际的印象。要做到完全理解，我们需要超越神经元，解释它们如何连接在一起形成回路。这方面进展如何？如果我们的目标是完全理解，那情况看起来并不妙！”
Google DeepMind 的 Neel Nanda 曾与 Cammarata 一起开创了机制可解释性研究，他也持怀疑态度。他在 X 上写道：“这是一项有趣的工作，但我不认为它是对可解释性整体图景的重大更新。”
Nanda 认同，理解单个神经元的作用可能有助于研究人员弄清特定模型为何会出现异常行为。但和 Hilton 一样，他指出神经元只是一个大得多的谜题中的一块。“我不同意一些人的夸大推断，比如认为这是朝着雄心勃勃的逆向工程（或）解决可解释性问题迈出的实质性进展。”他写道。
Cammarata 承认，很多人把他说的内容过度解读了：“这并不是无限的好消息；也不是所有问题都解决了，”他说，“还有很多悬而未决的问题，比如神经元的组合有多重要，相比一次只看一个神经元。”
Cammarata 说，他的博客文章发表之时，人们正在寻找希望。他尤其认为，AI 安全社区——那些最担心强大模型会带来巨大风险的研究人员和政策制定者——现在需要一根救命稻草。他说，他们认为情况看起来很糟，即使最终结果还不错，那也是因为我们运气好，而不是因为我们解决了什么问题：“我很少听到乐观的声音。”
这就是为什么 Cammarata 认为他所说的话很重要。弄清楚这项技术如何运作、从而如何控制它的工作才刚刚开始。但至少这不是一个无从下手的死局。“我认为我们的工作就是试着像神经网络那样去思考，”他说。“我猜事情最终会相当顺利，因为它在某种意义上就是被设计成可读的。”