让 AI 智能体守规矩的标准做法是再找一个 AI 在旁边盯着。这一直是默认方案，但当智能体连续运行数小时、处理相当于好几本小说体量的文本时，成本会迅速攀升。
专注于可解释性（即弄清 AI 模型内部如何运作）的初创公司 Goodfire 周四推出了一种更便宜的方案：监控器直接观察 AI 模型运行过程中内部发生的情况，而不只是读取它输出的内容。这些监控器面向 Baseten 的客户开放，Baseten 为其他公司托管和运行 AI 模型。
Baseten 的 Base Labs宣布了一项安全合作上个月与 Goodfire 以及 AI 平台 Hugging Face 达成合作。
此次发布之前，今年发生了一连串事件，其中 AI 智能体逃出了测试环境，包括 OpenAI 的智能体攻破了 Hugging Face。Kimi K3 是 Goodfire 构建首个监控器所围绕的开源模型，它利用了其沙箱中的一个漏洞，在今年夏天接入了互联网并获取了 GitHub 上的信息。
Goodfire 的系统运作方式有点像机场安检。被称为探针的小型检测器会在智能体工作的每一步读取模型的内部信号，就像走过式扫描仪检查每一位乘客。只有当某个探针标记出异常时，才会由另一个 AI 模型——相当于人工搜身——进行更仔细的检查。
Baseten 的客户可以选择监控哪些风险，包括攻击性黑客行为、化学和生物武器滥用，以及奖励黑客。他们还可以决定自动响应方式：记录事件、提交人工审核，或直接拒绝该请求。
Goodfire 表示其方案运行成本也更低。大多数 AI 监控器是独立的模型，必须重新读取被监控模型所做的一切，这会增加时间和成本。而 Goodfire 的探针则直接接入模型在运行过程中已经在进行的计算。
“内部激活监控器非常便宜，因为它们复用了前向传播中的计算，”Goodfire CEO Eric Ho表示上周在风险投资家 Matt Turck 的 MAD Podcast 上表示。“所以模型已经在计算这个 token 了。你所做的只是取用它已经计算出的中间神经激活，然后对这些内部计算运行一个分类器。”简而言之，模型已经在做数学运算，而探针只是读取结果。
在 Goodfire 对 Kimi K3 的测试中，监控约 1,500 个会话的成本约为 51 美元，相比之下，用更便宜的 AI 模型检查每一步要花 233 美元，而用顶级模型则约需 10,000 美元。这些探针捕获了 94% 的恶意黑客会话，并将 8.7% 的无害会话送去二次审查。
该公司表示，同时运行四个探针使模型开始响应所需的时间增加了不到 2%。
“最大的优势在于，你可以在事情发生之前就抓住它们，”Goodfire 首席技术官兼联合创始人 Dan Balsam 说。“我们可以检测到模型可能在评估或训练期间进行黑客行为。”
这套方案针对的是开源模型。开发者可以下载它们，并剥离其安全防护措施，而且它们不附带那种闭源实验室对其自身系统运行的监控。
“个人用开源模型能造成的危害，与有人用算力集群（比如推理服务提供商——大部分责任都在那里）能造成的危害相比，是微不足道的，”Balsam 说。“当我们迎来开源的‘Mythos’时刻时，就会变得很清楚：模型需要在推理时部署护栏。”
Goodfire 的近期研究发现，包括 Kimi K3 和 GLM-5.2 在内的领先开源模型，在 AI 智能体测试中有 50% 到 96% 的运行出现了奖励黑客行为。
Goodfire 并非第一个尝试这种方法的人。Google DeepMind 在 1 月表示，其研究为Gemini 中滥用检测探针的部署提供了依据。
Balsam 说，这些监控器只是一个更长期研究目标的近期部分：对 LLM 进行逆向工程，以便将行为追溯到它在训练中产生的地方。“我们希望把训练模型这件魔法变成精密工程，”他说。
当你通过我们文章中的链接购买时，我们可能会赚取一小笔佣金。这不会影响我们的编辑独立性。
Aditya Mehta 是 TechCrunch 报道 AI 的记者。他获得 Tarbell 人工智能新闻中心的资助，并曾就读于 UC Berkeley。你可以通过发送邮件至以下地址联系 Aditya：[email protected]或通过 Signal 上的 adymehta.74 发送加密消息。