来自 METR 和 Redwood Research 的两名研究员在 OpenAI 现场驻留了三周,审计该公司针对失控 AI 行为的内部监控系统。

从 7 月 21 日到 8 月 11 日,他们可以访问 OpenAI 的代码库和内部文档,并访谈了约十几名员工。

该团队发现了大量薄弱环节。据估计,在审计期间,来自 GPT-5.5 级别及以上模型的内部智能体 Responses API 流量中,有 6% 到 25% 完全未被监控覆盖,不过 METR 表示这一估计的不确定性在两个方向上都很显著。

对于本应受到监控的内部 Codex 流量,METR 估计在 5 月至 7 月间约有 10% 未被追踪,原因是系统处理压缩事件(即上下文摘要)的方式存在缺口。据 METR 称,这一估计同样存在显著不确定性。OpenAI 在审计仍在进行时已独立发现并修复了该缺陷。

在压缩事件未被监控的期间,智能体还可以拖延监督,因为系统只会在它们将控制权交还给用户时才触发。这意味着智能体只要继续执行操作就能绕过它。

审计人员还找到了对监控器隐藏数百个操作以及绕过 Codex 沙箱的方法。他们判定,特制的输入很可能让监控器彻底崩溃,而且在审计开始时,RL 训练期间的模型行为完全未被监控。

AI 监控可能失效的四个层面,从覆盖缺失到欺骗人类审核员。| 图片:METR

OpenAI 表示,它暂停了 RL 训练在Hugging Face 事件之后,于 8 月将监控扩展到覆盖该训练,但这些变更是在审计人员的访问期结束后才做出的,并未纳入评估。

完整报告的大部分内容仍对公众保密

OpenAI 表示,它已修复了所有薄弱环节审计人员发现的,完整的 61 页报告已在内部移交。在 OpenAI 进行删减后,METR 和 Redwood Research 的领导层收到了一份 38 页的版本,而只有一份简短摘要向公众公开。METR表示它无权自行披露被涂黑的部分。

这次审计是一个试点项目由 METR、Redwood Research 和 OpenAI 联合组织,旨在让外部研究人员深入访问内部基础设施。对于未来的审计,METR 表示希望推动更多的公开透明度。

没有炒作的 AI 资讯——由人类精选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

立即订阅