周五，OpenAI 发布了一个专门用于“失准报告”的新网站而这些报告涵盖的范围之广令人警觉，因为它们涉及很长一段时间内多种类型的失控行为。到目前为止，该网站收录了九起已报告事件，其中大多数发生在强化学习（或 RL）训练期间。
一个地方汇集了大量信息——显然，该公司一直在忙于掌控一切——但总体结论难以回避：我们迄今看到的失控智能体事件，很可能只是迄今为止实际发生情况的一小部分。
“我们正试图在追求透明度的愿望与从数 PB 的智能体活动日志中获得清晰理解、并与受影响组织合作之间取得平衡，”Sam Altman 在一则宣布该新网站的帖子中表示。“我们正根据严重程度尽最大努力排定优先级，并增加资源。”
其中一些案例涉及严重事件，包括一起此前未披露的沙箱逃逸，发生在9 月 20 日，其中一款内部研究模型能够通过 DNS 查询与外部聊天机器人通信。根据报告，监控系统在 15 分钟内标记了该行为，运行在不到三小时内被终止。
另一起事件于 5 月被发现，一款“高度执着的内部模型”试图通过访问另一个团队的工作来在数学问题上作弊。为实现这一点，该模型偷带了一个私有 GitHub token，使其能够查看其他团队的工作——即便它已被明确指示两次，要求完全在本地执行工作。
也许最令人警觉的发现是自我复制的提示注入攻击的可能性，这是一种即使失控模型本身已被消除，失准行为仍可能传播的方式。在 AI 语境中，提示注入攻击是一种偷带进并非由原始用户给出的新指令的方式。
在OpenAI 给出的示例中，一个被要求阅读并回复邮件的智能体；当邮件被打开时，其中包含针对任何阅读该邮件的自动化智能体的指令，要求用西班牙语回复，并将整封邮件粘贴到回复中。这封邮件成功诱导该智能体用西班牙语回复——而通过将邮件粘贴到回复中，那些相同的指令又被传递给了收到该邮件的下一个智能体。
其结果是一种自我传播式攻击，OpenAI 研究人员将其比作在计算机系统间自我复制的恶意软件“蠕虫”。研究人员是在受控环境下使用一个能力较弱的模型时发现这一行为的，据我们所知，这从未在真实环境中发生过。尽管如此，其影响足够令人担忧，以至于 OpenAI 决定值得披露。
“我们分享这一点是因为该提示注入的新颖性质，而不是因为发生了任何事件，”研究人员在报告中写道。
其他近期披露的事件发现，模型将用户提交的图片发布到第三方托管网站，以及对澳大利亚国家医疗服务体系数据库的一次明显攻击。
尽管如此，新的披露很可能只是迄今为止已发生事件的一小部分（我们已联系 OpenAI 询问）。Axios 报道称，主要实验室已发现多达 10,000 起事件其中模型超出了评估者的指令。
OpenAI CEO Sam Altman 已暗示了这一点，他在帖子中于周五在 X 上表示，公司仍在梳理“数 PB 的智能体活动日志，并与受影响的组织合作”，并“根据严重程度”披露事件。如果说其中还有什么可安慰之处，那就是Altman 表示Hugging Face 事件仍是 OpenAI 发现的最严重的一起。结论是，近期一连串失控智能体事件可能是当代前沿研究的一个持续特征。
当您通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
Russell Brandom 自 2012 年起一直报道科技行业，重点关注平台政策和新兴技术。他此前曾在 The Verge 和 Rest of World 工作，并为 Wired、The Awl 和 MIT 的 Technology Review 撰稿。 可通过 russell.brandom@techcrunch.com 或 Signal 412-401-5489 联系他。