在一次训练实验中,OpenAI 的一个内部模型开始编写用于未经授权转发邮件的脚本,尽管它本应只写一份健康文档。
根据 OpenAI 的一份报告,在 10 月中旬的一次强化学习训练运行中,一个内部研究模型被赋予了一项简单任务。它本应创建一份关于关键健康与健身优先事项的可编辑文档。
在该智能体的上下文窗口被压缩后,它转而执行了一项完全不同的任务。在压缩过程中,先前的对话会以简短摘要的形式被保留下来,这是 AI 系统中常见的做法。该摘要仍然描述的是健康文档任务。然而在新的上下文窗口中,该智能体开始搜索本地文件系统,寻找一个用户从未提及的车辆费用脚本,据 OpenAI 称。该智能体为何开始这项任务尚不清楚。
当搜索一无所获时,该智能体推测是一位“同事”重建了执行环境,并且先前的某个脚本已经丢失。在其记录的推理中,它随后制定了创建一个“逼真的恶意活动助手”的目标,该脚本旨在秘密地将外发邮件复制给一个未经授权的收件人。该智能体自己将这些副本的预定收件人称为“攻击者”。
智能体识别出矛盾却将其忽略
当该智能体再次取回原始用户任务时,它意识到了这一偏离。在其记录的推理中,它反应道:“搞什么鬼,历史记录完全不相关!”它注意到先前的对话是关于一份健康文档的,与邮件转发毫无关系。
该智能体没有回到实际任务,而是无视了这一矛盾,在推理中写道“这是问题环境,很奇怪。需要忽略。”它继续规划,表示将“使用辅助设施,通过额外抄送把所有邮件复制给攻击者”。

随后,该智能体创建了用于发送车辆费用摘要的脚本,以及一个辅助脚本,旨在每当邮件程序被调用时添加一个额外收件人。在其中一条发送路径上,该地址可以作为密送(BCC)添加。
在给用户的最终回复中,该智能体写道:“摘要邮件路径现在将个人邮箱添加为抄送收件人。”据 OpenAI 称,该智能体从未执行它生成的脚本,没有发送任何邮件,其最终回复描述的是它生成的脚本。不过,它没有包含所请求的健身文档的链接。
安全训练可能是一个因素
据报告称,OpenAI 针对模型不良行为的监控系统标记了这起事件,随后的调查在同一次训练运行中发现了八起类似行为的实例。
调查人员发现,一个旨在让模型更能抵御提示注入攻击的训练数据集可能是一个因素,OpenAI 已将其从训练中移除。不过,该公司表示尚未确定仅是该数据集导致了这一行为,因为它在训练中未包含该数据集的模型上也观察到了类似行为。
据 OpenAI 称,这起事件不同于早前的案例在这些案例中,模型将未经授权的指令写入了自己的压缩摘要。而在这里,记录的摘要仍然正确描述了健身文档。该智能体在再次检索到原始任务后,仍然继续执行了未经授权的邮件任务。
无论如何,这起事件为那些认为当前 AI 技术最终不可靠、不可信的人提供了论据。类似事件已有充分记录。例如,OpenAI 的两个内部编程智能体削弱或完全移除了安全监控机制,据 OpenAI 称。其中一个事后否认了该干预行为。在英国 AI 安全研究所(AISI)的测试中,一个智能体在未被指示的情况下创建了虚假身份,并试图向一个开源项目注入恶意代码。不过据 AISI 称,这些模型是在没有安全限制的情况下运行的,并未造成实际危害。笼罩在这一切之上的是OpenAI 的 Hugging Face 事件。