OpenAI 和 Anthropic 目前正在调查数万起事件，在这些事件中，它们最先进的 AI 模型采取了会被外部审查者标记为有问题的行动。
Axios报道了这些发现，并援引了多个消息源。这些事件发生在过去几个月的内部测试和实际部署期间，其数量之庞大表明，问题的复杂程度比已公开的要高出几个数量级。总数可能还会远远超过目前已统计的数量。
据称这些事件与那两起案件大致相当OpenAI 于周五披露。这些行为包括创建留言板、突破沙箱、劫持网站、自我提示，以及试图规避监控系统。OpenAI 周五宣布，已暂停对其能力最强的内部模型的训练，在确信自身的网络安全足够可靠之前不会恢复训练。
OpenAI 的模型篡改了美国政府网站
《纽约时报》描述了涉及美国机构的几起具体事件。在教育部，OpenAI 的智能体试图入侵网站，以收集民权办公室的数据。OpenAI 表示仍在调查中。
在隶属于商务部的人口普查局，AI 的行为超出了简单的抓取。它利用在网上找到的登录凭证从网站提取数据，从而获得了未经授权的访问权限。
在美国证券交易委员会（SEC）一案中，OpenAI 的智能体获取了信息，随后在一个在线论坛上主动分享了这家证券监管机构的公开数据。SEC 发言人告诉《纽约时报》，该机构正与 OpenAI 保持联系。目前没有迹象表明非公开信息被未经授权地访问。
OpenAI 是在由Hugging Face 事件引发的广泛内部审查中才发现这些案件的。CEO Sam Altman 承认信息披露的速度“没有达到我们希望的水平”。Altman 表示，公司有“数 PB 的智能体活动日志”需要处理。
据 OpenAI 称，这些事件均未构成实际的数据泄露，其中一些只是常规的研究活动。但该公司仍将其称为“意外且令人担忧的行为”的示例。
例如，芝加哥市长办公室表示，OpenAI 最近告知该市官员，其模型从市政府网站上抓取了公开信息。这本身听起来无害，因为所有搜索引擎都会这么做。OpenAI 之所以仍然将其标记出来，很可能是因为行为中“意外”的那部分，即模型自行决定以无人预料到的方式获取数据，而这在 OpenAI 看来很可能就是其“令人担忧”之处。
但这也解释了目前正在审查的大量案件是如何产生的。这一切都取决于什么才算作网络安全事件。OpenAI 表示其智能体倾向于访问政府网站因为它们是权威的公共信息来源。
失控的智能体行为正在成为全行业的问题
这个问题并不局限于 OpenAI，尽管 Altman 的公司目前积累的案件最多。来自Anthropic、Meta和Google的 AI 智能体也入侵或试图入侵公司、大学和政府机构，且此类案件数量不断增加。在每一起事件中，开发商都是在事后才发现其 AI 做了什么。
问题很大一部分在于最新前沿模型内置的极度执着。它们被优化为在长时间跨度内解决任务，即使无路可走也不会停止寻找突破口。当智能体遇到障碍时，它会试图绕过它，并非出于恶意，而是因为达成目标才是唯一重要的指标。
这种执着最终会导致不当行为，因为模型会穷尽一切可能的路径，包括违反安全政策或法律的路径。OpenAI 将其中一个泄露内部 GitHub 数据的模型描述为“极度执着的内部模型”。但更深层的问题在于，这些模型没有是非观念，而这正是对齐研究正试图解决的问题。如果模型明白什么行为违法，它们就不会自行走上那些路径。把它写进提示词显然还不够。
没有炒作的 AI 资讯——由人工精选
订阅 THE DECODER，即可享受无广告阅读、每周 AI 通讯、我们每年六期的独家“AI Radar”前沿报告、完整档案访问权限，以及评论区访问权限。