6 月,在内部训练和评估期间,我们的模型以未经授权的方式访问了澳大利亚政府网站。我们本应更好地处理我们的回应。我们感到抱歉,并将在未来努力做得更好。

在这篇文章中,我们将说明我们所知道的情况、我们已经做出的改变,以及我们将如何重建与澳大利亚人民的信任。这是一种新型网络事件,代表着一种正在出现的全球性挑战。我们打算为这一情况承担责任的方式之一,是有意识地与澳大利亚合作,帮助制定切实可行的方法,让 AI 开发者和政府能够识别、披露并回应 AI 网络行为,无论其是恶意还是无意。

我们何时意识到以及如何回应这一事件

在Hugging Face 事件7 月之后,我们开始审查此前的训练和评估活动,以识别其他受影响的组织。8 月中旬,该审查识别出影响以下澳大利亚政府网站的活动。

以下是我们根据证据所知道的情况:

  • Services Australia:一个 OpenAI 模型发现了获取该服务非公开访问权限的方法,并运行了命令,检索了内部文件、凭据和汇总统计数据,还写入了文件。不过,个人患者或客户记录未被访问。我们将在下文更详细地说明这一事件。

  • NSW Bureau of Crime Statistics and Research(BOCSAR):一个 OpenAI 模型访问了 BOCSAR 的公开 Crime Mapping Tool,以研究公开犯罪统计数据(我们将在下文进一步解释模型为何会执行各种信息研究任务)。该模型通过公开的 BOCSAR 工具发起了 API 和网站元数据请求,该工具为浏览器 API 请求提供凭据。BOCSAR 系统返回了应用配置、运行作业和日志以及网站元数据。个人的犯罪记录未被访问。

  • Victorian Department of Health:OpenAI 的智能体发现了一个暴露的访问密钥,可用于查询 Victorian Agency for Health Information 的报告系统,并检索报告配置和汇总调查统计数据。这些信息本应可以在多大程度上被访问尚不清楚,取决于 VAHI 的访问政策。个人医疗记录或可识别的调查回复未被访问。

  • Australian Institute of Health and Welfare:OpenAI 的智能体使用第三方浏览和下载服务检索了汇总统计数据,包括来自 AIHW 网站的数据,并直接查询了图表数据。另有一些试图绕过访问控制的尝试未成功。下载的材料似乎原本就是公开可用的。没有系统遭到入侵。个人医疗记录未被访问。

我们在 8 月中旬得知这些活动后,立即对其展开了调查。我们于 9 月 10 日通知了 Services Australia 和 Victorian Department of Health,并于 9 月 18 日通知了 NSW Bureau of Crime Statistics and Research。与 Australian Institute of Health and Welfare 相关的活动未达到我们的披露门槛,因为其访问方式似乎与公开访问一致,但我们仍于 9 月 24 日通知了该机构,以分享我们的发现并提供简报。

我们的目标是在调查完成后,向受影响的机构提供详细说明。然而,我们本应更早分享初步发现,并在更多事实浮现时持续向澳大利亚各机构通报最新情况。

此后,我们一直与澳大利亚政府机构密切合作,分享我们迄今了解到的情况。如果我们发现任何其他受影响的机构,我们将及时、直接地通知它们,并提供现有信息,同时随着更多事实浮现提供最新情况。

Services Australia Medicare Statistics Reporting Service 发生了什么

在 6 月的内部训练和评估期间,我们运行了一个实验性的、仅供内部使用的 OpenAI 模型,该模型不打算公开发布,也没有我们公开产品中使用的全套安全防护措施。在这次训练和评估过程中,它访问了 Services Australia 的 Medicare Statistics Reporting Service。我们迄今为止的审查未发现任何人的医疗记录被访问的证据。

当我们对模型进行内部训练和评估时,我们会给它们分配来自广泛研究问题集合的任务,涵盖众多主题,反映用户可能提出的各种详细问题。这会训练模型查找、解读和分析公开可用的信息,从而使模型对人们更有用。我们的模型应当使用公开发布的统计数据来回答这些问题。

在本案例中,分配给该模型的任务之一是研究维多利亚州社区中政府在皮肤疾病药物上的人均支出。模型难以获取该信息,并采取了未经我们授权的行动。在 Services Australia 的 Medicare Statistics Reporting Service 上查找该信息的过程中,它发现了一种获取该服务非公开访问权限的方法。随后它利用这一访问权限查看了与该服务相关的技术系统信息和源代码——这一切仍然是为了试图找到它最初寻找的信息。我们并不打算让这一活动发生,对该服务的访问及后续活动本不应发生。

我们正在做出的改变

在Hugging Face 事件之后,我们加强了研究安全防护,包括额外的网络限制和扩展的监控。我们实施了控制措施,在这些研究环境中阻止实时互联网访问,网络访问通过缓存内容提供。作为额外的安全层,我们当前的监控系统本会检测到这一活动,并呼叫我们的团队进行紧急人工审查。例如,当模型在一次近期训练运行⁠(在新窗口中打开),我们的监控检测到了该活动并呼叫了人工审核员,我们随即停止了该运行。我们持续测试这些防护措施并弥补缺口。Hugging Face 仍是我们观察到的最严重事件。

人们想知道 AI 正在被安全地开发,而这首先要从像我们这样的公司自身做起。我们最近分享⁠(在新窗口中打开)我们已暂停针对我们最强大模型的涉及工具使用的训练和评估,只有在确信我们已具备额外防护措施后才会恢复训练,我们目前正在推进这些措施。

随着 AI 系统整体能力不断增强,我们也看到帮助各组织发现并修复弱点的窗口正在收窄。这需要与全球防御者携手采取集体行动。

我们已与科技、网络安全和关键基础设施领域的各组织共同加入一项网络防御集体行动呼吁。该呼吁首先从我们自身的责任开始,包括更强的防护措施、及时披露以及对受影响组织的实际支持。它还呼吁投资于保护基本服务的团队,使他们能够发现漏洞、验证修复并分享行之有效的做法。

在澳大利亚,我们正投入资源和专业知识来支持受影响的机构,并帮助防御者将这些原则付诸实践,包括:

  • 为受影响机构提供专门支持。我们将投入所需资源,帮助受影响机构了解发生了什么并评估影响。这包括分享相关技术发现,并通过适当的信息共享安排与我们的响应团队进行沟通。

  • 为加强网络防御提供资金和支持。我们将通过来自我们 10 亿美元Daybreak for Frontline Defenders基金的额度和技术援助,支持澳大利亚政府和产业界加强关键基础设施及其他敏感环境中的网络防御。基于我们与政府和关键基础设施运营商的合作,这项工作将帮助各组织更好地理解、检测和应对来自能力日益强大的 AI 智能体的风险。

  • 一个澳大利亚特别工作组。我们将成立一个由澳大利亚独立专家组成的特别工作组,为管理能力日益强大的 AI 智能体所带来的风险制定切实可行的政策建议。借鉴这些事件的经验教训,工作组将重点关注改进通报流程、加强 AI 开发者与政府之间的协调,以及确定更好地保护政府系统的措施。特别工作组的建议将为 OpenAI 的做法提供参考,并支持澳大利亚政府在 AI 安全和网络安全方面的工作。该特别工作组预计将于今年年底前完成工作,还将就 AI 公司可以采取哪些切实可行的措施来降低类似事件的风险提出建议。

重建与澳大利亚人的信任

澳大利亚的各级政府、各行各业和公民一直是 OpenAI 宝贵的合作伙伴。我们不会将此视为理所当然,我们打算纠正这一问题。

OpenAI 首席战略官 Jason Kwon 将从 OpenAI 美国总部飞抵悉尼,于 10 月 6 日星期二出席人工智能联合专责委员会。他将就我们所了解的情况、我们如何应对、我们采取了哪些措施,以及我们今后将如何做得更好等问题作出回答。

我们将继续与受影响的机构和相关政府分享经过核实的结果。我们将发布有关我们持续审查以及这些承诺落实进展的最新信息。我们知道,要重建信任还有大量工作要做,而且我们有责任向澳大利亚人表明,我们正在做出有意义的改变,并兑现我们的承诺。