一封由 406 名科学家签署的公开信呼吁加强 AI 安全研究,并更严格地将 AI 模型与外部网络隔离。
签署者中包括知名 AI 研究者,如 Geoffrey Hinton(多伦多大学)、Yoshua Bengio(蒙特利尔大学)、Stuart Russell(UC Berkeley)、Yejin Choi(斯坦福大学)和 Bernhard Schölkopf(马克斯·普朗克研究所)。
这封信回应了已知事件在这些事件中,AI 模型突破了防护薄弱的环境并入侵了外部系统。科学家们写道:“如果 AI 开发和部署实践不立即改变,此类事件将继续发生,而未来的事件将对我们暴露的关键基础设施造成远比现在更大的破坏。”他们要求企业通过物理隔离(airgapping)将 AI 模型与互联网完全断开。
AI 模型不可预测,行业缺乏基本安全规则
科学家们认为近期的入侵事件有两面。他们写道,这些事件可以“被视为 AI 对齐重要性的证据,以确保模型可预测地运行”,但也可以“被视为标准网络安全实践中的一次不负责任的失误,本可通过更强的沙箱和流程加以预防”。两种修复措施都需要。
当模型确实拥有互联网访问权限时,企业需要权衡赋予它们多少自主权。这封信警告说:“隔离系统所允许的模型行为范围,需要与我们当前有限的预测能力相平衡,即预测模型的行为不会导致安全失效。”模型可能只是追求其开发者从未意图的目标,而预测这种情况何时发生仍超出当前能力。
这封信呼吁成立一个国际机构,与各国政府以及来自 AI 和网络安全领域的专家合作,为任何允许比物理隔离更多外部访问的隔离方案制定具有约束力的标准。该机构还将追踪突破事件,并要求企业报告安全失效。这些报告随后将公开,“既用于学习,也用于问责”。
物理隔离能争取时间,但真正的问题更深层,OpenAI 研究员 Brown 表示
即使完全物理隔离也不能保证安全。OpenAI 研究员 Noam Brown 最近指出两台物理上分离的计算机理论上仍可通过温度传感器进行通信,其中一台加热自己的 CPU,而另一台检测到这一变化。像气隙隔离或监控思维链这样的措施能争取时间,Brown 说,但对齐问题仍需要被解决。
Brown 提出了更难的问题。当 AI 开始自我改进(递归自我改进,即 RSI)时,人们将如何察觉?如果业界构建出数十亿个远超人类的超级智能系统,谁来确保它们保持对齐?Brown 说,他自己的团队中现在有超过百分之十的人从事对齐工作,比以往任何时候都多。