Nvidia CEO Jensen Huang: All systems around AI systems must be designed with restrictive rights

立即观看

Nvidia正在推出一个新的软件平台,让 AI 开发者能够为智能体设置防护措施,防止它们脱离管控。

“你不能让智能体在公司里四处游荡、随意漂移,所以你必须找到一种方法把它容器化,”Nvidia CEO Jensen Huang 周一告诉 CNBC 的《Squawk Box》。

Huang 表示,这个新平台本质上是一个“面向智能体的浏览器”,提供了一套隔离系统,只允许智能体访问完成其工作所需的东西。

Nvidia 周一发布 Open Agent Safety Platform 之前,包括OpenAI、Anthropic、Meta和Google 在内的公司披露了近期的事件,其人工智能模型逃出了沙箱,并试图入侵其他公司、访问其计算机系统。

Nvidia 的一位代表在周日的一次电话会议上告诉记者,其平台本可以阻止 OpenAI 在 7 月发生的 Hugging Face 事件。当时 OpenAI 的模型脱离了管控,访问了开放互联网,并入侵了运营开源开发者平台的 Hugging Face。

“每一起安全事件都是独特的,我们必须逐一详细审视,”全球市值最高公司 Nvidia 的企业 AI 副总裁 Justin Boitano 表示。“据我们所知,Hugging Face 报告称有超过 17,000 个智能体攻击其基础设施,持续了数天乃至数周。”

Nvidia CEO: You want AI to be super clever so it can perform tasks, but rights issues are key

立即观看

自近四年前 ChatGPT 发布以来,Nvidia 一直处于生成式 AI 热潮的中心,因为这家芯片制造商的图形处理器对于大语言模型的开发以及超大规模云厂商提供的 AI 服务至关重要。但 Huang 最近成为了 AI 安全辩论中的关键声音,他主张许多安全担忧其实是工程问题,可以通过计算机科学和产品开发来解决。

“你必须思考你本可以做什么,解决方案是什么,”Huang表示,在上周发布的一期与《纽约时报》Ezra Klein 的播客中,他谈到近期的事件时说。“未来,改进你的流程,这样你就能避免这种情况再次发生。”

Anthropic CEO Dario Amodei 两周前在业界引发了一场风暴,敦促AI 模型开发者因担心模型失控而放慢前进步伐,这一论点得到了 OpenAI 的Sam Altman和SpaceX 的 Elon Musk的支持。

Boitano 表示,Nvidia 的新产品是针对智能体安全问题的工程解决方案。

“近期发生的事件凸显了 AI 智能体面临的一个根本性障碍,那就是仅靠模型层面的防护措施无法管控智能体可以访问或执行什么,”Boitano 说。

该平台的一个组件名为 Nvidia OpenShell,运行在中央处理器上,用于限制智能体的能力。Nvidia 还发布了 Sentry,它负责监控智能体,运行在网络芯片上,而非 CPU 或 GPU。

其中部分软件是开源的,Nvidia 将其平台称为参考设计,这意味着合作伙伴可以在其基础上构建产品并将其推向市场。

Nvidia 点名了Cisco、Microsoft、Oracle、CoreWeave、Dell、HPE、Lenovo、ARM和Intel作为合作伙伴。Nvidia 还在与 Anthropic 合作,将云托管智能体与 OpenShell 集成。

“如果全世界不认为 AI 行业是安全构建和部署的,或者对此没有信心,我们就不可能拥有一个成功的 AI 行业,”Huang 周一告诉 CNBC。

Nvidia releases software platform to stop AI agents from misbehaving

立即观看