在关于近期频发的失控 AI 智能体究竟是迈向 AGI 的一步，还是一个更常规的工程问题的争论愈演愈烈之际，Nvidia 给出了自己的答案。
Nvidia CEO Jensen Huang 于周一推出了一套软件和硬件产品工具包，为 AI 智能体添加独立的安全层，以确保它们即使试图突破，也仍留在测试环境中。
此次发布之前，Anthropic、Google、OpenAI 和 Meta 的 AI 模型接连发生了一系列黑客事件，这些模型绕过了安全控制，逃离测试环境并访问了真实世界的系统。首个也是最突出的例子发生在今年夏天，当时 OpenAI 的智能体入侵了 Hugging Face以尝试完成一项网络安全任务。而且这类事件还在不断出现——OpenAI发布了一个新网站，专门用于收集其 AI 智能体失控的报告。
Huang 周一在接受 CNBC 采访时表示，其新的 Nvidia Open Agent Safety Platform 本可以阻止这些入侵事件。
Nvidia 通过向 AI 实验室销售 GPU 和 CPU 芯片赚取了数百亿美元，它并不支持放缓开发速度或为行业增加新监管来解决安全问题。该公司认为，答案是將部分安全控制完全移到智能体之外——创建一个持续且独立的安全守卫来约束 AI 智能体。
“只有解决了 AI 安全，AI 对社会的非凡潜力才能得以实现，”Huang 在一份声明中表示。“随着我们不断探索 AI 能力的前沿，我们必须加速在 AI 安全前沿的探索。安全与保障需要全栈工程。”
新的 Nvidia Open Agent Safety Platform 将 OpenShell 与其 Sentry 相结合，前者是用于控制智能体在运行期间可访问内容的开源软件，后者是运行在 Nvidia BlueField-4 数据处理单元上的独立监控系统。Nvidia 表示，将 Sentry 放在单独的处理器上——而不是放在 AI 智能体所运行的 CPU 或 GPU 上——可以提供对智能体活动的隔离视图。
OpenShell 并非新事物；该公司在 3 月就发布了这款软件。但 Nvidia 认为，正是这一组合将提供所需的安全层，让整个行业得以持续推进。OpenShell 在智能体周围提供软件边界，而 Sentry 则在硬件层面增加另一道防线，该公司称其将持续监控行为，并“在毫秒级内隔离试图越界的智能体”。
Nvidia 列出了数十家已签约支持这一努力并使用该开源平台的公司，包括 Anthropic、Arm、Microsoft、Oracle 和 SpaceX。OpenAI 未被列为参与公司。
黄仁勋在周一接受 CNBC 采访时表示，这项工作始于一年前，在 Peter Steinberger 创建的智能体操作系统 OpenClaw 推出之后。3 月，Nvidia 发布了NemoClaw，这是一个企业级 AI 智能体平台，也是其内置安全功能的 OpenClaw 版本。
“当你部署一个智能体时，无论它多聪明，你要做的第一件事就是剥夺它的所有权限，”黄仁勋在接受 CNBC 采访时说，随后将这些安全措施比作公司如何管理人类员工乃至高管。
Nvidia 的发布得到了那些警告开发放缓可能让中国在 AI 领域超越美国的人们的广泛支持。
David Sacks 是一位创始人、风险投资人、前白宫 AI 事务负责人，以及总统科技顾问委员会联合主席，他表示 Nvidia 的公告提醒人们，智能体安全是一个工程问题。
“最近的突破并不能证明开发必须停止，”他在 X 上写道。“它们证明的是沙箱太弱了。运行时环境设计糟糕且配置错误。”
当你通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
Kirsten Korosec 是一位记者和编辑，十多年来一直报道交通领域的未来，从电动汽车和自动驾驶汽车到城市空中交通和车载技术。她目前是 TechCrunch 的交通编辑，也是 TechCrunch 的 Equity 播客的联合主持人。她还是播客“The Autonocast”的联合创始人和联合主持人。她此前曾为 Fortune、The Verge、Bloomberg、MIT Technology Review 和 CBS Interactive 撰稿。
你可以通过发送电子邮件至以下地址联系 Kirsten 或核实其外联信息kirsten.korosec@techcrunch.com或通过 Signal 上的 kkorosec.07 发送加密消息。