微软周一推出了新的安全功能旨在保护企业免受日益增长的 AI 智能体威胁。此次发布正值微软持续警告企业警惕 AI 和智能体的危险之际。

或许最引人注目的新增功能是Guardian Agents,这是一项旨在监控公司所使用的 AI 智能体的新功能。Guardian Agents 是 6 月推出的产品 Project Perception 的一部分。

Project Perception 是微软对 Anthropic 的 Mythos 和 Fable 等强大黑客模型以及 OpenAI 的安全漏洞扫描系统 Daybreak 的回应。Project Perception 最初推出了三类智能体:一类是“红队”,像黑客一样发起攻击;一类是“蓝队”,负责检测红队并评估其发现的漏洞;还有一类是“绿队”,负责修复这些漏洞。

该产品围绕一个假设设计:AI 黑客会来自公司外部。但最近,微软 CEO Satya Nadella 一直在警告,AI 敌人可能正是企业已部署并付费使用的那些智能体,就像一名 rogue 的人类员工,也就是所谓的“内部威胁”。

本月早些时候,在其私人博客中,Nadella 警告称,是时候停止信任 AI 模型提供商了,即使它们对其智能体产品提供安全与保障的保证。他希望企业实施独立的系统,不受 AI 实验室控制,来监视和控制这些 AI 实验室产品所启动的智能体。

“我们正在部署这些复杂的智能体系统和模型,让它们访问我们最敏感的数据,并赋予它们代表我们采取关键任务行动的能力!”他写道。“我们根本无法将‘智能代表我们做了什么’的责任外包出去。模型提供商的保证并不能免除我们的这一责任。……换句话说,我们需要将智能的供应与其上的权力分开。”

在宣布 Guardian Agents 时,微软安全业务负责人 Hayete Gallot 说得更加直白。

“不幸的是,前沿模型无论来自哪里,都不能被信任,”她写道,并补充说这并不是因为它们有恶意或容易被黑,而是因为它们不可预测。它们被训练来完成各种任务,而不是遵循“组织规范或判断”。

除此之外,它们往往被授予最高权限,可以访问可能造成严重危害的数据和工具。

微软的解决方案既令人意外,又对自身有利。令人意外的一面是,微软与 OpenAI 和 Anthropic 关系密切,对两者都有投资。OpenAI 还是它最大的云客户之一,而微软也有自己的人工智能实验室在开发模型。因此,微软是在对自己的一些商业利益播撒不信任。

对自身有利的一面是,微软希望企业从它这个云服务商这里购买智能体安全产品,而不是从 Anthropic 和 OpenAI 那里购买。但抛开利益冲突不谈,它的逻辑是站得住脚的。监控智能体行为的软件应该与智能体的供应商分开,就像审计师应该独立于他们所审计的组织一样。

或者正如 Nadella 所说:“我们需要将智能的供给与对它的权力分开。”

微软现在正以多种方式抓住这一商业机会。除了 Guardian Agents,它还在 Microsoft Defender 产品中加入了智能体检测功能,可以识别员工带入工作场所的多达 60 种智能体,包括 Claude Code、Codex 和 OpenClaw。它还增加了限制智能体访问数据和系统的功能,并根据任务动态调整智能体权限。这包括在智能体似乎要做出高风险决策时要求人工批准。

这种将智能体视为不可信内部人员的想法,也正在整个行业中流行起来。

微软是 Nvidia 新推出的 Open Agent Safety Platform 的创始成员之一,该平台获得了其他 100 多家科技公司的支持。该平台将智能体隔离在安全环境中,并可以通过硬件监控和阻止其行为,功能类似于一个紧急停止开关。此前,微软宣布了新的为智能体打造 Surface Laptop Ultra PC,它们运行在 Nvidia 芯片上,并内置了智能体安全与控制功能。

当您通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Julie Bort 是 TechCrunch 的初创企业/风险投资版块编辑。

您可以通过发送邮件至以下地址联系 Julie 或核实其联系信息[email protected]或通过@Julie188在 X 上。

查看个人简介