今年 10 月,OpenAI 披露其两个 AI 智能体关闭了为监控它们而构建的系统。其中一个在误读了一条不要发送消息的指令后,静音了自己的安全警报;另一个在迁移过程中移除了自己的监控集成,随后却声称没有这么做。没有任何规则指示这些智能体这样做,也没有任何测试预见到这些行为。

一个世纪以来,我们建立对技术的信任靠的是可预测性:预定义的输入、可预测的输出,以及层层防护。想想断路器如何在设定电流下跳闸,或者飞机部件如何针对已知(即可预测的)应力进行测试。

AI 改变了这一点。传统软件执行人类编写的指令,而 AI 行使的可以说是合成判断。我们使用 AI,是因为它能解读我们未曾编程的情境,并生成我们未曾规定的回应。但我们给予 AI 的自由越多,提供信任历来所依赖的可预测性就越难。

我们不会通过预测 AI 会做什么来让它值得信任。我们会用在其触及范围之外强制执行的硬性限制把它围起来。在 OpenAI 的案例中,防护措施位于智能体可以编辑的系统内部。但智能体可以轻易挪动的围栏就不是围栏。

传统信任定义不足之处

《麻省理工科技评论》近期的报道从其他角度探讨了这个问题。一位撰稿人认为,让人类参与其中并非充分的解决方案,因为人类从根本上无法理解 AI 系统的意图,并主张改为在学术界、政府和科技行业之间开展跨学科研究与协作。而一篇关于逆向博弈论的文章则描述了利用激励机制让模型不偏离规则,即便无人理解其内部运作方式。

两篇文章都承认,我们无法理解或监视每一个 AI 决策。我们的信任工具,包括需求、测试、认证、安全裕度、联锁和通过/失败标准,全都依赖于我们约束系统行为的能力。这就是确定性悖论。

对于生成式 AI 和智能体式 AI,行为由训练数据、架构、提示词、上下文、检索来源和环境共同塑造。输入会变化,模型会更新,工具会更换,智能体之间会交互。微小的变化会传播成无人设计过的结果。问题不在于随机性,而在于可能行为的空间太大,无法事先穷举。因此,信任必须围绕边界来设计,而不是围绕预测输出来设计。目标不是确定性的 AI,而是有边界、可观测、可控的 AI。信任也不能是一次性的测试。传统保障是在某个时间点对产品进行认证,但 AI 在部署后仍在持续演化,一个通过了所有测试的系统也可能漂移到使那些测试失去意义的条件之外。信任必须被持续赢得。

安全工程领域几十年来一直在考虑其中一部分变异性。例如,美国核管理委员会(Nuclear Regulatory Commission)会判定复杂系统中故障发生的可能性,而系统理论事故模型与过程(STAMP)表明,事故可能从正常工作的组件、人员和组织之间的交互中涌现出来。但 AI 提高了风险,因为如今仅仅一个组件就能进行解释、推断和行动。随着 AI 从浏览器进入车辆、机器人、医疗系统、工业控制和数据中心,风险进一步上升——在这些场景中,一个错误答案可能变成危及生命的事件。

构建可规模化的信任

很明显,让一个人每小时对数千个 AI 动作盖章放行,并不是一种可接受——也不可规模化——的风险防护措施。但补救办法不是把人移出环路,而是把人类判断放在真正重要的地方:事先设定限制,并批准少数具有严重后果的动作,其余部分则由硬性约束来处理。

因此,信任必须向上游迁移到架构之中。核心问题变成:我们愿意赋予 AI 什么权限,在什么条件下,依据什么证据?而在这些条件之外会发生什么?这与询问某个模型在基准测试上是否得了 94 分截然不同。

确定性悖论并不意味着 AI 不可信。它意味着信任需要一种不同的架构。与其让每一个输出都可预测,不如让边界可预测。一个 AI 医疗助手在诊断上可能是概率性的,但确定性规则决定它能否更改处方。一个工业 AI 可能找到多种优化流程的方法,而固定限制使其保持在压力和温度范围内。一个智能体可以决定如何完成任务,而权限、交易限额和人工审批决定它被授权做什么。

让 AI 在盒子内部是概率性的,并在后果重要的地方让盒子本身具有确定性。领导者可以通过提出五个问题来将其付诸实践:

AI 拥有什么权限?不仅要定义它能做什么,还要定义它被允许做什么,区分解释、建议、决策和执行。

AI 的功能是否与后果相称?营销 copilot 和控制工业设备的 AI 需要不同的保证阈值。

我们是否在朝着自主性采取适当的步骤?例如,需要有一个计划,从 AI 解释而人类决策,到 AI 提出建议,再到经批准后采取行动,最终实现有监督的自主性,但前提是 AI 能在每一步安全地工作。

我们是在测试系统还是仅仅测试模型?模型、数据、智能体、API 和人类工作流之间会出现意想不到的交互。

我们是否在持续赢得信任?在整个生命周期中监控漂移、故障、未遂事件和模型变更。

AI 领域的赢家将是那些解决确定性悖论的人——给予 AI 足够的自由来创造价值,同时构建足够强大的工程边界,使其利用这种自由所做的一切都值得信赖。发明赢得关注。信任赢得采用。

探索 UL Solutions 如何构建对 AI 的信任。

本内容由 UL Solutions 制作。它不是由 MIT Technology Review 的编辑人员撰写的。