AI 应用的范围可以从简单的内部聊天机器人到面向客户的关键任务智能体,但所有基于 LLM 的解决方案都具备独立推理的能力,因此建立治理已成为任何程度 AI 采用的关键考量。近期头条关于智能体安全漏洞的报道,使得建立治理作为 AI 使用和开发前提的紧迫性进一步增强。

尽管大多数组织都普遍认识到智能体治理的必要性,但多数组织仍在摸索从何入手。一些监管机构已经给出了关于智能体治理的自上而下的指导,例如OWASP Agentic AI Threats & Mitigations、NIST AI Risk Management Framework或AI Agents under EU Law。这些指南概述了智能体的风险,但并未定义如何缓解这些问题,也未说明如何验证治理是否有效。

在我们合作的团队中那些在具备治理标准的情况下交付智能体的团队,我们看到他们之间有两种主要的共同策略:

集中化跨智能体的可见性。组织需要对公司范围内运行的智能体有一个集中视图,以免高成本操作、未授权使用和失控的智能体被遗漏。这种可见性使得为智能体设定限制并审计其行为以验证护栏是否得到遵守成为可能。

理解单个智能体的行为。智能体是非确定性的,因此同一个智能体在相同输入下可能走不同的路径、调用不同的工具。浮现出的问题往往特定于每个智能体的任务和执行路径,因此团队需要访问完整的轨迹以了解每次智能体运行的操作,并对意外行为发出告警。

什么是智能体可观测性

这两种策略的核心都是智能体 可观测性,即记录、检查和分折 AI 智能体所采取的每一步的能力。这通常意味着追踪智能体的步骤和属性,具备随时查询和访问这些数据的能力,并利用相关能力大规模解读智能体行为。

可观测性是治理策略的基石,因为护栏或支出/使用限制并不能保证智能体会遵守它,而智能体需要被准确监控,以验证这些护栏是否按预期发挥作用。来自可观测性的指标随后提供数据,用于持续强化整体治理态势。

预防性 vs 检测性智能体治理

我们可以把公司内的智能体治理方法视为预防性或检测性。

预防性治理:在运行时强制执行护栏以阻止不允许的操作,包括限制、智能体身份,以及关于工具、数据访问、模型和成本的政策。预生产测试是另一项预防性措施,即在发布前依据既定的质量和安全标准对智能体进行评估,并要求达到规定的阈值。

检测性治理:在执行后快速监控智能体行为,以识别令人担忧的操作、质量问题以及行为的意外变化。这些措施包括在线评估、告警、模式识别、人工审查,以及回归和漂移检测。

两类治理都依赖于可观测性。预防性治理依赖追踪来验证护栏是否按预期发挥作用,并利用测试结果在发布前切实改进智能体。检测性治理利用追踪来评估行为、识别问题,并确定生产环境中需要修复的内容。

预防性治理通过可观测性来验证

预防性控制最初是对智能体将如何行为的预测,并通过护栏和网关强制执行。这些控制应在部署到生产环境之前进行测试和门控,但也必须持续监控,以审计它们在智能体执行期间是否按预期发挥作用。

使用评估和红队测试进行预生产测试

预生产测试为团队提供了一种方式,用以建立智能体在发布前必须达到的质量阈值。例如,一家公司可能要求每个团队在部署前依据黄金数据集对其智能体进行评估,并达到一定的质量分数阈值——例如幻觉率低于 2%、无 PII 泄露,或相对于人工标注的正确率高于 90%。

trace 是一次智能体调用的详细信息,而轨迹(trajectories)是 AI 智能体会话按时间顺序、人类可读的对话视图。集中式追踪让用户能够看到整个组织内正在构建的所有智能体,并确认预生产测试从一开始就在进行,而轨迹则让运行时间较长的智能体操作变得可解释。

在预生产评估运行之后,其 trace 和轨迹描述了智能体在各项指标上的表现。这些记录揭示了失败的原因,并指出如何改进智能体的行为。

Trace还能向团队显示智能体在哪些地方需要额外的护栏。有些限制可以在智能体运行之前设置,例如在调用 LLM 之前进行 PII 脱敏,或者在调用列入拒绝清单的工具时关闭。其他限制只有通过在开发中运行评估,或用对抗性测试样例对智能体进行红队测试才会显现。这些测试会揭示智能体何时需要更具体的护栏,例如限制客服智能体可以发放的退款金额上限。

使用 trace 和轨迹进行生产验证

运行时护栏是一项核心的预防措施,但设置这些护栏并不足以确认它们在智能体每次运行时都有效。在智能体发布之前,团队需要具备可审计性,以确认这些护栏在每次调用智能体时都有效,并且需要能在护栏失效时解释发生了什么。

追踪和轨迹对于记录和理解智能体在生产中的行为至关重要,它们充当审计线索,供监管机构、安全机构和团队确认护栏已到位,或在护栏被绕过时进行调查。

可审计性之所以关键,是因为智能体可能会找到涉及不良中间步骤的替代方式来实现目标,有时被称为“钻空子”地走向期望的最终状态,而这些方式在预生产测试中并未出现。例如,一个没有write访问数据库时可能通过沙箱到达同一张表,或者一个有退款审批限额的支持智能体可能将一笔大额退款拆分成两笔较小的退款以绕过限制。智能体的细微变化,如模型漂移或工具故障,会加剧这些影响。

侦探式治理建立在可观测性之上

侦探式治理利用观察到的智能体行为来检查智能体是否在组织特定标准内运行,设置智能体级别的质量检查,识别并对违规或性能退化发出告警,并在需要时触发改进。这些操作都依赖于能够检查和分生产环境中的智能体轨迹。

在线评估、仪表盘和告警

在线评估自动运行于实时轨迹之上,依据质量和安全标准对智能体行为进行评分。它们可以捕获 PII 泄露、过度的工具调用循环、密钥暴露以及特定领域的故障等问题。例如,一个处理退款请求的客服智能体可以被评估其在发放退款前是否验证了客户身份并检查了订单详情。

仪表盘将评估分数、故障模式、错误率、延迟、每次运行成本和行为趋势等信号汇聚在一起,使团队能够随时间了解智能体的质量、安全性、可靠性和运营表现。借助更细粒度的视图,团队可以识别新出现的问题、调查根本原因,并了解变更是否改善了性能。

告警将这些指标转化为可执行的行动项。例如,团队可以对定性评估分数(如 PII 泄露发生次数或幻觉)以及运营指标(如错误率、重试次数或成本)设置阈值。

这些能力运行在来自轨迹的元数据或基于智能体轨迹计算出的评估之上,帮助团队在令人担忧的行为发生时及时识别,并将问题路由给合适的人员进行审查和修复。

识别跨智能体轨迹的模式和漂移

某些智能体性能退化或风险只有在检查轨迹中的模式时才会显现。

在客户支持智能体的案例中,对话可能开始涉及超出智能体原始范围的请求。虽然智能体可能会礼貌拒绝而不报错,但该特定类别的满意度会下降,而整体满意度几乎不受影响。在这种情况下,单条追踪记录可能看起来正确且没有错误,但通过比较和聚类行为模式,某个特定主题的满意度下降就会变得明显。

可观测性工具,例如LangSmith Insights 报告会自动将大量追踪数据聚类为常见的智能体行为、失败模式和指定指标,帮助团队识别单个评估或告警可能遗漏的问题。

回归和漂移检测还能帮助团队判断对智能体的更改是否会引入新的失败或降低此前可靠的行为。离线评估针对由经过审查的追踪记录构建的数据集运行,这些追踪记录代表被正确处理的情况。团队可以每天针对同一数据集测试智能体以检测回归和漂移,或针对这些数据集测试新的智能体配置,以比较更改前后的评估分数。

大规模地对趋势进行分类,还有助于识别某个共享更改何时同时影响多个智能体,让团队在风险演变为更大的生产问题之前将其捕获。

诊断与审查

评估和告警可以识别令人担忧的行为,但无法预见所有失败模式。在非确定性系统中,问题空间庞大且开放,智能体可能随着其上下文、工具和运行条件的变化而退化,即使智能体本身并未被修改。

人工审查帮助团队调查自动检查不足以应对的情况。领域专家可以审计被标记的追踪记录、为智能体行为打分,并将被正确处理示例加入参考数据集以用于持续测试。

在我们的客户服务智能体示例中,审查者可能会检查智能体拒绝范围外请求的对话,以了解它是否恰当地处理了这些请求。

可观测性通过呈现最相关、最需要审查的运行记录(例如正确性得分低或被标记行为的运行),让这一过程更易管理,而无需审查者手动检查数千条追踪记录。

追踪记录还包含现有评估、护栏或告警可能遗漏的故障与治理违规信号。然而,大规模人工阅读生产追踪记录往往不切实际,因此团队需要能够从追踪信号中自动呈现这些问题的方法。

LangSmith Engine可以分析追踪记录,识别反复出现的故障、提出修复方案,并针对与该问题相关的追踪记录进行测试。客服智能体在处理某一类退款请求时,可能会反复尝试调用一个不存在的工具。Engine 可以帮助识别这种反复出现的行为,提出修复方案,并在部署前针对受影响的追踪记录进行测试。

这些发现还会反馈到预防性治理中;例如,新发现的故障可以促成更严格的护栏或新的回归测试。通过这种方式,侦测性治理帮助团队持续改进管控智能体行为的控制措施。

通过可观测性实现治理,从而加快迭代

在 LangSmith 上部署的超过 16,000 个生产智能体中,87% 的团队在首次部署之前就已启用追踪。预防性控制措施的范围由观测到的行为界定,并经由其验证,而侦测性控制措施则基于这些行为运行。

借助建立在集中式追踪之上的治理,团队能更好地理解自己的智能体,更早地发现并修复问题,并避免从零开始重新构建每一层护栏和可观测性。我们可以把这比作安全带:团队更有信心地驾驶,因为他们知道自己受到安全防护措施的保护。当团队相信有一套系统能确保其智能体在生产中保持可审计、可解释时,他们就能更快地交付。

如需了解有关如何使用 LangSmith 实施智能体治理的更多细节,请参阅我们的博客:构建受治理的智能体:成本、控制与合规框架。