我们构建了LangSmith Engine以更快地修复智能体，让开发者能花更多时间构建新能力，少花时间与 bug 搏斗。

Engine 是一个平台内智能体，可在以下每个步骤自动化工作：智能体开发生命周期。智能体非常适合这项工作。它们擅长分析大型数据集和编写代码，因此非常善于发现细微问题、编写修复方案并监控回归。

自 5 月推出以来，Engine 已分析超过 7000 万条 trace，并诊断了数万个问题。

随着今天 v2 的发布，Engine 现在承担更多工作，帮助用户更快地交付修复，并在问题出现在生产环境之前就检测到它们。Engine v2： 

  • 对你的智能体进行红队测试以主动检测 bug 和提示词问题
  • 检测更难发现的问题例如低效问题以及错误率、延迟和成本方面的趋势
  • 自动验证其提出的修复方案在人工审查和部署之前

LangSmith Engine 的功能

Engine 扫描你的生产 trace 以寻找改进空间，从错误到未满足的用户请求。一旦识别出问题，Engine 会对其进行分类，并将相关 trace 归组为单个问题。每条记录都包含用户采取行动所需的所有信息：根本原因、建议的修复方案、用于评估数据集的真实示例，以及持续监控。

Engine 将 LangSmith 收集的数据付诸行动，帮助你更快地走完智能体开发生命周期（ADLC）以改进你的智能体。

The agent development lifecycle

在 Engine v2 中，我们专注于推动其中两项核心任务的改进：识别问题和提出修复方案。

主动检测智能体问题

在 Engine v2 中，我们引入了 Red Teaming，这是我们主动排查问题的工具，可在幻觉和违反系统提示词等问题影响生产环境中的用户之前将其捕获。Red Teaming 会分析你的智能体生产 trace 和代码库，以了解其目的和行为，然后利用这些上下文测试弱点，并识别尚未在生产环境中出现的问题。你会获得一份相关的、经过验证的问题列表，用于解决并预判未来故障，从而提前阻止它们。

Red Teaming 现已在 Private Beta 中向现有 LangSmith Deployment 用户开放。你可以申请加入 Beta这里。

检测更难发现的问题

Engine v2 现在能够在生产追踪中发现更难检测的问题，这些问题往往在影响客户和 LLM 账单之前逃过人工审查。即使你的智能体看起来运行正常，延迟的细微退化也可能让用户感到沮丧，而低效的智能体轨迹则会浪费 token。

Engine v2 会标记这些问题，让你在它们影响业务之前加以解决。

  • 低效工作：Engine 分析智能体轨迹以判断你的智能体是否在完成给定任务时走了低效路径，例如进行错误或重复的工具调用，并提出更高效的替代方案。
  • 性能趋势：Engine 会跟踪错误率、延迟和成本等关键指标的趋势。

每个问题都在同一个队列中跟踪，因此你可以在一个地方跟踪并解决所有智能体问题。

发布经过预先验证的修复

Engine 已经为其检测到的问题提供了建议修复。但此前，用户会面临一个选择：将修复部署到生产环境并在实时流量上监控性能，或者进行人工审查、离线测试，然后再部署修复。未经测试就发布可能会带来糟糕的客户体验。人工测试则会拖慢产品开发。

对于使用LangSmith Deployment的智能体，Engine 现在会在将其建议修复放入你的队列以供审查之前先进行验证。当 Engine v2 发现问题时，它首先会在 Deployment 中针对你的智能体运行有问题的输入来复现故障。然后，它启动修复开发流程：提出更改、针对相同输入进行测试、评估结果，然后调整修复。每次测试后，修复都会变得更强。一旦 Engine 确认修复解决了该问题，它就会在 LangSmith 中向用户提供该修复，用户只需点击一下即可打开 PR 以快速部署。

LangSmith Engine v2 automated testing

此功能现已在 Private Beta 中向现有 LangSmith Deployment 用户开放。注册这里如有兴趣。

提升 Engine 的基线性能

除了新能力之外，我们还在持续提升 Engine 在核心任务上的表现。当 Engine 发现影响更大的问题并给出更有效的修复方案时，用户就能更快地解决其智能体中的问题。

我们会定期改进 Engine 的 harness、提示词和底层模型，以提升在内部和外部基准测试中的表现。正如我们在 8 月分享的，Engine 现在检测问题的能力提升了 2 倍以上（以IssueBench衡量），并且提供的修复方案有效性提升了 25%（以Terminal-Bench衡量）。

下一步：面向自托管 Engine 的 BYOK

对于有严格数据政策、在自托管环境中运行 LangSmith 的团队，我们下一版自托管 LangSmith 将支持 Engine 的 bring-your-own-key（BYOK）。这使团队能够提供自己的模型 API key 来为 Engine 的推理提供支持，同时 trace 数据保留在你的 VPC 内。我们将在下一次自托管版本发布时分享有关 Engine BYOK 的更多细节。

开始使用

Engine v2 已在 SaaS 部署中面向所有 LangSmith Plus 和 Enterprise 套餐提供。Self-Hosted 套餐对 Engine v2 的支持即将推出。定价详情可在此处查看。

如果你使用的是 Plus 套餐，只需点击几下即可启用 Engine。

如果你使用的是 Enterprise 套餐，可以联系你的客户团队开始使用。

初次接触 LangSmith？立即开始。