本周，数百名 AI 工程师加入了我们，在Interrupt NYC了解各团队如何将特定领域的智能体投入生产，并发现最新的LangSmith发布内容。
我们最新的版本聚焦于智能体开发生命周期的两大支柱，帮助团队以控制力和灵活性进行构建、复利式增强其智能体的智能，并确保强有力的治理：运行时与可观测性 + 评估。
运行时为智能体提供在生产环境中运行所需的能力（如记忆、通道、工具和安全执行环境）。可观测性和评估帮助团队理解行为、衡量质量，并在智能体被更多使用时持续改进它们。
位于其上的是智能层，它作用于业务逻辑、追踪、评估和生产数据之上，以加速这一智能体开发循环。
以下是我们发布的内容。
LangSmith Engine v2：主动检测智能体问题并更快交付修复
改进智能体是一个多步骤过程；典型工作流需要工程师发现问题、确定根因、提出修复方案、测试、部署，并监控回归。
我们构建了LangSmith Engine作为平台内的智能体，在智能体开发生命周期的每一步自动化工作。自 5 月推出以来，Engine 已帮助工程师分析超过 6000 万条追踪，诊断数万个问题。
Engine v2 在问题检测、测试和验证方面引入了重大进展。
通过红队测试主动排查问题
新的红队测试能力帮助在生产环境中暴露问题之前就检测到它们。利用生产追踪和代码仓库，Engine 可以生成关于可能尚未在生产中出现的问题的假设，测试这些假设，并呈现已确认的失败以供审查。
检测更难发现的问题
Engine 现在能检测更多问题类型。除了错误和未满足的用户请求外，它还能识别错误率、延迟和成本方面的性能趋势，以及低效的智能体工作，如重复的工具调用或不必要的过长轨迹。
自动测试所提出的修复方案
对于在 LangSmith Deployment 上运行的智能体，Engine 现在可以在人工审核和部署之前验证所提议的修复方案。Engine v2 会针对你的智能体运行有问题的输入以确认该问题。然后它会针对更广泛的评估集测试候选修复方案，直到找到一个能解决该问题的方案。一旦 Engine 找到令人满意的修复方案，就会将其呈现给最终用户，用户只需点击一下即可打开 PR 以快速部署。
下一版自托管 LangSmith 将支持 Engine 的 BYOK。
Managed Deep Agents v0.8：新的认证、记忆和渠道
Managed Deep Agents将 Deep Agents 框架与托管基础设施相结合，打造出从业务逻辑到生产环境智能体的最便捷途径。
我们的最新版本解决了团队在生产环境中运行智能体时面临的四大挑战：智能体记忆、认证、渠道和工具管理。
身份范围的认证与记忆
Managed Deep Agents 此前已支持持久化的智能体记忆，我们很高兴推出新的用户级记忆，使智能体能够存储按每个已认证用户划分范围的上下文。这一新层提供了一个存储调用方特定上下文的位置，使其与共享的智能体级记忆保持分离。
运行时不会在层之间复制内容，并且可以在每一层定义访问策略，以确保用户级信息不会泄露到对话中。
Managed Deep Agents 现在还支持智能体和用户拥有的凭据用于外部连接（例如 GitHub 和 Notion）。
新增和扩展的渠道
智能体在用户已经所在的地方运行时效果最佳。我们扩展了 Slack 支持以包含文件传输，因此用户可以直接将日志、电子表格、合同、截图和其他文件发送给智能体。
新的 HTTP 渠道支持让团队可以将智能体连接到任何能够发送 JSON webhook 的服务。这对于存在于多个渠道上面向客户的智能体尤其有用。
内置网页搜索
网页搜索是最常见的智能体工具之一，因此我们决定将其直接内置于 Managed Deep Agents 中。
Managed Deep Agents 0.8 将网页搜索作为预置工具引入。由 Parallel 提供支持，内置网页搜索让智能体能够获取最新信息，而无需团队单独设置供应商账户、API 密钥或自定义工具。
了解有关 Managed Deep Agents v0.8 的更多信息。
LangSmith Trajectories：轻松浏览智能体会话并追踪数据
长时间运行的智能体可能难以调试，因为一个会话可能包含许多轮次、工具调用、重试和子智能体交接。完整的追踪可能会变得冗长且嵌套，而且往往包含比你理解所发生情况所需更多的信息。
这就是我们推出 LangSmith Trajectories 的原因，它提供智能体会话的对话式视图。轨迹会汇总来自主智能体和任何子智能体中人类、AI 和工具的消息，然后按时间顺序展示它们。结果是更快的调试，因为团队可以快速看到行为在哪里发生了变化或中断。
轨迹还让审查工作流变得更轻松。SME 审查对于智能体的准确性至关重要，但这些审查者往往并不是构建智能体的人。轨迹为他们提供了一个可读的会话视图，他们可以对其评分、标记和注释，而无需解析执行元数据和其他细节。
轨迹是改进循环的关键部分。LangSmith 在线评估器可以为 Trajectories 评分，为判断智能体在整个会话中的行为提供更好的输入。
了解有关 LangSmith Trajectories 的更多信息。
LangSmith Fine-Tuning：面向专门任务的开源模型后训练
我们构建 LangSmith Fine-Tuning，是为了帮助团队获得微调开源模型的好处，而无需手动构建微调流水线。一个用你自己的数据和智能训练的模型，往往可以在指定任务上表现得与通用前沿模型一样好，甚至更好，同时成本和延迟要低得多。
LangSmith Fine-Tuning 使团队能够进行监督微调（SFT），以高质量的任务示例训练开源模型。smithtuneLangSmith Fine-Tuning CLI 有助于将轨迹转化为有用的训练数据，处理整个微调流程：
- 从轨迹构建和准备数据集
- 使用 Baseten 或 Fireworks 训练模型
- 使用 LangSmith 评估结果
- 部署微调后的模型并将其连接到应用
我们在内部对 SmithTune 进行了基准测试，以自行评估该工作流的质量，并对结果感到非常兴奋。
Custom Apps：围绕你的智能体数据构建自定义界面
每个团队审查智能体数据的方式都不同。LangSmith 为常见工作流（如追踪审查、实验对比、标注和评估分析）提供了默认界面。但我们从客户那里得知，他们希望有更定制化的方式来与自己的数据交互，以契合自身的工作流和质量标准。
Custom Apps 让团队能够在 LangSmith 数据之上构建、发布并运行自定义界面。
团队无需导出数据或维护单独的内部工具，而是可以使用模板、应用内聊天或编码智能体指导，基于 LangSmith API 进行构建，并将应用发布到自己的 LangSmith 工作区。一旦发布，该应用便成为重复性工作流的共享界面。
这对于以下场景很有用：标注工作流，审查者需要一个专注的 UI；实验审查，团队希望跨版本或切片比较输出；以及追踪审查工作流，其中最佳视图取决于具体应用。
在此处了解更多关于 LangSmith 中 Custom Apps 的信息。
拥有你自己的智能
归根结底，我们的最新更新支持我们的使命：让每家公司都能拥有自己的智能。在实践中，这意味着团队可以构建定制化、领域特定的智能体和应用，以针对他们想要解决的具体问题。
观看Interrupt NYC 主题演讲，由我们的 CEO Harrison Chase 主讲，深入了解这些发布内容。