编程是企业 AI 应用支出中最大的类别,2026 年达到 340 亿美元。现在每家公司都想知道这些支出能带来什么回报,但大多数工程负责人仍然无法准确回答这笔钱到底买到了什么。

为了尝试理解编程智能体的 ROI,团队过去会查看使用分析和 AI 消耗量等高层数据,但这些数据无法揭示 token 实际产出了什么。回答 ROI 问题很难,需要能看清用户和团队的支出,还需要一种把支出与成果关联起来的方法。当我们自己的编程智能体 Robin 的支出开始攀升时,我们亲身感受到了这种困难,这也是我们构建模型路由器的原因之一。

现在,我们也很高兴能为客户提供实用的解决方案。LangSmith 现已提供专为编程智能体打造的报表,以及将支出与其产出的拉取请求关联起来的新能力。这提供了一种更清晰的方式,来计算编程智能体预算背后的 ROI,并理解模型和策略的变化会如何影响它。

以拉取请求作为会话的成果

新的LangSmith Agent Platform围绕智能体运作。每个智能体都有自己的记录,并属于一个“智能体类型”,该类型决定其仪表盘显示什么、连接哪些数据以及如何被评估。编程智能体是第一个专门的智能体类型,展示拉取请求相关数据,这是智能体工作有用的标志之一。

LangSmith 已经可以追踪编程智能体跨模型提供商的运行,包括Claude Code和Codex。在 LangSmith 中接入编程智能体后,每条 trace 中的支出会自动归属到该智能体所贡献的拉取请求上。这种归属反映了编程智能体被用于的任务。它既涵盖单个线程可以打开多个 PR 的情况,也涵盖一个 PR 需要多个线程才能完成的情况,因此 LangSmith 中的数据能反映你的智能体实际完成了什么,以及花费了多少。

为你追踪的每个编程智能体提供一个仪表盘

直到今天,LangSmith 让你能够查看任意编码智能体每次 trace 的成本,一次一条 trace。这对于手动调试很有用,但无法提供整个团队的趋势可见性。新的编码智能体概览页面会汇总这些成本,并将它们与你的智能体所处理的拉取请求关联起来。

该仪表盘可一览关键绩效指标(KPI),点击任一指标即可打开其随时间变化的趋势。例如,如果你的团队更换了模型,你可以对比更换前后的情况,查看这一变更带来的影响。

LangSmith 还按每个 PR 的状态(打开、关闭或已合并)细分支出。这让你能了解有多少拉取请求作为成功代码被合并,同时也能看到有多少未解决而被关闭。已合并的拉取请求是有用的信号,但并不是有效工作的唯一标志。编码智能体也被用于审查代码和调查问题,这些工作并不总是以 PR 收尾。LangSmith 将这部分支出单独追踪为未归属(unattributed)。你可以点击进入,打开其背后的线程,查看那项工作究竟是什么,以及它是否有价值。

该工作类型视图展示了你的智能体被要求做什么。LangSmith 按线程所要求的工作类型(例如功能开发、缺陷修复、调查和代码审查)为每个线程打上标签,并显示每种类型的线程占比和成本。每个组织根据自身用例决定什么算作偏离主题,因此,一个只将编码智能体用于后端服务的团队,可以把用户要求智能体起草营销文案的线程标记出来。这一视图也有助于解释未归属支出,因为审查和调查类线程通常不会以它们自己的 PR 收尾。

该仪表盘还展示了你的智能体调用了哪些技能、你最昂贵的 PR,以及成本如何随对话长度增长。每个指标都链接回其背后的线程和会话,因此你可以打开确切的对话,查看智能体在该会话中做了什么。

适用于所有主流编码智能体

许多工程团队并不只运行一个编码智能体。一些工程师在 Claude Code 中工作,另一些在 Cursor 或 Copilot 中,平台团队则常用 Deep Agents 这样的开源框架自建。LangSmith 将它们全部追踪到同一处,因此支出和拉取请求结果汇总到一个仪表盘,而不是分散在各个厂商控制台中。

LangSmith for Coding Agents 支持:Claude Code、OpenAI Codex、Cursor、GitHub Copilot(VS Code 中)以及Deep Agents,面向构建自定义编码智能体的团队。

团队如何使用这些指标

创造辅导机会

按归因成本排序,可以看出哪些拉取请求的生产成本最高,每一个都能追溯到其线程、涉及的模型以及背后的 GitHub 用户。打开这些线程就能看出某个 PR 为何花费如此,例如某个线程不断增长,或某个小修复用了前沿模型。当某位工程师以低得多的成本合并了同类工作,你可以找出他们的做法有何不同,并分享给团队。

长线程是另一个辅导能产生积极影响的场景。支出集中在非常长的线程中,因为每一轮新对话都会携带整个对话上下文。在多个任务间保持一个线程不关是很容易养成的习惯,而按线程长度查看成本可以显示这些长线程占了你多少支出。开启新线程可以避免为那部分上下文再次付费,Anthropic 的Claude Code 成本指南也出于同样原因建议在任务之间清空上下文。一旦你把这一指导分享给团队,同一个视图就能显示这个习惯是否真的改变了。

衡量模型更换

当新模型发布时,你可以通过比较团队切换前后的每个已合并 PR 成本,来判断其结果是否对得起价格。当你尝试新提供商时,可以让它与当前提供商并行运行,并在同一视图中比较两者的成本和结果。将子智能体迁移到比运行主智能体更小的模型上应能降低成本。按模型划分的成本明细显示了节省了多少,而结果则显示工作是否仍能合并。

查看你的智能体依赖哪些技能

技能调用也会被追踪,因此你可以看到团队智能体最常使用哪些技能,并打开它们运行所在的线程。当某个技能持续出现在冗长、昂贵的线程中时,它的指令可能让智能体多走了几轮,重写它可能是一个值得尝试的快速修复。当某个技能倾向于出现在以合并 PR 结尾的短线程中时,可能值得让更多团队成员使用它。新技能也是同样的道理:先向少数工程师推广,然后对比使用它的线程与不使用它的线程的成本和合并 PR 数。

让工程和财务对成本拥有相同的视图

每个合并 PR 的成本向财务展示了单位已交付工作的成本。LangSmith 将其与未归属支出并列展示,后者是那些从未产生 PR 的会话的成本。未归属支出可能仍然是有用的工作,比如探索代码库或审查变更,因此一个每个合并 PR 成本看起来很高的团队可能仍然在采取合理的方法。当成本骤升或骤降时,工程团队可以打开这些任务背后的线程,展示支出花在了哪里。

开始使用

LangSmith for Coding Agents 已在 LangSmith Cloud 上进入公开测试阶段。编码智能体的追踪会计入你常规的LangSmith 追踪用量。

设置分为三步:

  1. 为团队使用的每个编码智能体安装 LangSmith 插件。插件适用于以下智能体:
  2. 连接 GitHub。
  3. 在 LangSmith 中打开编码智能体概览页面。

例如在 Claude Code 中,插件通过在会话内运行三条命令即可安装。

/plugin marketplace add langchain-ai/langsmith-claude-code-plugins/plugin install langsmith-tracing@langsmith-claude-code-plugins/reload-plugins

从一个智能体和一个仓库开始,第一批线程一进来,你就能看到其支出按拉取请求拆分。在文档中了解更多。

下一步

我们才刚刚开始!请留意 LangSmith 中更多围绕编码智能体的定制体验。有疑问或想建议接下来追踪什么?欢迎在LangChain Forum上分享。