今天，我们推出Custom Apps功能，位于LangSmith中，它让你能够基于 LangSmith 数据构建、发布和运行自定义 UI，并直接在 LangSmith 内运行它们。
数千个 AI 工程团队使用 LangSmith 来调试、评估和改进他们的智能体。LangSmith 基于我们观察到的最常见用户需求，为这些工作流提供了默认 UI，包括针对延迟、成本和错误率的预置仪表盘，以及一个能突出显示跨实验回归的对比视图。但我们发现，团队往往需要以符合自身质量标准 and 审查流程的方式来与数据交互。
一些团队已经通过在 LangSmith 数据之上构建自定义前端来解决这个问题。他们使用编码智能体、LangSmith API 和内部工具，为自己的数据创建自定义界面。但这些应用也像任何其他软件一样需要持续维护，包括托管、身份验证、权限和共享。
现在，Custom Apps 让你能用 LangSmith 数据构建想要的界面，将其发布到你的工作区，并省去托管、身份验证和权限方面的工作。
Custom Apps 的工作原理
借助 Custom Apps，你可以从聊天提示开始，也可以用代码构建。在 Plus 和 Enterprise 套餐中，告诉 LangSmith Chat 你想查看什么数据以及希望如何可视化，Chat 就会将其转化为一个可用的应用。如果你更愿意自己构建，可以从提供的模板开始，用你的编码智能体基于 LangSmith API 进行构建。
发布后，该应用会成为工作区内的一个共享界面。无需导出数据或临时重建相同的静态视图，你可以将该应用复用于重复性工作流，并与队友在他们已经查看追踪、实验、标注和评估结果的同一位置共享它。
当你需要重复相同的审查流程时，Custom Apps 尤其有用。以下是一些常见的使用方式。
为标注人员提供正确的上下文
人类反馈是改进 AI 系统最重要的输入之一。自动化评估可以帮助你发现模式，但你仍然需要人工来审查输出、判断行为，并说明对于你的应用来说什么才算好。
这种审查往往取决于由谁来做这项工作。工程师可能需要完整的追踪记录，包括工具调用、元数据和中间步骤。领域专家（SME）可能只需要用户请求、模型响应、相关上下文以及一份清晰的评分标准。
借助 Custom Apps，你可以创建与审查者工作流程相匹配的标注界面。你可以为审查者提供他们所需的上下文，隐藏他们不需要的细节，并引导他们完成你想要收集的具体反馈。
我们的“人在回路”审查过去分散在电子表格和其他独立工具中。审查者需要在不同平台之间切换，我们的团队则要花费大量人工精力准备文件和统一格式。因此我们构建了一个用于结构化 LLM 评估和标注的 Custom App。它运行在 LangSmith 内部，并通过 API 连接，这样我们就能构建与团队工作方式相匹配的审查队列和仪表盘。审查者选择一个队列，评估并编辑输出，然后将结果添加到数据集中。这为我们提供了一个可重复的“人在回路”审查框架、更简单的追踪方式，以及更容易在团队间扩展的评估。
– Roxanne Wang，Chime®
自定义你比较实验的方式
实验可以帮助你评估对智能体所做的更改是否达到了预期结果。在发布更改之前，你通常需要审查对你的应用而言重要的单个结果、细分群体或失败模式。
这可能意味着比较不同提示词版本的输出、检查更换模型是否引入了回归，或者按客户细分、失败类别、模型提供商或内部评估评分标准来切分结果。
借助 Custom Apps，你可以围绕这些决策创建实验审查界面。这意味着你可以突出最重要的细分群体、展示代表性示例、并排比较输出，或者将结果打包成你在发布评审中使用的格式。
当实验审查是一个反复进行的过程时，这尤其有用。无需每次都重建相同的静态图表或自定义分析，你可以创建一个与 LangSmith 数据保持连接的共享应用，并在每个审查周期中重复使用它。
让 trace 审查更聚焦
你的 trace 审查流程通常取决于你所运行的智能体类型。对于客户支持智能体，你可能会关注语气以及智能体是否解决了问题，而这只能通过阅读对话来判断。另一方面，研究型智能体可能会根据其来源和所需的工具调用次数来评判。
当审查按计划进行时，Custom Apps 让你能够围绕你最常提出的问题创建一个更聚焦的 UI，例如行为在哪里发生了变化、哪一步导致了失败，或者应用是否遵循了预期流程。
使用 LangSmith 开源设计系统
Custom Apps 默认使用 Macaw，即 LangSmith 的设计系统。这为你的应用提供了与 LangSmith 其余部分相同的视觉语言，包括一致的组件和图标。
你也可以自由定制外观。如果你希望应用改为匹配公司品牌，可以在聊天中或通过你的编码智能体添加任何定制（例如“让这个看起来像老式 Macintosh 软件”）。
伴随今天的发布，我们正在将Macaw 开源。我们将继续扩展它，并欢迎社区在其演进过程中提供反馈。
可用性与定价
Custom Apps 适用于 Plus 和 Enterprise 套餐：
- Plus 套餐每个组织包含一个 Custom App 以及聊天体验。
- Enterprise 套餐包含无限Custom Apps 以及聊天体验。
有关一般使用和计费信息，请参阅我们的定价页面。