LangSmith LLM Gateway 现已进入公开测试阶段。
生产环境中的智能体需要对模型调用进行运行时控制，以避免成本超支和故障等不良后果。支出上限、速率限制、模型回退和敏感数据保护都是重要的控制手段，但如果没有合适的工具，工程师就不得不在每个智能体中针对特定模型提供商手动编写这些控制逻辑。
这就是我们构建 LangSmith LLM Gateway 的原因。它是位于你的智能体与其调用的模型之间的集中治理层，专为智能体工程团队在生产环境中所需的控制而设计。LLM Gateway 为团队提供一个统一位置，跨智能体、模型和提供商执行运行时控制，帮助团队一致地治理模型使用，同时避免供应商锁定。
为什么智能体需要集中式治理层
在生产环境中，模型层可能很快成为代价高昂的错误和面向客户的故障的来源。以下是实际中的情形：你的模型提供商发生故障，你的客服智能体开始返回错误，导致客户不满和收入损失。或者你的编码智能体在夜间陷入重试循环，到早上它已经发起了 10,000 次 LLM 调用，而你收到了一张四位数的账单。
在这些情况下，事后了解发生了什么是不够的。你需要在违规发生之前就执行策略。但如果控制逻辑嵌入在每个智能体的代码中，每新增一个智能体和模型提供商就会增加一条需要维护的实现路径。模型网关让团队只需定义一次策略，然后跨模型和智能体一致地执行。
LLM Gateway 控制功能
LLM Gateway 提供了团队在智能体进入生产环境时首先需要的控制功能：成本控制、速率限制、模型回退和敏感数据处理。
避免成本超支：LLM Gateway 让你能够在 LLM 支出成为问题之前，监控和控制内部及外部用户的支出。你可以设置限时上限，并在四个层级跟踪支出：
- 组织层级——用于全公司范围的控制
- 工作区层级——让团队保持在支出限额之内
- API 密钥层级——用于控制特定项目的支出
- 用户级别——用于个人支出控制
当达到上限时，智能体会收到带有明确错误信息的 402 响应。
限制失控流量：在组织、工作区、用户和 API 密钥级别应用速率限制，以防止意外滥用或流量激增压垮提供商限制，并降低其他智能体或团队的可靠性。
针对客户的支出和速率限制策略：对于多租户环境和经销商，LLM Gateway 为你提供客户级控制无需为客户单独配置 API 密钥。使用自定义请求头来标识每个终端客户或团队，然后执行单独的支出上限和速率限制，同时将所有 LLM 调用通过一个 API 密钥路由。你可以在一个地方更新限制并查看各客户的支出，而无需自行构建和维护该逻辑。
提升智能体可靠性：定义跨模型和主机的回退规则，然后对所有应用强制执行。当某个提供商宕机、被限流或不可用时，智能体可以路由到另一个模型，而无需在每个应用中编写自定义回退逻辑。
减少敏感数据暴露：在请求到达模型提供商之前，检测、脱敏并替换其中的 PII 和密钥。LLM Gateway 还会对其记录在 LangSmith 中的追踪数据里的敏感信息进行脱敏。目前，此功能仅对企业版用户可用。
在 LangSmith 中追踪 LLM Gateway 事件：Gateway 事件会作为元数据记录在 LangSmith 追踪中，因此你可以监控这些控制措施在生产流量中的表现。当请求被支出限制、速率限制或其他控制措施阻止时，你可以打开追踪记录，查看上下文中的具体情况，并决定是否需要做出调整。
保留模型选择
LLM Gateway 提供单一接口，用于在你的智能体和模型提供商之间路由调用。它支持主流提供商如 OpenAI、Anthropic 和 Fireworks，以及兼容 OpenAI 或 Anthropic 的自定义模型端点。
LangSmith Gateway 以 BYOK 为先。你可以自带提供商密钥，并使用 LLM Gateway 进行路由、治理和策略控制，而无需为每次 LLM 调用添加额外的埋点。对于希望简化采购或更快开始构建智能体的团队，Gateway 还支持由 Fireworks 驱动的开放模型托管推理，可直接通过 LangSmith 使用Gateway Credits。Fireworks 为开放模型提供快速、高效的推理，帮助团队通过 LangSmith LLM Gateway 将其投入生产。
我们相信开放权重模型很重要因为它们让团队对 AI 系统拥有更多控制权。它们让团队能够灵活地针对成本、质量、延迟、隐私和部署需求进行优化，并围绕业务的具体情况对模型进行调优。Gateway 是我们让开放模型更容易在生产中采用的方式之一。
开放模型已经能够提供团队生产级 AI 所需的性能。下一步是让它们更容易被采用到智能体工作流中，因为团队需要在那里控制成本、延迟和治理。Fireworks 让开放模型推理在大规模下快速、高效且可靠，我们很高兴与 LangChain 合作推出 LangSmith LLM Gateway，帮助团队将这种性能带入生产。Lin Qiao，Fireworks 首席执行官
团队如何在生产中使用 LLM Gateway
团队已经在使用 LLM Gateway 为生产智能体设置硬性限制和共享控制。一些常见模式包括需要支出上限的面向公众的智能体，以及需要集中计费、用量追踪和按客户限制的多客户智能体。
每个生产智能体都需要硬性支出上限，尤其是面向公众的智能体，而 LLM Gateway 通过确保成本永远不会超过我们设定的限制，消除了这一风险。现在我们可以与客户坐下来，就支出及其支持的任何其他策略达成一致，并在几次点击内完成全部配置。
Hylke Sybesma，Friday Digital Agency AI 工程师
开始使用 LLM Gateway
你可以直接通过 API 调用 LLM Gateway，或将其与编码工具如 Claude Code、Codex 和Deep Agents Code（dcode）配合使用。
要开始使用，请将你的智能体指向 LangSmith Gateway 端点，使用你的 LangSmith API 密钥进行身份验证，并将你的提供商 API 密钥添加到工作区密钥中。然后，配置你的控制项，包括回退、速率限制、支出限制和敏感数据处理。更新你的base_url，其余代码保持不变。
LLM Gateway 的下一步走向
我们从团队最常需要的控制项出发打造了 LLM Gateway。接下来，我们将在此基础上扩展，提供更多在生产环境中治理模型调用的方式。
- 更广泛的护栏——为智能体调用外部模型并与生产系统交互所带来的风险提供更多覆盖。
- CI/CD 控制——用于部署提示词和上下文、运行 A/B 测试、管理蓝绿部署和影子部署，以及通过基础设施即代码定义控制项的工具。
立即试用
LLM Gateway 现已面向 Plus 和 Enterprise 套餐开放公开测试版。
开始使用，请登录 LangSmith 或注册，然后在侧边栏中选择“LLM Gateway”。你可以在我们的文档中找到设置详情。
Enterprise 套餐用户可在此处申请访问 Data Protection 控制项此处。