今天，LangSmith Bring Your Own Cloud (BYOC) 在 Amazon Web Services (AWS) 上正式可用。
BYOC 为企业提供托管式 LangSmith 部署，运行在企业自己的 AWS 账户和 VPC 中。敏感的应用数据，包括追踪、数据集、实验、提示词、智能体部署和沙箱数据，都保留在客户的 AWS 环境中。LangChain 负责部署的供给和运营，包括监控、升级、扩缩容和集群生命周期管理。
对于正将 AI 智能体从试点推向生产的团队来说，这消除了一项常见阻碍。智能体追踪和运行时数据往往包含 PII、PHI、客户记录、内部 API 响应、工具输出以及其他敏感上下文。这些团队需要 LangSmith 的可观测性、评估、部署和管理能力，但他们也需要数据留在自己已经治理的云边界之内。
借助 AWS 上的 BYOC，客户可以：
- 将敏感的 LangSmith 数据保留在自己的 AWS 账户和 VPC 中
- 减少管理基础设施的时间，把更多时间用于构建、评估和改进智能体
- 在团队和区域之间扩展智能体开发，同时让智能体靠近私有系统
BYOC 面向企业客户提供，覆盖美国、欧洲和亚太地区的 15 个 AWS 区域。
联系我们为你的组织启用 BYOC。
我们为什么构建 BYOC
团队会根据自身的安全、合规和运营要求，以不同方式采用 LangSmith。
当托管式 SaaS 部署符合组织的数据和网络要求时，LangSmith Cloud 仍然是最快的上手方式。自托管 LangSmith 让团队完全掌控平台在自己环境中的部署和运营方式。但这种掌控伴随着实实在在的运营责任。
自托管部署需要专门的基础设施支持，以确定数据库规模并维护数据库、管理 Kubernetes、配置网络、应用升级、监控可靠性、处理备份，并长期支持该部署。对于在全企业范围扩展智能体的团队来说，这种运营模式会增加成本，并占用本应用于部署和改进智能体工作负载的时间。
LangSmith BYOC 专为那些希望获得自托管部署的数据驻留和网络隔离、同时享受托管服务运营体验的团队而设计。客户拥有 AWS 账户、VPC、数据库、对象存储和敏感应用数据。LangChain 代表客户运营 LangSmith 部署。
这种模式对处于受监管或安全敏感环境中的团队尤其有用，包括金融服务、医疗健康、网络安全，以及有严格数据治理要求的大型企业。
在你的 AWS 边界内运行的托管式 LangSmith 部署
BYOC 部署跨两个平面运行。
- 控制平面运行在 LangChain 的云中。它负责身份验证、用户管理、组织与工作区配置、计费与用量元数据，以及 LangSmith 前端。它还负责配置、监控和编排客户的数据平面。控制平面不持有敏感应用数据。
- 数据平面运行在客户的 AWS 账户中。它包含 VPC、私有的 Amazon Elastic Kubernetes Service（EKS）集群、数据库、对象存储和敏感的 LangSmith 数据。这包括追踪、提示词、数据集、实验、评估器、Insights 运行、标注队列、智能体部署、沙箱以及其他运行时数据。
控制平面与数据平面之间的通信使用 AWS PrivateLink，不经过公共互联网。
管理路径仅暴露客户集群的 Kubernetes API 服务器，LangChain 的控制平面通过它来安装和协调客户数据平面中的 LangSmith 组件。运行时路径允许数据平面调用控制平面，以进行身份验证、工作区配置、遥测和计费元数据。Amazon EKS 集群是私有的，没有公共 API 服务器端点，工作节点上也没有公共 IP。
BYOC 提供的能力
BYOC 让团队能够从自己 AWS 环境中的数据平面获得在生产环境中追踪、评估、部署和管理智能体所需的 LangSmith 能力，同时由 LangChain 承担跨团队和跨区域扩展所需的运营工作。
数据保留在客户的账户中。敏感的应用数据存储在客户自己的 AWS 账户中，位于他们选择的区域。LangChain 可以在不将 traces、数据集、prompts、实验或部署数据迁移到 LangChain 网络的情况下运营该平台。
智能体可以访问私有系统。由于数据平面运行在客户的 VPC 中，智能体和沙箱可以通过现有的网络路径连接内部数据库、私有 API 和本地系统。
设置速度比从零开始构建平台部署更快。客户应用一个 Terraform 模块来创建 LangChain 用于预置的 IAM 角色，然后在 LangSmith 中创建数据平面。LangChain 负责预置 VPC、Amazon EKS 集群、数据库、存储、入口和集群内服务。
LangChain 管理运营生命周期。LangChain 负责基础设施升级、LangSmith 版本升级、扩缩容、补丁、备份和健康监控。客户的工程团队可以专注于构建和改进智能体，而不是运营 LangSmith 技术栈。
该架构可跨团队和区域扩展。可以在不同环境、AWS 账户和区域中创建额外的数据平面。用户和角色等组织级配置会跨部署保留，因此团队可以扩大 LangSmith 的采用范围，而无需为每个组创建单独的运营模式。
运营访问可审计。紧急支持使用明确的、经客户批准的访问模式。LangSmith 审计日志位于数据平面中，Amazon EKS 审计日志发送到客户账户中的 Amazon CloudWatch，VPC 流日志则存放在客户拥有的 Amazon Simple Storage Service (Amazon S3) 存储桶中。
客户已经在使用 BYOC 将 LangSmith 引入具有严格数据和安全要求的 AWS 环境中的生产智能体工作负载。
我们的合作伙伴信任我们来保护他们的数据，我们非常认真地对待这一责任。这就是为什么我们与 LangChain 和 AWS 合作，通过 BYOC 使用 LangSmith。它为我们团队提供了构建和改进 AI 智能体所需可观测性工具，同时将敏感数据保留在我们自己高度安全的环境中。-Rishabh Jain，Latent Health 联合创始人
基于标准化 AWS 架构构建
每个 BYOC 数据平面都基于标准化架构进行配置，类似于 LangChain 用于运行 LangSmith Cloud 的架构。
每个部署包括：
- 客户 AWS 账户中的专用 VPC
- 一个私有 Amazon EKS 集群，无公共 API 服务器端点
- 无公共 IP 的工作节点
- 一个私有负载均衡器
- 在 LangChain BYOC 域名上配置的 DNS 和入口
- Amazon RDS 和 trace 存储的每日备份，写入客户账户中的 Amazon S3
- LangSmith 服务和节点容量的自动扩缩容
- 多可用区 Amazon RDS 和 Amazon ElastiCache，支持自动故障转移
LangChain 使用 Crossplane 来配置和协调数据平面。客户使用提供的 Terraform 模块创建 IAM 角色，Crossplane 代入该角色以在客户账户中创建和管理基础设施。
该角色的范围限定为基础设施管理。在 AWS 支持的情况下，权限仅限于具有以下managed_by=langsmith标签和特定名称前缀的资源。该角色不包含数据读取权限，例如s3:GetObject对 trace 存储桶的权限、rds-db:connect对 PostgreSQL 的权限，或elasticache:Connect对 Redis 的权限。
BYOC 上可用的 LangSmith 功能
目前 BYOC 上提供大多数 LangSmith 功能，包括团队用于构建、评估、部署和运营智能体的核心工作流。
目前可用：
- 可观测性：追踪、项目、仪表盘和告警
- 评估：数据集、实验、评估器和标注队列
- 洞察：自动分析 trace，以呈现使用模式、重复行为和故障模式
- 上下文中心：提示词、记忆和其他上下文文件
- LangSmith 部署：在客户数据平面内部署和管理智能体
- 沙箱：在客户账户中的专用节点组上执行代码和文件系统操作
- LLM 网关：通过一个 LangSmith API 密钥访问模型，并集中管理支出、速率限制和数据保护策略
- Fleet：构建和运行无代码智能体
- SmithDB：LangChain 用于 trace 数据的可观测性后端，持久化到客户账户中的 Amazon S3
托管 Deep Agents、LLM 认证代理和 Engine现已支持 BYOC。
开始使用
BYOC 已在 AWS 上面向 LangSmith Enterprise 计划客户提供。