自托管 LangSmith 是企业计划的附加功能,专为 LangChain 最大规模、安全要求最高的客户设计。详情请参阅定价,或联系销售以申请试用许可证密钥。
LangChain 在 github.com/langchain-ai/terraform 发布了用于 自托管 LangSmith 的生产就绪 Terraform 模块。这些模块可以配置云基础设施(网络、集群、数据库、缓存、对象存储、密钥、DNS)并使用合理的默认值安装 LangSmith Helm chart。 如果您希望从第一天起就采用基础设施即代码,请选择此路径。如果您已使用自己的工具管理云基础设施,并且只需要安装应用程序,请遵循 Helm 安装指南。
偏好 Helm? Kubernetes 设置指南将指导您在任何符合标准的集群上使用 Helm 进行安装,无需 Terraform。Terraform 路径将集群配置、密钥接线和 Helm 发布整合到一个工作流中。

选择云服务提供商

AWS (EKS)

配置 EKS、RDS PostgreSQL、ElastiCache、S3 和网络。

Azure (AKS)

配置 AKS、Azure Database for PostgreSQL、Azure Managed Redis、Blob Storage 和 Key Vault。

GCP (GKE)

配置 GKE、Cloud SQL、Memorystore、GCS 和 Workload Identity。

前提条件

在运行模块之前,请安装以下工具: 您还需要:
  • 一个 LangSmith 许可证密钥。联系销售进行申请。
  • 在目标云账户中具有创建 VPC 或 VNet 网络、托管 Kubernetes 集群、托管数据库、对象存储、密钥和 IAM 角色的权限。
  • 一个用于 LangSmith UI 端点的注册域名(或子域名)。

部署层级

通过单个 Terraform 变量选择一个层级。模块会相应调整所有依赖资源的规模。
仅在开发和 POC 阶段使用集群内 ClickHouse,不要在生产环境使用。生产部署必须使用 LangChain 托管 ClickHouse 或自行管理的外部 ClickHouse 集群。Blob 存储是必需的,因为跟踪负载不能存储在 ClickHouse 中。

模块配置内容

  • 网络: 具有公共和私有子网、NAT 和安全组的 VPC 或 VNet。
  • 计算: 托管的 Kubernetes (EKS、AKS 或 GKE),带有按层级规模配置的自动扩缩节点池。
  • 数据平面: 托管的 PostgreSQL、托管的 Redis 或缓存,以及用于跟踪负载的 Blob 存储桶。
  • 密钥: 云原生密钥存储(AWS SSM Parameter Store、Azure Key Vault、GCP Secret Manager),通过 External Secrets Operator 同步到 Kubernetes。
  • 入口: 默认使用云原生负载均衡器。Envoy Gateway (Gateway API) 可用于多命名空间数据平面部署。
  • 可选加固(目前仅限 AWS): AWS Network Firewall(带 FQDN 出站允许列表)、WAFv2、CloudTrail,以及通过 SSM 堡垒机访问的私有 EKS API 端点。

企业功能开关

每个模块都为可选的 LangSmith 附加组件提供了标志。在运行 make apply 之前,在 tfvars 文件中切换每个开关。
  • LangSmith 部署 (enable_deployments):Agent Server 加上用于运行和管理已部署代理的主机后端、监听器和 operator。
  • Fleet (enable_fleet):代理构建产品(前身为 Agent Builder),作为独立服务部署(chart v0.15+)。
  • Insights (enable_insights):基于 ClickHouse 的分析功能。
  • Polly (enable_polly):AI 评估和监控。

后续步骤

  • 从上面选择一个提供商并遵循部署指南。
  • 查看 PostgreSQL、ClickHouse、Redis 和 Kubernetes 的所需依赖版本。
  • 使用扩缩指南规划容量。
  • 应用程序运行后,启用 LangSmith 部署 以在 UI 中添加代理部署和管理功能。