云端托管选项是一种完全托管的模式,LangChain 负责托管和运行所有 LangSmith 基础设施与服务:
如果你准备将应用部署到 LangSmith Cloud(AWS 或 GCP),请按照 Cloud 部署快速入门 或完整设置指南进行操作。本页面介绍云端托管架构,供参考。
云端部署:LangChain 托管并管理所有组件,包括 UI、API 和你的 Agent Servers。

云端架构与可扩展性

本节仅适用于由云端管理的 LangSmith 服务:https://smith.langchain.com、https://eu.smith.langchain.com、https://apac.smith.langchain.com 和 https://aws.smith.langchain.com。有关 Self-hosted LangSmith 解决方案的信息,请参阅 Self-hosted 文档。
LangSmith 在美国、欧盟和亚太 SaaS 区域托管于 Google Cloud Platform(GCP),在 AWS 托管的美国 SaaS 区域托管于 Amazon Web Services(AWS)。该平台专为高可扩展性而设计。许多客户都在 LangSmith 上运行生产工作负载,用于 LLM 应用的可观测性、评估和智能体部署。 美国的 LangSmith 服务(默认 GCP 区域)托管在 GCP 的 us-central1(爱荷华州)区域。
欧盟的 LangSmith 服务已经可用,托管在 GCP 的 europe-west4(荷兰)区域。如果你对该区域的 Enterprise 计划感兴趣,请联系我们的销售团队。
截至 2026 年 4 月,LangSmith SaaS 已在 AWS 的 us-east-2(俄亥俄州)区域提供。
截至 2026 年 5 月,LangSmith SaaS 已在 GCP 的 australia-southeast1(悉尼)区域提供亚太服务。

区域存储

此表中的资源和服务存储在注册时所使用 URL 对应的位置(GCP US、GCP EU、GCP APAC 或 AWS US)。云端托管的 LangSmith 使用 Supabase 进行身份验证和授权,并使用 ClickHouse Cloud 作为数据仓库。 有关更多信息,请参阅区域常见问题。

与区域无关的存储

此处列出的数据仅存储在美国:
  • Stripe 和 Metronome 中的付款与账单信息

GCP 服务

以下内容适用于 GCP 上的 美国、欧盟和亚太 SaaS 区域。 LangSmith 由以下服务组成,全部托管在 Google Kubernetes Engine(GKE)上:
  • LangSmith Frontend:提供 LangSmith UI。
  • LangSmith Backend:提供 LangSmith API。
  • LangSmith Platform Backend:处理身份验证和其他高吞吐量任务。(内部服务)
  • LangSmith Playground:为 Playground 功能处理向各种 LLM 提供商转发请求的工作。
  • LangSmith Queue:处理异步任务。(内部服务)
LangSmith 使用以下 GCP 存储服务:
  • Google Cloud Storage(GCS):存储运行的输入和输出。
  • Google Cloud SQL PostgreSQL:处理事务型工作负载。
  • Google Cloud Memorystore for Redis:用于队列和缓存。
  • GCP 上的 ClickHouse Cloud:用于轨迹摄取和分析。我们的服务通过私有端点连接到 ClickHouse Cloud,后者托管在同一 GCP 区域中。
我们还使用了一些其他 GCP 服务:
  • Google Cloud Load Balancer:将流量路由到 LangSmith 服务。
  • Google Cloud CDN:缓存静态资源。
  • Google Cloud Armor:用于安全防护和速率限制。有关我们实施的速率限制的更多信息,请参阅速率限制。

AWS 服务

以下内容适用于 us-east-2(俄亥俄州)的 AWS US SaaS 区域。相同逻辑的 LangSmith 组件运行在 Amazon EKS 上,而不是 GKE 上。 LangSmith 由以下服务组成,全部托管在 Amazon EKS 上:
  • LangSmith Frontend:提供 LangSmith UI。
  • LangSmith Backend:提供 LangSmith API。
  • LangSmith Platform Backend:处理身份验证和其他高吞吐量任务。(内部服务)
  • LangSmith Playground:为 Playground 功能处理向各种 LLM 提供商转发请求的工作。
  • LangSmith Queue:处理异步任务。(内部服务)
LangSmith 使用以下 AWS 存储和数据服务:
  • Amazon S3:存储运行的输入和输出。
  • Amazon RDS for PostgreSQL:处理事务型工作负载。
  • Amazon ElastiCache for Redis:用于队列和缓存。
  • us-east-2 中通过 AWS PrivateLink 连接的 ClickHouse Cloud:用于轨迹摄取和分析,与上方区域存储表中的信息一致。
我们还使用了一些其他 AWS 服务:
  • Elastic Load Balancing(Network Load Balancers)和 Istio ingress:将流量路由到 LangSmith 服务。文档中所述的 API 速率限制在 Istio ingress 网关处实施。详情请参阅速率限制。
  • Amazon CloudFront:缓存静态资源(包括 Web UI 主机名 aws.smith.langchain.com)。
  • CloudFront 上的 AWS WAF:在边缘位置应用托管规则组(例如 AWS Managed Rules 常见防护规则和 Bot Control)。
浅色模式概览

IP 地址允许列表

从 LangChain SaaS 发出的流量

所有离开 LangSmith 服务的流量都会通过 NAT 网关路由。所有流量看起来都将源自以下 IP 地址: 如果你连接到自己的 AzureOpenAI 服务,或连接到 Playground 或 Online Evaluation 可能需要访问的其他端点,将这些 IP 地址加入允许列表可能会有所帮助。
从部署在 LangSmith Deployment 上的智能体发出的流量会通过另一组 NAT IP。有关该列表,请参阅云端部署指南中的允许 IP 地址。

进入 LangChain SaaS 的流量

对于终止于我们的 GCP 负载均衡器(US/EU/APAC)的流量,或对于 AWS US 中终止于 us-east-2 的 Network Load Balancer(API 和网关主机名)的流量,LangChain 端点映射到以下静态 IP 地址: 你可能需要将这些地址加入允许列表,以启用从私有网络到 LangSmith SaaS 端点的流量(api.smith.langchain.com、smith.langchain.com、beacon.langchain.com、eu.api.smith.langchain.com、eu.smith.langchain.com、eu.beacon.langchain.com、apac.api.smith.langchain.com、apac.smith.langchain.com、apac.beacon.langchain.com、aws.api.smith.langchain.com、aws.smith.langchain.com)。

私有连接(Enterprise)

仅限 Enterprise。 私有连接仅向 Enterprise 客户提供。请联系你的客户代表或发送邮件至 sales@langchain.dev 以启用此功能。
Enterprise 客户可以使用 AWS PrivateLink 或 GCP Private Service Connect(PSC) 连接 LangSmith,而无需让流量暴露在公共互联网中。 AWS 客户可以通过 AWS PrivateLink 连接 LangSmith,从任意 VPC 提供私有连接。原生支持跨区域连接。

端点服务名称

设置

**1. 请求访问权限:**联系你的客户代表或发送邮件至 sales@langchain.dev,并提供你的 AWS 账户 ID。LangChain 会将你的账户添加到端点服务的允许主体列表中。 2. 在你的 AWS 账户中创建 Interface VPC Endpoint。附加一个安全组,允许来自你的 VPC CIDR(或需要访问 LangSmith 的实例)的入站 TCP 443 流量:
**3. 等待接受。**LangChain 会接受该连接。端点状态将从 pendingAcceptance 变为 available。接受后请等待几分钟,让更改完全传播,然后再测试连接。

配置 DNS

配置 DNS,使 aws.api.smith.langchain.com 在你的 VPC 内解析到 VPC 端点的私有 DNS 名称。你可以使用任意私有 DNS 解决方案:Route 53 Private Hosted Zones、企业 DNS 解析器,或任何可从你的 VPC 访问的 DNS 服务器。 首先,获取端点的 DNS 名称:
然后,为 aws.api.smith.langchain.com 创建一条 CNAME 记录,并将其指向该 DNS 名称。以下是使用 Route 53 的示例:

验证连接

在你的 VPC 中的 EC2 实例或容器内:

GCP Private Service Connect

GCP 上的 Enterprise 客户可以通过 Private Service Connect(PSC)连接 LangSmith,从而在不将流量暴露到公共互联网的情况下实现私有连接。

服务附件 URI

使用以下服务附件 URI,在你的 VPC 中创建 PSC 端点:

PSC 域名

设置完成后,使用以下域名通过 PSC 连接连接到 LangSmith:

设置

**请求访问权限:**联系你的客户代表或发送邮件至 sales@langchain.dev,并提供你的 GCP 项目 ID。LangChain 会将你的项目添加到服务附件的允许使用者列表中。 获得访问权限后,创建 PSC 端点,并使用 gcloud CLI 或 Terraform 配置 DNS。

创建 PSC 端点

在你的 VPC 中创建一条转发规则,并将其指向服务附件:

配置 DNS

在你的 VPC 中创建一个私有 DNS 区域,并添加一条指向 PSC 端点 IP 的 A 记录:

验证连接

在你的 VPC 中的 VM 内:

API 速率限制

LangSmith 会对 API 端点实施速率限制,以确保服务稳定性和公平使用。下表列出了 GCP US 和 GCP EU 区域中不同端点的速率限制。GCP APAC 和 AWS US 会实施可比的特定服务限制;如果你需要了解所在组织的确切限制,请联系支持团队。请注意:
  • 速率限制表示为 count / interval,其中 count 是允许在该时间间隔内发出的请求数,时间间隔以秒为单位。例如,2000 / 10 表示每 10 秒允许 2000 个请求。
  • 如果端点列中未指定 HTTP 方法,则速率限制适用于该端点的所有 HTTP 方法。
  • 如果列出了特定方法(例如 POST、GET),则速率限制仅适用于该方法。

速率限制类别

  • 高吞吐量:用于身份验证、元数据和反馈等核心操作的通用高流量端点。
  • 代码仓库:代码仓库和提示管理操作。
  • 运行摄取:用于可观测性的单个轨迹/运行摄取端点。
  • 图表:图表生成和可视化端点。
  • 多部分摄取:通过多部分上传进行批量运行摄取,适用于高流量轨迹记录。
  • 运行查询(API):基于 API 密钥的运行查询操作,对复杂查询采用更严格的限制。
  • 运行查询(用户):基于用户的运行查询操作,为交互式使用提供更高的限制。
  • 生成:AI 驱动的代码和内容生成端点(限制使用以防止滥用)。
  • 提交:提示版本控制和提交操作。
  • 删除:会话删除和工作流触发操作。
  • 运行查找:通过 UUID 检索特定运行。
  • 示例:获取用于少样本提示的数据集示例。
  • 默认(API 密钥):针对不符合特定模式的已验证 API 请求所使用的后备速率限制。
  • 默认(用户):针对不符合特定模式的已验证用户请求所使用的后备速率限制。
  • 公共下载:用于共享资源的高流量公共下载端点。
  • 统计:运行统计和分析端点(适用特定区域限制)。
  • 公共(兜底):未验证公共访问的默认速率限制。
有关速率限制和其他服务限制的更多信息,请参阅管理概览。