在 GCP 上自托管 LangSmith

在 Google Cloud Platform (GCP) 上运行 LangSmith 时，自托管模式会部署一个具备可观测性功能的完整 LangSmith 平台。 本页面介绍：

• 用于部署到 GKE、配置托管服务和设置身份验证的初始设置步骤。
• GCP 特定的架构模式和参考图。
• 服务建议和最佳实践。
• 适用于卓越运营、安全性和可靠性的 Google Cloud Well-Architected 最佳实践。

​

初始设置

完成这些初始设置步骤后，你可以在下方查看完整的 GCP 架构和最佳实践。

​

参考架构

我们建议利用 GCP 的托管服务来提供可扩展、安全且可靠的平台。以下架构适用于自托管和混合部署，并符合 Google Cloud Well-Architected Framework：

• 入口与网络：请求通过 VPC 中的 Cloud Load Balancing 进入，并使用基于 Cloud Armor 和 IAM 的身份验证进行保护。
• **前端与后端服务：**容器运行在 Google Kubernetes Engine (GKE) 上，并在负载均衡器后方进行编排。根据需要将请求路由到集群内的其他服务。
• 存储与数据库：
  • Cloud SQL for PostgreSQL：用于存储元数据、项目、用户，以及已部署代理的短期和长期记忆。LangSmith 支持 PostgreSQL 14 或更高版本。
  • Memorystore（Redis 或 Valkey）：用于缓存和任务队列。Memorystore 可以使用单实例模式或集群模式。LangSmith 要求 Redis OSS 5 或更高版本，或 Valkey 8。
  • ClickHouse + Persistent Disks：用于分析和存储追踪数据。
    • 除非出于安全或合规原因 无法使用，否则我们建议使用外部托管的 ClickHouse 解决方案。
    • 混合部署不需要 ClickHouse。
  • Cloud Storage：用于存储追踪工件和遥测数据的对象存储。
• **LLM 集成：**可以选择通过 Vertex AI 代理请求，以执行 LLM 推理。
• **监控与可观测性：**与 Cloud Monitoring 和 Cloud Logging 集成。

​

计算选项

LangSmith 根据你的需求支持多种计算选项：

​

Google Cloud Well-Architected 最佳实践

此参考架构旨在与 Google Cloud Well-Architected Framework 的六大支柱保持一致：

​

卓越运营

• 使用 IaC（Terraform / Deployment Manager）自动执行部署。
• 使用 Secret Manager 管理配置和敏感数据。
• 配置 LangSmith 实例以导出遥测数据，并通过 Cloud Logging 持续监控。
• 管理 LangSmith 部署的首选方法是创建 CI 流程：构建 Agent Server 镜像并将其推送到 Artifact Registry。在 PR 合并后将新版本部署到预发布环境或生产环境之前，先为拉取请求创建测试部署。

​

安全性

• 使用具有最小权限策略的 IAM 角色，并使用 Workload Identity 安全地对 Pod 访问 GCP 服务进行身份验证。
• 启用静态加密（Cloud SQL、Cloud Storage、Persistent Disks）和传输中加密（TLS 1.2 及更高版本）。
• 与 Secret Manager 集成以管理凭据。
• 将 Identity Platform 或 Workload Identity Federation 作为 IDP，与 LangSmith 内置的身份验证和授权功能结合使用，以保护对代理及其工具的访问。

​

可靠性

• 跨区域复制 LangSmith 数据平面：为 LangSmith Deployment 在不同区域的 Kubernetes 集群中部署相同的数据平面。在多个可用区中部署 Cloud SQL 和 GKE 服务。
• 使用 Horizontal Pod Autoscaler 和 Cluster Autoscaler 为后端工作进程实现自动扩展。
• 使用 Cloud DNS 健康检查和故障转移策略。

​

性能优化

• 利用 Compute Engine 实例，并通过机器类型选择优化计算能力。
• 对不经常访问的追踪数据使用 Cloud Storage 生命周期策略，将其迁移到 Nearline 或 Coldline 存储类别。

​

成本优化

• 使用承诺使用折扣和持续使用折扣合理调整 GKE 集群规模。
• 使用 Cloud Billing 信息中心和 Cost Management 工具监控成本 KPI。

​

可持续性

• 使用按需计算和自动扩展，最大限度减少空闲工作负载。
• 使用 Cloud Storage 生命周期策略，将遥测数据存储在低延迟、低成本的存储层中。
• 使用计划操作为非生产环境启用自动关机。

​

安全性与合规性

LangSmith 可以配置为：

• 仅通过 Private Service Connect 访问（除计费所需的出站流量外，不暴露于公共互联网）。
• 使用基于 Cloud KMS 的加密密钥保护 Cloud Storage、Cloud SQL 和 Persistent Disks。
• 将审计日志记录到 Cloud Logging 和 Cloud Audit Logs。

客户可以根据需要部署在 Assured Workloads 区域，以满足 ISO、HIPAA 或其他监管要求。

​

监控与评估

使用 LangSmith 来：

• 捕获运行在 Vertex AI 上的 LLM 应用的追踪数据。
• 通过 LangSmith 数据集评估模型输出。
• 跟踪延迟、令牌使用量和成功率。

与以下服务集成：

• Cloud Monitoring 信息中心。
• OpenTelemetry 和 Prometheus 导出器。

---