在 AWS 上自托管 LangSmith

在 Amazon Web Services (AWS) 上运行 LangSmith 时，自托管模式会部署一个具备可观测性功能的完整 LangSmith 平台。 本页面提供：

• 用于部署到 EKS、配置托管服务和设置身份验证的初始设置步骤。
• AWS 特定的架构模式和参考架构图。
• 服务建议和最佳实践。
• 关于运营卓越性、安全性和可靠性的 AWS Well-Architected 最佳实践。

​

初始设置

完成这些初始设置步骤后，您可以查看下面的完整 AWS 架构和最佳实践。

​

参考架构

我们建议利用 AWS 的托管服务来提供可扩展、安全且高可靠的平台。以下架构同时适用于自托管和混合部署，并符合 AWS Well-Architected Framework：

• 入口与网络：请求通过您 VPC 中的 Amazon Application Load Balancer (ALB) 进入，并使用 AWS WAF 和基于 IAM 的身份验证进行保护。
• **前端与后端服务：**容器运行在 Amazon EKS 上，由 ALB 后的服务进行编排，并根据需要将请求路由到集群内的其他服务。
• 存储与数据库：
  • Amazon RDS for PostgreSQL 或 Aurora：用于存储元数据、项目、用户，以及已部署代理的短期和长期记忆。LangSmith 支持 PostgreSQL 14 或更高版本。
  • Amazon ElastiCache（Redis 或 Valkey）：用于缓存和任务队列。ElastiCache 可以采用单实例模式或集群模式。LangSmith 要求 Redis OSS 5 或更高版本，或 Valkey 8。
  • ClickHouse + Amazon EBS：用于分析和追踪存储。
    • 除非出于安全或合规原因无法这样做，否则我们建议使用外部托管的 ClickHouse 解决方案。
    • 混合部署不要求使用 ClickHouse。
  • Amazon S3：用于存储追踪工件和遥测数据的对象存储。
• **LLM 集成：**可选地将请求代理到 Amazon Bedrock 或 Amazon SageMaker，以执行 LLM 推理。
• **监控与可观测性：**与 Amazon CloudWatch 集成。

​

计算选项

LangSmith 支持多种计算选项，具体取决于您的需求：

​

AWS Well-Architected 最佳实践

此参考架构旨在符合 AWS Well-Architected Framework 的六大支柱：

​

运营卓越性

• 使用 IaC（CloudFormation / Terraform）自动化部署。
• 使用 AWS Systems Manager Parameter Store 管理配置。
• 配置 LangSmith 实例以导出遥测数据，并通过 CloudWatch Logs 持续监控。
• 管理 LangSmith 部署的首选方法是创建 CI 流程，构建 Agent Server 镜像并将其推送到 ECR。在 PR 合并后将新修订部署到预发布或生产环境之前，请先为拉取请求创建测试部署。

​

安全性

• 使用具有最小权限策略的 IAM 角色。
• 启用静态加密（RDS、S3、ClickHouse 卷）和传输中加密（TLS 1.2+）。
• 集成 AWS Secrets Manager 以管理凭证。
• 将 Amazon Cognito 作为 IDP，与 LangSmith 内置的身份验证和授权功能结合使用，以保护对代理及其工具的访问。

​

可靠性

• 跨区域复制 LangSmith 数据平面：对于 LangSmith Deployment，将相同的数据平面部署到不同区域的 Kubernetes 集群中。将 RDS 和 ECS 服务部署在多个 Multi-AZ 中。
• 为后端工作进程实现自动扩展。
• 使用 Amazon Route 53 运行状况检查和故障转移策略。

​

性能效率

• 利用 EC2 实例进行优化计算。
• 对不经常访问的追踪数据使用 S3 Intelligent-Tiering。

​

成本优化

• 使用 Compute Savings Plans 合理调整 EKS 集群规模。
• 使用 AWS Cost Explorer 控制面板监控成本 KPI。

​

可持续性

• 使用按需计算资源，尽量减少空闲工作负载。
• 将遥测数据存储在低延迟、低成本的存储层中。
• 为非生产环境启用自动关闭功能。

​

安全与合规

LangSmith 可以配置为：

• 仅通过 PrivateLink 访问（除计费所需的出站流量外，不暴露于公共互联网）。
• 使用基于 KMS 的加密密钥加密 S3、RDS 和 EBS。
• 将审计日志记录到 CloudWatch 和 AWS CloudTrail。

客户可以根据需要在 GovCloud、ISO 或 HIPAA 区域中进行部署。

​

监控与评估

使用 LangSmith 来：

• 捕获运行在 Bedrock 或 SageMaker 上的 LLM 应用的追踪信息。
• 通过 LangSmith 数据集评估模型输出。
• 跟踪延迟、Token 使用量和成功率。

集成以下工具：

• AWS CloudWatch 控制面板。
• OpenTelemetry 和 Prometheus 导出器。

---