此功能仅适用于 Helm chart 版本 0.10.27(应用程序版本 0.10.74)及更高版本。
许多模型提供商支持通过环境变量设置凭据和其他配置选项。这对于自托管部署非常有用,可以避免在代码或配置文件中硬编码敏感信息。在 LangSmith 中,大多数模型交互通过 playground 服务完成,该服务允许您直接在 Pod 本身上配置许多此类环境变量。这对于避免在 UI 中设置凭据很有用。

要求

  • 一个正在运行 playground 服务的自托管 LangSmith 实例。
  • 您要配置的提供商必须支持通过环境变量进行配置。有关更多信息,请查阅该提供商的聊天模型文档。
  • 您可能需要附加到 playground 服务的密钥/角色。
    • 请注意,对于 IRSA,您可能需要授予 langsmith-playground 服务账户必要的权限,以访问云提供商中的密钥或角色。

配置

使用上述参数,您可以配置您的 LangSmith 实例,使其为模型提供商使用环境变量。您可以通过修改 LangSmith Helm Chart 安装的 langsmith_config.yaml 文件来实现。
Helm

VertexAI 配置

您可以使用带有密钥的环境变量或工作负载身份(适用于 GKE 的 GCP Workload Identity 或适用于 EKS 的 AWS IRSA)来配置 playground 服务的 VertexAI 凭据。

使用密钥

使用 Kubernetes 密钥配置 VertexAI 凭据:
Helm

使用工作负载身份

您可以配置 playground 服务账户使用工作负载身份来承担 GCP 服务账户角色,而无需存储凭据。这是 GKE 集群的推荐方法。

GCP Workload Identity (GKE)

对于 GKE 集群,请使用 GCP Workload Identity:
使用 GCP Workload Identity 时,请确保 GCP 服务账户具有所需的 VertexAI 权限(例如 roles/aiplatform.user)。

AWS IRSA (EKS)

对于 EKS 集群,您可以使用 AWS IRSA 来承担 GCP 服务账户角色:
使用 AWS IRSA 时,请确保您的 AWS IAM 角色具有承担 GCP 服务账户角色的必要权限,并且该 GCP 服务账户具有所需的 VertexAI 权限。