Beta: LLM Gateway 目前处于测试阶段。
一次性设置,用于为你的 LangSmith 组织启用 LLM Gateway。组织管理员应在普通用户通过网关路由调用之前完成此设置。

前提条件

你需要在 LangSmith 中拥有 organization:manage 权限。第 2 步选项 A还要求使用包含 RBAC(自定义角色)的套餐。

1. 添加提供商密钥

网关会从工作区的提供商密钥中解析提供商 API 密钥——这样,网关就可以代理向上游提供商发出的调用,而无需普通用户在本地保存提供商密钥副本。 前往 Settings → Integrations → Provider Secrets,添加你希望通过网关代理的提供商对应的密钥: 只添加组织实际使用的提供商。如果用户尝试调用尚未添加密钥的提供商,网关将返回错误。

2. 为用户配置网关访问权限

内置角色 WORKSPACE_USER 和 WORKSPACE_VIEWER 不包含 gateway:invoke 权限,且无法编辑。你可以通过以下两种方式授予网关访问权限:

选项 A:创建自定义工作区角色(推荐)

需要使用启用了 RBAC 的套餐。
  1. 前往 Settings → Members/Roles。
  2. 创建新的工作区角色。
  3. 至少授予 gateway:invoke 和 workspaces:read 权限。
  4. 将需要网关访问权限的用户分配到此角色。
如果你希望向特定用户授予网关访问权限,而不赋予他们完整的工作区管理员权限,请使用此选项。此选项可以最大程度地控制谁能够使用网关。

选项 B:使用工作区管理员角色

无套餐要求。 WORKSPACE_ADMIN 角色默认已包含 gateway:invoke 和 workspaces:read 权限。将需要网关访问权限的用户分配到此角色。 如果你不需要细粒度的访问控制,或尚未启用 RBAC,可以使用此选项。

3. 配置策略(可选)

管理网关策略需要 organization:manage 权限。 前往 Settings → Gateway → LLM Gateway 创建治理策略。你可以配置:
  • 支出限制: 在组织、工作区、API 密钥或用户级别设置硬性上限。请参阅支出策略。
  • 数据保护: 在数据到达模型之前检测并编辑个人身份信息(PII)和密钥。请参阅数据保护。
初始设置期间,策略不是必需的。在你配置策略之前,网关将允许所有调用。

4. 向用户分发 API 密钥

为需要网关访问权限的用户创建工作区范围的 Service Keys。每个密钥都应关联到包含 gateway:invoke 和 workspaces:read 的角色。 请使用工作区范围的密钥,而不是组织范围的密钥。详情请参阅 API 密钥范围。 将密钥和网关端点分享给每位用户,或者通过 MDM(移动设备管理)进行分发,以便在公司范围内推广编码代理。有关每个代理的配置说明,请参阅设置编码代理。

验证

请用户运行快速入门中的验证 cURL 命令。如果返回 200,则表示网关、API 密钥、提供商密钥和角色权限均已正确配置。此次调用会作为跟踪记录显示在工作区的 gateway 跟踪项目中。

后续步骤