LLM 网关允许您通过一个标准端点和一个 LangSmith API 密钥,调用跨配置提供商的模型。本快速入门指南使用 OpenAI Chat Completions 格式来调用 Anthropic 模型。
Beta: LLM 网关处于 Beta 测试阶段。

前提条件

开始之前,请确认:
  • 您的组织管理员已启用 LLM 网关。对于自带密钥的模型,管理员还必须将提供商的 API 密钥添加到工作区密钥中。要进行此设置,请参阅管理员设置。
  • 您拥有一个工作区级别的 LangSmith API 密钥,并已将其附加到具有 gateway:invoke 和 workspaces:read 权限的角色上。如果不确定,请询问您的组织管理员。
您可以调用网关积分模型而无需提供商密钥。下面的示例使用一个自带密钥的 Anthropic 模型。

1. 设置环境变量

设置标准网关的基础 URL 和您的 LangSmith API 密钥:
统一的基础 URL 接受带提供商前缀的自带密钥模型 ID,例如 anthropic/claude-opus-5,以及托管模型的标识符,例如 moonshotai/kimi-k3。模型 ID 决定了上游路由。
如果您的 LangSmith 账户在区域实例上,请使用相应的区域网关。
若要保留提供商原生的 API 格式而不进行格式转换,请使用直接提供商路由。

使用 LangChain 和 Deep Agents

LangChain 聊天模型和 Deep Agents(包括 Deep Agents Code)通过两个便捷的环境变量支持网关:
这会将所有支持的聊天模型路由通过位于 https://gateway.smith.langchain.com 的网关。要使用不同的网关(例如欧盟实例),请设置其 URL 而不是 true:
如果网关已启用但 LANGSMITH_GATEWAY_API_KEY 未设置,网关将回退到使用 LANGSMITH_API_KEY。
您也可以为单个提供商配置基础 URL 和 API 密钥。请参阅下面的手风琴部分了解提供商的支持情况及其与提供商特定环境变量的交互。
  • 仅在 Python 中支持。
  • 支持的聊天模型:
  • 提供商特定的基础 URL 优先于网关,因此您仍然可以将单个提供商路由到其他地方。例如,当网关启用时,OPENAI_API_BASE 会将 OpenAI 发送到该 URL,而其他所有提供商继续使用网关:
下表展示了基础 URL 和密钥如何解析,以 OpenAI 为例(其他提供商使用其自己的 *_API_BASE 和 *_API_KEY 变量)。GW default 是 https://gateway.smith.langchain.com/openai/v1。

2. 发起调用

一个包含聊天补全结果的 200 响应确认了网关、您的 API 密钥、角色权限和所选的模型路由均工作正常。

3. 查看您的追踪

打开 LangSmith UI,并导航到与您的 API 密钥关联的工作区中名为 gateway 或 gateway-<short_api_key>-<api_key_id> 的追踪项目。您应该能看到一个对应于您刚刚发起的调用的新追踪。
如果您的应用程序也发出了自己的 LangSmith 追踪(例如通过 LangChain 或 LangGraph 追踪),则网关端的追踪和您的应用程序追踪将显示为独立的运行。目前尚不支持将网关追踪链接到父应用程序运行。

4. 设置消费策略(可选)

前往 LangSmith 中的 设置 → 网关 → LLM 网关 来创建消费策略。例如,您可以为您的 API 密钥设置每日 10 美元的上限。当达到上限时,网关会返回一个 402 响应,消息为:"Request blocked by gateway policies: R&D Spend Cap"。 有关策略维度、时间窗口和冲突解决的完整指南,请参阅消费策略。

网关如何处理请求

网关对每个标准端点请求执行以下步骤:
  1. 使用 LangSmith API 密钥对请求进行认证。
  2. 根据模型 ID 选择一个托管模型或已配置的自带密钥提供商。
  3. 解析上游凭证。托管模型使用网关积分,而自带密钥模型使用工作区提供商密钥。
  4. 评估活动策略,包括消费限额、PII 脱敏和密钥脱敏。
  5. 当所选提供商使用不同的 API 格式时,转换请求和响应。
  6. 将调用追踪到 LangSmith,包括令牌计数、成本和策略事件。

后续步骤

  • 设置编码代理:通过网关路由 Claude Code、Codex、Gemini CLI 或 Deep Agents Code。
  • API 格式:通过标准端点使用 Chat Completions、Messages 或 Responses。
  • 直接模型访问:使用提供商原生的请求和响应格式。
  • 消费策略:在您的组织内配置成本限制。
  • 数据保护:防止敏感数据流向提供商。