Beta: LLM 网关处于 Beta 测试阶段。
前提条件
开始之前,请确认:- 您的组织管理员已启用 LLM 网关。对于自带密钥的模型,管理员还必须将提供商的 API 密钥添加到工作区密钥中。要进行此设置,请参阅管理员设置。
- 您拥有一个工作区级别的 LangSmith API 密钥,并已将其附加到具有
gateway:invoke和workspaces:read权限的角色上。如果不确定,请询问您的组织管理员。
1. 设置环境变量
设置标准网关的基础 URL 和您的 LangSmith API 密钥:anthropic/claude-opus-5,以及托管模型的标识符,例如 moonshotai/kimi-k3。模型 ID 决定了上游路由。
如果您的 LangSmith 账户在区域实例上,请使用相应的区域网关。
使用 LangChain 和 Deep Agents
LangChain 聊天模型和 Deep Agents(包括 Deep Agents Code)通过两个便捷的环境变量支持网关:https://gateway.smith.langchain.com 的网关。要使用不同的网关(例如欧盟实例),请设置其 URL 而不是 true:
如果网关已启用但
LANGSMITH_GATEWAY_API_KEY 未设置,网关将回退到使用 LANGSMITH_API_KEY。更多细节
更多细节
- 仅在 Python 中支持。
-
支持的聊天模型:
- Anthropic (
langchain-anthropic >= 1.5.1) - Baseten (
langchain-baseten >= 0.2.3) - Fireworks (
langchain-fireworks >= 1.5.1) - Google Gemini (
langchain-google-genai >= 4.3.2) - OpenAI (
langchain-openai >= 1.4.1).
- Anthropic (
-
提供商特定的基础 URL 优先于网关,因此您仍然可以将单个提供商路由到其他地方。例如,当网关启用时,
OPENAI_API_BASE会将 OpenAI 发送到该 URL,而其他所有提供商继续使用网关:
*_API_BASE 和 *_API_KEY 变量)。GW default 是 https://gateway.smith.langchain.com/openai/v1。2. 发起调用
200 响应确认了网关、您的 API 密钥、角色权限和所选的模型路由均工作正常。
3. 查看您的追踪
打开 LangSmith UI,并导航到与您的 API 密钥关联的工作区中名为gateway 或 gateway-<short_api_key>-<api_key_id> 的追踪项目。您应该能看到一个对应于您刚刚发起的调用的新追踪。
如果您的应用程序也发出了自己的 LangSmith 追踪(例如通过 LangChain 或 LangGraph 追踪),则网关端的追踪和您的应用程序追踪将显示为独立的运行。目前尚不支持将网关追踪链接到父应用程序运行。
4. 设置消费策略(可选)
前往 LangSmith 中的 设置 → 网关 → LLM 网关 来创建消费策略。例如,您可以为您的 API 密钥设置每日 10 美元的上限。当达到上限时,网关会返回一个402 响应,消息为:"Request blocked by gateway policies: R&D Spend Cap"。
有关策略维度、时间窗口和冲突解决的完整指南,请参阅消费策略。
网关如何处理请求
网关对每个标准端点请求执行以下步骤:- 使用 LangSmith API 密钥对请求进行认证。
- 根据模型 ID 选择一个托管模型或已配置的自带密钥提供商。
- 解析上游凭证。托管模型使用网关积分,而自带密钥模型使用工作区提供商密钥。
- 评估活动策略,包括消费限额、PII 脱敏和密钥脱敏。
- 当所选提供商使用不同的 API 格式时,转换请求和响应。
- 将调用追踪到 LangSmith,包括令牌计数、成本和策略事件。
后续步骤
- 设置编码代理:通过网关路由 Claude Code、Codex、Gemini CLI 或 Deep Agents Code。
- API 格式:通过标准端点使用 Chat Completions、Messages 或 Responses。
- 直接模型访问:使用提供商原生的请求和响应格式。
- 消费策略:在您的组织内配置成本限制。
- 数据保护:防止敏感数据流向提供商。
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.

