直接访问模型

Beta： LLM Gateway 目前处于测试阶段。

直接访问模型会通过特定于提供商的网关路径公开每个提供商的 API。网关仍会处理身份验证、提供商密钥、策略和追踪，但不会将请求和响应转换为其他提供商的 API 格式。对于跨提供商调用模型，建议使用标准模型访问。当你希望直接访问某个提供商的 API、保留其原生请求和响应行为，并避开网关的标准化层时，可以使用直接访问模型。

选择提供商路径

将提供商路径追加到区域网关基础 URL 后：

提供商	网关路径	密钥名称
Anthropic	`/anthropic`	`ANTHROPIC_API_KEY`
AWS Bedrock	`/bedrock`	`AWS_BEARER_TOKEN_BEDROCK`
Baseten	`/baseten`	`BASETEN_API_KEY`
Fireworks	`/fireworks`	`FIREWORKS_API_KEY`
Google Gemini	`/gemini`	`GOOGLE_API_KEY`
Google Vertex AI	`/vertex`	`VERTEX_SERVICE_ACCOUNT_JSON`
OpenAI	`/openai`	`OPENAI_API_KEY`

Gateway Credits 模型使用标准端点，而不是特定于提供商的路径。这些托管模型无需你提供自己的提供商密钥。

配置提供商 SDK

将每个提供商 SDK 的基础 URL 设置为其直接网关路径，并使用你的 LangSmith API 密钥作为提供商 API 密钥：

export LANGSMITH_API_KEY="lsv2_..._....cbed3e"
export BASE_URL="https://gateway.smith.langchain.com"

export ANTHROPIC_BASE_URL="$BASE_URL/anthropic"
export OPENAI_BASE_URL="$BASE_URL/openai/v1"
export GOOGLE_GEMINI_BASE_URL="$BASE_URL/gemini"

export ANTHROPIC_API_KEY="$LANGSMITH_API_KEY"
export OPENAI_API_KEY="$LANGSMITH_API_KEY"
export GEMINI_API_KEY="$LANGSMITH_API_KEY"
export GOOGLE_API_KEY="$LANGSMITH_API_KEY"

网关会从工作区的 Provider Secrets 中解析实际的提供商密钥，因此无需将提供商密钥存储在本地。

import os

from openai import OpenAI

client = OpenAI(
    base_url=os.environ["OPENAI_BASE_URL"],
    api_key=os.environ["LANGSMITH_API_KEY"],
)
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "你好"}],
)
print(response.choices[0].message.content)

import os

import anthropic

client = anthropic.Anthropic(
    base_url=os.environ["ANTHROPIC_BASE_URL"],
    api_key=os.environ["LANGSMITH_API_KEY"],
)
message = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    messages=[{"role": "user", "content": "你好"}],
)
print(message.content[0].text)

直接路径使用提供商的原生模型名称，不需要添加提供商前缀。

配置 LangChain 和 Deep Agents

LangChain 聊天模型和 Deep Agents（包括 Deep Agents Code）支持通过两个便捷的环境变量使用直接网关路径：

export LANGSMITH_GATEWAY="true"
export LANGSMITH_GATEWAY_API_KEY="$LANGSMITH_API_KEY"

这会将受支持的聊天模型通过其特定于提供商的路径路由到 https://gateway.smith.langchain.com。如需使用区域网关，请将其 URL 设置为 true，而不是使用默认值：

export LANGSMITH_GATEWAY="https://eu.gateway.smith.langchain.com"
export LANGSMITH_GATEWAY_API_KEY="$LANGSMITH_API_KEY"

Supported models and configuration precedence

仅支持 Python。
支持的聊天模型：
- Anthropic（langchain-anthropic >= 1.5.1）
- Baseten（langchain-baseten >= 0.2.3）
- Fireworks（langchain-fireworks >= 1.5.1）
- Google Gemini（langchain-google-genai >= 4.3.2）
- OpenAI（langchain-openai >= 1.4.1）
特定于提供商的基础 URL 优先于网关设置。例如，OPENAI_API_BASE 会将 OpenAI 请求发送到该 URL，而其他所有受支持的提供商仍会继续使用网关。

使用区域网关

如果你的 LangSmith 账户位于区域实例上，请使用相应的区域网关，并追加提供商路径。例如，如需在 GCP EU 中直接访问 Anthropic，请使用 https://eu.gateway.smith.langchain.com/anthropic。

另请参阅

快速入门：使用标准 API 调用不同提供商的模型。
管理员设置：配置提供商密钥和访问权限。
追踪、引擎和访问控制：了解网关追踪显示在哪里，以及谁可以查看这些追踪。

Connect these docs to Claude, VSCode, and more via MCP for real-time answers.

Edit this page on GitHub or file an issue.

Core capabilities

Administration and governance

Advanced

选择提供商路径

配置提供商 SDK

配置 LangChain 和 Deep Agents

使用区域网关

另请参阅

​选择提供商路径

​配置提供商 SDK

​配置 LangChain 和 Deep Agents

​使用区域网关

​另请参阅

选择提供商路径

配置提供商 SDK

配置 LangChain 和 Deep Agents

使用区域网关

另请参阅