Beta: LLM Gateway 目前处于测试阶段。随着我们不断迭代,API 和功能可能会发生变化。
网关额度让你可以通过标准 LLM Gateway API 调用由 LangChain 托管的模型,无需设置提供商账户或密钥。只需使用你的 LangSmith API 密钥进行身份验证即可。无需配置提供商密钥。 网关会根据模型 ID 路由每个请求。像 moonshotai/kimi-k3 这样的托管模型标识符会使用网关额度。以已配置的自带密钥提供商开头的模型 ID(例如 anthropic/claude-opus-5)则会使用该提供商的密钥。

基础 URL

将任何受支持的客户端指向标准网关 API:
使用你的 LangSmith API 密钥作为 bearer 令牌进行身份验证。如需了解区域基础 URL,请参阅区域网关。

可用模型

在请求正文中按 ID 选择托管模型。模型 ID 不区分大小写。 使用标准的模型列表端点,列出工作区中所有可用的模型,包括已配置的自带密钥提供商和托管模型:
在提示请求的 model 字段中,准确使用返回的模型 ID。

前提条件

使用网关额度之前:

发起调用

将 OpenAI 兼容客户端指向 https://gateway.smith.langchain.com/v1,使用你的 LangSmith API 密钥进行身份验证,并将 model 设置为托管模型 ID。

支持的端点

托管模型使用与自带密钥模型相同的标准 API 格式: 如需了解请求示例和转换行为,请参阅 API 格式。

定价

除 Enterprise 外,所有付费计划均可使用网关额度。有关计划详情和当前费率,请参阅定价页面。网关额度以LangChain 信用单位(LCU)计费,价格为每个 LCU 1.50 美元;每次调用根据令牌使用量消耗相应的 LCU。 标准网关支出策略适用于托管模型流量,因此你配置的任何组织、工作区、API 密钥或用户额度也会限制网关额度的使用。你可以使用管理自带密钥提供商的相同工具来控制网关额度消耗。例如,可以将某个 API 密钥的每月额度限制为 200 美元(涵盖所有提供商),或设置包含托管模型调用在内的工作区每日总额度。

追踪

与所有网关流量一样,托管模型调用也会被追踪到 LangSmith。如需了解追踪记录的存放位置以及如何控制其访问权限,请参阅追踪记录、引擎和访问控制。

后续步骤