Beta 版： LLM 网关处于 测试阶段。
支出策略为特定范围（组织、工作区、API 密钥或用户）在一个时间窗口（每月、每周、每天或每小时）内定义成本上限。LLM 网关 实时跟踪支出，并阻止任何会使支出超出上限的请求，返回一个 402 响应：
被阻止的请求会记录到 LangSmith 中，策略违规信息会作为元数据记录下来，因此您可以准确查看被阻止的内容及原因。

​
策略维度

支出策略按照从最宽泛到最具体的顺序进行评估。所有匹配的策略都会被检查，如果其中任何一个策略返回阻止，则该请求将被拒绝。您可以将策略设置为默认值（对所有工作区、用户或 API 密钥应用统一支出上限）或设置为精细策略（针对单个实体或实体组的单独限制）。

​
冲突解决

默认情况下，LLM 网关首先评估最宽泛的范围。如果应用了精细策略，则最严格的策略优先。较窄的范围只能收紧限制，永远不能放宽。如果组织级策略将支出上限设为 $10,000/月，而工作区级策略设为 $15,000/月，则 $10,000 的组织上限仍然适用。

​
默认策略与精细策略

支出策略包含两个方面：
  1. 跨维度的总和： 该范围的总上限。示例：“此工作区的总支出不得超过 $5,000/月。”
  2. 维度内每个成员的默认值： 适用于范围内每个 API 密钥或用户的基础限制，除非被覆盖。示例：“此工作区中的每个 API 密钥默认享有 $200/月的上限。”单个 API 密钥可以接收额外的策略来提高其特定限制，但任何策略都不能放松在更宽泛范围上设定的上限。

​
时间窗口

您可以为同一范围应用多个时间窗口。例如，一个工作区可以同时拥有 $5,000/月 的上限和 $500/天的上限。两者独立执行。

​
创建支出策略

创建和管理策略需要 organization:manage 权限。有关完整的权限细分，请参阅 追踪、引擎与访问控制。
  1. 前往 设置 → 网关 → LLM 网关。
  2. 点击 创建策略。
  3. 选择范围（组织、工作区、API 密钥或用户）。
  4. 设置时间窗口（每月、每周、每天或每小时）。
  5. 以美元设置支出上限。
  6. 保存。
策略立即生效。网关在每个传入请求上评估它们，执行延迟低于一秒。 支出策略还可以附加基于自定义请求头的条件，因此来自同一主体的流量可以按头部值划分为不同的上限。使用此功能可以在单个 API 密钥下限制您每个最终客户的支出。更多信息，请参阅 按客户策略。

​
查看支出

支出可见性仪表板显示实时成本汇总，因此您可以在达到上限之前了解您的 LLM 预算的去向。 在网关设置页面，您可以查看每个策略相对于其上限的支出金额。

​
与 LangSmith Engine 集成

当支出策略阻止一个请求时，违规行为会作为元数据记录在追踪中。这些违规行为会在 LangSmith Engine 中作为问题浮现出来，您可以从问题点击链接到追踪，以了解代理在触发限制时正在执行的操作。 这对于诊断被阻止的请求是代表真正的成本问题（编码代理处于重试循环中）还是需要调整的策略（合法的工作负载增长超出了其上限）非常有用。

​
后续步骤

  • 按客户策略：通过自定义请求头分割上限，以便每个最终客户都有自己的限制。
  • 数据保护：在成本控制之外添加数据保护策略。
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.
Edit this page on GitHub or file an issue.