跟踪并限制评估器支出

按评估器限制每周 LLM 支出，防止单个评估器超出预算。LangSmith 会跟踪评估器截至当周的支出，并在每周一 UTC 时间 00:00 重置。具有组织管理员权限的用户可以为每个评估器的已附加项目和数据集设置每周上限。该上限可以是适用于整个组织的单一默认值，也可以是针对某个已附加项目或数据集的自定义覆盖值。 本指南将介绍如何查看和配置评估器每周支出上限。

​

限制的生效方式

LangSmith 会在每次评估器运行完成后记录支出，然后汇总从每周一 UTC 时间 00:00 到当前时刻的支出。当总额达到有效限制时，LangSmith 会暂停该评估器在对应已附加项目或数据集上的运行。正在进行的运行可能会在最终完成前使总额略微超过上限，因此支出可能会短暂地小幅超出限制。 代理和跟踪不会受到影响。只有评估器会停止生成评分，直到支出限制重置或该限制被手动提高。

​

支出视图和控制项

​

查看评估器支出

你可以在以下 UI 位置查看支出：

​

评估器页面仪表板

从左侧边栏进入评估器页面。页面顶部显示整个工作区的每周视图：

• 每日评估器支出：显示每日支出的堆叠柱状图。可以在评估器和项目/数据集维度之间切换。
• 本周评估器支出：所有评估器的 USD 支出总额，以及与上周相比的变化。
• 本周评估器跟踪数：所有评估器的跟踪总数，以及与上周相比的变化。
• 每周评估器支出限制监控：按支出从高到低排列的列表，其中包含每个项目或数据集相对于 $ 已支出 / $ 限制 的进度条。标题会显示已达到限制的项目或数据集数量（已达到限制），以及预计将达到限制的项目或数据集数量。

使用页面标题中的上周和下周控件切换每周视图。 跟踪项目或数据集视图中包含一个评估器选项卡，其中显示限定到该项目或数据集的相同组件，例如此跟踪项目的每日评估器支出。

​

评估器表格

同一页面上的评估器表格包含：

• 支出（本周）：从每周一 UTC 时间 00:00 起，该评估器在所有已附加项目和数据集上的 LLM 成本总额。不调用 LLM 的评估器（例如代码评估器）、已禁用的评估器，以及未附加项目或数据集的评估器不会显示值。
• Spend Status：以下状态之一：
  • 低于限制：至少有一个已附加项目或数据集设置了限制，并且没有任何项目或数据集达到上限。
  • 达到 N 个限制：该评估器在其附加的一个或多个项目或数据集上已达到限制。数字表示已暂停的项目或数据集数量。
  • 无限制：未设置任何限制。
  • 对于不调用 LLM 的评估器（例如代码评估器）以及未附加项目或数据集的评估器，不显示任何值。

​

评估器上的项目和数据集选项卡

打开评估器并选择项目和数据集选项卡，可以查看每个项目或数据集的支出和限制：

• 支出（本周）：从每周一 UTC 时间 00:00 起，该评估器在对应项目或数据集上的 LLM 成本总额。
• 支出限制百分比：显示从每周一 UTC 时间 00:00 起，相对于限制的支出进度条。
• 每周限制：该项目或数据集的有效每周限制，可以是组织默认值，也可以是自定义覆盖值。

有关附件管理，请参阅管理评估器。

​

设置组织默认支出限制

组织管理员可以设置一个每周上限，将其应用于组织中每个工作区的所有评估器已附加项目和数据集。每个组织只有一个默认值，而不是每个工作区一个默认值。

1. 打开组织设置，然后进入用量配置。
2. 在评估器支出限制中输入 USD 金额。单位为 / week。留空表示不设置限制。
3. 点击保存。

如果未设置组织默认值，则已附加的项目和数据集不受限制，除非配置了自定义覆盖值。清除默认值后，所有当前继承该默认值的已附加项目或数据集都会移除上限。 更改默认值只会更新继承该默认值的已附加项目和数据集。自定义覆盖值会保留不变。

​

覆盖已附加项目或数据集的默认值

组织管理员可以为评估器上附加的某个项目或数据集覆盖默认值。

1. 从左侧边栏进入评估器，然后打开评估器。
2. 点击右上角的编辑评估器图标。
3. 在来源下，选择具体的项目或数据集。
4. 滚过筛选器和采样率，然后展开高级。
5. 在支出限制字段中设置自定义 USD 金额。单位为 / week。
6. 保存评估器配置。

字段下方的提示文本会显示当前值是组织默认值还是自定义限制。要将覆盖值恢复为组织默认值，请点击重置为组织默认值。 没有 organization:manage 权限的成员可以查看限制，但无法更改。只读视图会显示以下内容之一：

• Unlimited / week (organization default)
• $<amount> / week (organization default)
• $<amount> / week (custom limit)

​

达到限制时

当已附加项目或数据集的每周支出达到有效限制时：

• LangSmith 会停止在该项目或数据集的新运行上运行评估器。
• 评估器表格中的 Spend Status 列会显示达到 N 个限制，每周评估器支出限制监控组件也会显示受影响的项目或数据集。
• 被跳过的运行不会补跑。支出限制重置后，或限制被手动提高后，评估器会自动在新运行上恢复。

​

配置模型价格

设置支出限制后，评估器只能使用受支持的模型（OpenAI、Anthropic 和 Gemini），并且这些模型必须已配置价格。未配置价格的模型无法用于评估器。 请在模型价格下为评估器使用的模型配置价格。

​

故障排除

无法创建评估器：设置限制后，评估器必须使用受支持的模型（OpenAI、Anthropic 或 Gemini），并且该模型必须在模型价格中存在价格条目。 LangSmith 的支出与我的 LLM 提供商账单不一致：LangSmith 根据模型价格中配置的各模型费率计算支出，而不是根据提供商的账单计算。如果提供商应用了折扣、自定义合同价格，或你尚未在 LangSmith 中添加某些模型变体，出现差异是正常的。

​

相关资源

• 管理评估器
• 设置 LLM 评判器在线评估器
• 成本跟踪
• 模型价格
• 账单

---