LLM 网关 开支监控 仪表板展示了一个工作区通过网关产生的 LLM 成本。可以用它来比较开支随时间的变化,并识别消耗了这些开支的用户、API 密钥和模型。该仪表板一次只展示一个工作区的数据;可以通过切换工作区来比较它们。 查看仪表板需要组织管理员角色以及 Plus 或 Enterprise 套餐。如果缺少任一条件,使用情况 标签页将不会显示。
该仪表板目前在欧盟、亚太或 AWS 环境中不可用。

打开仪表板

要查看网关开支:
  1. 在 LangSmith UI 中,在左侧导航栏选择 LLM 网关。
  2. 选择 使用情况。
  3. 选择您想分析的工作区。
当所选工作区通过 LLM 网关发送流量后,仪表板将显示数据。如果该工作区没有网关流量,仪表板将显示空状态。

设置时间范围和粒度

使用时间控件来定义页面上所有摘要、图表和表格所覆盖的时间段:
  • 时间范围:从一天到一年的预设范围中选择一个,或选择自定义日期。日期和时间段使用 UTC 时区。
  • 粒度:将开支按每小时、每天或每周进行分组。可用选项取决于所选时间范围的长度。
  • 上一个或下一个周期:向后或向前移动一个相同长度的周期,以比较相邻的时间范围。

拆分和筛选开支

选择 按…拆分,可以按以下维度对开支进行分组:
  • 用户:将开支归属于调用网关的个人访问令牌关联的用户。使用工作区或组织范围服务密钥发出的请求将显示为 与任何用户无关联。
  • API 密钥:将开支归属于调用网关的 LangSmith API 密钥。
  • 模型:将开支归属于请求所使用的模型。
选择维度后,使用旁边的筛选器来聚焦特定的用户、API 密钥或模型。一次最多可以选择六个实体。要移除筛选器,请选择列表底部的 全部 选项。

解读开支摘要

摘要卡片描述了所选工作区、时间范围、维度和筛选条件下的开支:
  • 总开支:所选时间范围内的网关开支总和。
  • 每小时/每天/每周平均值:总开支除以所选范围内的时间段数量。
  • 每小时/每天/每周平均值 / 维度:每个时间段内,所选用户、API 密钥或模型的平均开支。当您未应用实体筛选器时,此指标使用开支排名前 10 的实体。

分析图表和表格

堆叠条形图显示了每个实体在每个时间段内对开支的贡献。将鼠标悬停在条形图上可查看该时间段的总计以及每个可见实体的贡献。当未应用筛选器时,图表将开支最高的六个实体显示为独立的系列,并将其余实体合并为 其他。 该表格以每行一个可见实体的方式汇总了相同的选择。可以用它来比较:
  • 每小时/每天/每周平均值:该实体的总开支除以时间段的数量。
  • 开支份额:归属于该实体的开支百分比。
  • 总开支:该实体在所选时间范围内的总开支。
选择列标题可以对表格进行排序。

深入查看用户或 API 密钥

选择一个用户或 API 密钥行可以打开详细视图:
  • 从用户视图,可查看按 API 密钥分组的开支。
  • 从 API 密钥视图,可查看按用户分组的开支。
详细视图有其独立的实体筛选器、时间范围和粒度控件。在此视图中的更改不会影响主仪表板上的控件。

另请参阅