当在线评估器对跟踪记录中的任何运行执行评估时，该跟踪记录将自动升级为扩展数据保留。此升级会影响跟踪记录的定价，但确保满足您评估标准（通常是那些对分析最有价值的）的跟踪记录得以保留以供调查。
查看在线评估器
在 LangSmith UI 中，前往 跟踪项目 选项卡并选择一个跟踪项目。要查看该项目现有的在线评估器，请点击 评估器 选项卡。添加在线评估器
- 在 LangSmith UI 中，导航到 跟踪 页面并选择一个跟踪项目。
- 点击 评估器 选项卡。
- 点击 + 评估器 打开 添加评估器 面板。
- 选择以下选项之一：
- 从头创建：选择 LLM-as-a-Judge 评估器。
- 附加现有评估器：选择您工作区中已有的评估器以重新使用。
- 从模板创建：从一个预制的评估器开始。
- 为您的评估器命名。
应用筛选器到触发评估器的运行
您可以对触发评估器的运行应用筛选器。您可能希望基于以下条件应用评估器：- 用户留下了反馈（指示响应不令人满意）的运行。
- 调用特定工具调用的运行。有关更多信息，请参阅筛选工具调用。
- 匹配特定元数据的运行（例如，如果您使用
plan_type记录跟踪记录，并且只想对来自企业客户的跟踪记录运行评估）。有关更多信息，请参阅向跟踪记录添加元数据。
配置采样率
配置采样率以控制触发自动化操作的筛选后运行的百分比。例如，为了控制成本，您可能希望设置筛选器，仅对 10% 的跟踪记录应用评估器。为此，您需要将采样率设置为 0.1。将规则应用于过去的运行
通过切换 应用于过去的运行 并输入“回填自”日期，可以将规则应用于过去的运行。这仅在规则创建时可用。回填将作为后台任务处理，因此您不会立即看到结果。
- 添加评估器名称。
- （可选）筛选您希望应用评估器的运行或配置采样率。
- 选择 应用评估器。
设置支出限额
您可以按周限制此评估器附加的项目和数据集的LLM成本。默认情况下，应用组织范围的评估器限额。组织管理员可以通过在高级下的支出限额字段中设置自定义值来为特定评估器覆盖此设置。要移除覆盖并重新继承组织默认值，请点击重置为组织默认值。当每周支出达到有效限额时，LangSmith将在该限额于UTC时间周一凌晨12点重置或手动增加限额之前暂停该评估器在该项目或数据集上的运行。 有关详细信息，请参阅跟踪和限制评估器支出。配置基于LLM的评估器
有关更多信息，请参阅基于LLM的评估器。将多模态内容映射到评估器
如果您的跟踪记录包含多模态内容（如图像、音频或文档），您可以将这些内容包含在评估器提示中。有两种方法：- 使用跟踪记录中base64编码的内容：如果您的应用程序将多模态内容作为base64编码数据记录在跟踪记录中（例如，在运行的输入或输出中），您可以直接在评估器提示中使用模板变量引用此内容。评估器将从跟踪记录中提取base64数据并将其传递给LLM。
-
使用跟踪记录中的附件：类似于使用附件进行离线评估，您可以在在线评估中使用跟踪记录中的附件。由于您的跟踪记录已经包含通过SDK记录的附件，您可以直接在评估器中引用它们。
- 从数据集页面选择 + 评估器。
- 在 模板变量 编辑器中，添加一个用于要包含的附件的变量：
- 如果您想包含特定附件，可以使用建议的变量名，例如
{{attachment.file_name}}，这将把附件列表中文件名为file_name的文件映射以传递给评估器。 - 如果您想包含所有附件，请使用
{{attachments}}变量。
- 如果您想包含特定附件，可以使用建议的变量名，例如
- 验证图像描述是否与跟踪记录中的实际图像匹配。
- 检查转录内容是否准确反映了音频输入。
- 验证从文档中提取的文本是否正确。
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.