当在线评估器对跟踪内的任何运行执行评估时,该跟踪将自动升级为延长数据保留期。此升级会影响跟踪的计费价格,但能确保符合您评估标准(通常是对分析最有价值)的跟踪得到保留以供调查。
查看在线评估器
导航到跟踪页面,选择一个跟踪项目。要查看该项目的现有在线评估器,请点击评估器选项卡。配置在线评估器
1. 导航至在线评估器
导航到跟踪页面,选择一个跟踪项目。点击评估器选项卡,然后点击 + 评估器 打开添加评估器面板。在从头创建下选择代码评估器以构建新的评估器,或者在附加现有评估器下从您的工作区选择一个现有的代码评估器。2. 为评估器命名
为您的评估器提供一个名称。此名称将在代码中引用该评估器时使用,同时也会是此评估器生成的反馈的名称。3. 创建筛选器
例如,您可能希望基于以下条件应用特定的评估器:- 用户留下了反馈表明响应不满意的运行。
- 调用了特定工具调用的运行。有关更多信息,请参阅筛选工具调用。
- 匹配特定元数据的运行(例如,如果您记录的跟踪带有
plan_type标签,并且只想对来自企业客户的跟踪进行评估)。有关更多信息,请参阅向跟踪添加元数据。
4. (可选)配置采样率
配置采样率以控制触发自动化操作的已筛选运行的百分比。例如,为了控制成本,您可能希望设置一个筛选器,仅对 10% 的跟踪应用评估器。为此,您需要将采样率设置为 0.1。5. (可选)将规则应用于历史运行
通过切换 应用于历史运行 并输入”从…开始回填”日期,将规则应用于历史运行。这仅在规则创建时可行。注意:回填是作为后台任务处理的,因此您不会立即看到结果。 为了跟踪回填进度,您可以通过前往跟踪项目内的评估器选项卡,并点击您创建的评估器的”日志”按钮来查看评估器的日志。在线评估器日志类似于自动化规则日志。- 添加评估器名称。
- (可选)筛选您希望应用评估器的运行或配置采样率。
- 选择应用评估器。
编写您的评估函数
代码评估器限制。允许使用的库:您可以导入所有标准库函数,以及以下公开包:网络访问:您无法从代码评估器访问互联网。
- 一个
Run(参考)。这代表要评估的采样运行。
- 反馈字典:一个字典,其键是您要返回的反馈类型,值是您为该反馈键给出的分数。例如,
{"correctness": 1, "silliness": 0}将在运行上创建两种类型的反馈:一种表示它是正确的,另一种表示它不傻。
测试并保存您的评估函数
在保存之前,您可以通过点击测试代码在最近的运行上测试您的评估器函数,以确保代码执行正确。 一旦您点击保存,您的在线评估器将运行于新采样的运行(如果您选择了回填选项,也将应用于回填的运行)。 如果您更喜欢视频教程,请查看 LangSmith 介绍课程中的在线评估视频。Connect these docs to Claude, VSCode, and more via MCP for real-time answers.

