在线评估可对您的生产环境跟踪提供实时反馈。这对于持续监控应用程序的性能非常有用:识别问题、衡量改进,并确保随时间推移保持一致的质量。 代码评估器允许您直接在 LangSmith 中使用 Python 或 JavaScript 编写评估器。常用于验证数据的结构或统计属性。
当在线评估器对跟踪内的任何运行执行评估时,该跟踪将自动升级为延长数据保留期。此升级会影响跟踪的计费价格,但能确保符合您评估标准(通常是对分析最有价值)的跟踪得到保留以供调查。

查看在线评估器

导航到跟踪页面,选择一个跟踪项目。要查看该项目的现有在线评估器,请点击评估器选项卡。

配置在线评估器

1. 导航至在线评估器

导航到跟踪页面,选择一个跟踪项目。点击评估器选项卡,然后点击 + 评估器 打开添加评估器面板。在从头创建下选择代码评估器以构建新的评估器,或者在附加现有评估器下从您的工作区选择一个现有的代码评估器。

2. 为评估器命名

为您的评估器提供一个名称。此名称将在代码中引用该评估器时使用,同时也会是此评估器生成的反馈的名称。

3. 创建筛选器

例如,您可能希望基于以下条件应用特定的评估器:
  • 用户留下了反馈表明响应不满意的运行。
  • 调用了特定工具调用的运行。有关更多信息,请参阅筛选工具调用。
  • 匹配特定元数据的运行(例如,如果您记录的跟踪带有 plan_type 标签,并且只想对来自企业客户的跟踪进行评估)。有关更多信息,请参阅向跟踪添加元数据。
评估器上的筛选器与您在项目中筛选跟踪的工作方式相同。有关筛选器的更多信息,请参阅筛选跟踪。
在为评估器创建筛选器时,检查运行通常很有帮助。在打开评估器配置面板的情况下,您可以检查运行并对其应用筛选器。您应用于运行表的任何筛选器都将自动反映在评估器的筛选器中。

4. (可选)配置采样率

配置采样率以控制触发自动化操作的已筛选运行的百分比。例如,为了控制成本,您可能希望设置一个筛选器,仅对 10% 的跟踪应用评估器。为此,您需要将采样率设置为 0.1。

5. (可选)将规则应用于历史运行

通过切换 应用于历史运行 并输入”从…开始回填”日期,将规则应用于历史运行。这仅在规则创建时可行。注意:回填是作为后台任务处理的,因此您不会立即看到结果。 为了跟踪回填进度,您可以通过前往跟踪项目内的评估器选项卡,并点击您创建的评估器的”日志”按钮来查看评估器的日志。在线评估器日志类似于自动化规则日志。
  • 添加评估器名称。
  • (可选)筛选您希望应用评估器的运行或配置采样率。
  • 选择应用评估器。

编写您的评估函数

代码评估器限制。允许使用的库:您可以导入所有标准库函数,以及以下公开包:
网络访问:您无法从代码评估器访问互联网。
代码评估器必须内联编写。我们建议在 LangSmith 中设置代码评估器之前先在本地进行测试。 在用户界面中,您将找到一个面板,允许您内联编写代码,并提供一些起始代码。 代码评估器接受一个参数:
  • 一个 Run(参考)。这代表要评估的采样运行。
它们返回一个值:
  • 反馈字典:一个字典,其键是您要返回的反馈类型,值是您为该反馈键给出的分数。例如,{"correctness": 1, "silliness": 0} 将在运行上创建两种类型的反馈:一种表示它是正确的,另一种表示它不傻。
以下示例展示了一个函数,该函数验证实验中的每个运行是否包含一个已知的 JSON 字段:

测试并保存您的评估函数

在保存之前,您可以通过点击测试代码在最近的运行上测试您的评估器函数,以确保代码执行正确。 一旦您点击保存,您的在线评估器将运行于新采样的运行(如果您选择了回填选项,也将应用于回填的运行)。 如果您更喜欢视频教程,请查看 LangSmith 介绍课程中的在线评估视频。