自动在实验上运行评估器

LangSmith 支持通过两种方式对使用 SDK 创建的实验进行评分：

以编程方式，在代码中指定评估器（详情请参阅如何评估 LLM 应用）
在 UI 中将评估器绑定到数据集。除了通过 SDK 设置的评估器之外，这还会自动对创建的所有新实验运行这些评估器。当你迭代应用（目标函数），并且希望为所有实验运行一组标准评估器时，这种方式非常有用。

在数据集上配置评估器

在 LangSmith UI 中选择一个数据集。
点击 评估器选项卡。
点击 + 评估器，打开添加评估器面板。
选择以下选项之一：
- 从头创建：创建新的 LLM 评判者、代码或组合评估器，或者选择从标注数据创建，以创建一个与人工反馈对齐的 LLM 评判者评估器。
- 关联现有评估器：选择工作区中已有的评估器并重复使用。
- 从模板创建：从现成的评估器模板开始。

为数据集配置评估器后，它只会影响在评估器配置完成后创建的实验运行。对于在评估器配置完成前创建的实验运行，其评估不会受到影响。

LLM 评判者评估器

将评估器绑定到数据集的过程，与在 Playground 中配置 LLM 评判者评估器的过程非常相似。请参阅在 Playground 中配置 LLM 评判者评估器的说明。

自定义代码评估器

将代码评估器绑定到数据集的过程，与在在线评估中配置代码评估器的过程非常相似。请参阅配置代码评估器的说明。在在线评估中配置代码评估器与将代码评估器绑定到数据集之间，唯一的区别是：自定义代码评估器可以引用数据集 Example 中包含的输出。对于绑定到数据集的自定义代码评估器，评估器函数接收两个参数：

一个 Run（参考）。它表示实验中的新运行。例如，如果你通过 SDK 运行实验，其中将包含你要测试的链或模型的输入/输出。
一个 Example（参考）。它表示数据集中的参考示例，包含你要测试的链或模型所使用的数据。Run 和 Example 的 inputs 应保持一致。如果你的 Example 包含参考 outputs，则可以使用它与运行结果的输出进行比较并评分。

以下代码展示了一个简单的评估器函数示例，用于检查输出是否与参考输出完全相等。

import numpy as np

def perform_eval(run, example):
    # run 是一个 Run 对象
    # example 是一个 Example 对象
    output = run['outputs']['output']
    ref_output = example['outputs']['outputs']
    output_match = np.array_equal(output, ref_output)

    return { "exact_match": output_match }

function perform_eval(run, example) {
    // run 是一个 Run 对象
    // example 是一个 Example 对象
    const output = run.outputs.output;
    const refOutput = example.outputs.outputs;

    // 对数组/对象进行深度相等性检查
    const outputMatch = JSON.stringify(output) === JSON.stringify(refOutput);

    return { "exact_match": outputMatch };
}

后续步骤

在实验选项卡中分析实验结果
在比较视图中比较实验结果

Connect these docs to Claude, VSCode, and more via MCP for real-time answers.

Edit this page on GitHub or file an issue.

Evaluator types

Frameworks & integrations

Improve evaluators

在数据集上配置评估器

LLM 评判者评估器

自定义代码评估器

后续步骤

​在数据集上配置评估器

​LLM 评判者评估器

​自定义代码评估器

​后续步骤

在数据集上配置评估器

LLM 评判者评估器

自定义代码评估器

后续步骤