要以编程方式创建一个显示在 LangSmith UI 中的代码评估器,请参阅 使用 SDK 管理评估器。要定义传递给
evaluate() 的代码评估器函数,请参阅 如何定义代码评估器(SDK)。要根据数据集示例中保存的断言对输出进行评分,请参阅 使用断言。第 1 步:创建评估器
- 在 LangSmith UI 的以下任一页面中创建评估器:
- 在 Playground 中或从数据集中创建:选择 + Evaluator 按钮。
- 选择 Add rules,配置规则,然后选择 Apply evaluator。
- 为评估器指定一个清晰的名称,描述它所衡量的内容(例如“完全匹配”)。
- 在评估器类型选项中选择 Create code evaluator。
第 2 步:编写评估器代码
自定义代码评估器限制。允许使用的库:你可以导入所有标准库函数,以及以下公开软件包:网络访问:自定义代码评估器无法访问互联网。
perform_eval,并且应该:
- 接受
run和example参数。 - 通过
run['inputs']、run['outputs']和example['outputs']访问数据。 - 返回一个字典,其中每个键都是指标名称,每个值都是该指标的得分。每个键代表你希望返回的一项反馈。例如,
{"correctness": 1, "silliness": 0}会在该运行上创建两项反馈。
函数签名
示例:完全匹配评估器
示例:基于输入的评估器
第 3 步:测试并保存
- 在示例数据上测试评估器,确保其按预期运行
- 点击 Save,使评估器可供使用
使用代码评估器
创建完成后,你可以在以下场景中使用代码评估器:- 从 Playground 运行评估时
- 作为数据集的一部分,自动对实验运行评估
相关内容
- LLM-as-a-judge 评估器(UI):使用 LLM 评估输出
- 组合评估器:组合多个评估器的得分
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.

