管理评估器

LangSmith 中的评估器是工作区级别的资源。你可以将单个评估器附加到多个跟踪项目和数据集，从而在整个工作中应用一致的评估逻辑，而无需每次都重新创建。

LangSmith Engine 会针对检测到的问题建议自定义评估器，并支持一键部署。

查看评估器

在 LangSmith UI 中，从左侧边栏选择 评估器，查看工作区中的所有评估器。评估器表格包含以下列：

列	描述
名称	评估器名称
类型	LLM 作为评判者或代码。复合评分评估器限定于单个跟踪项目和数据集，不会显示在此处。
反馈键	评估器生成的反馈键
项目和数据集	此评估器所附加到的跟踪项目和数据集
评估器跟踪次数（本周）	过去一周此评估器运行的跟踪次数。仅在启用支出跟踪时显示；对于代码评估器或没有附加规则的评估器，显示 –。
支出（本周）	此评估器过去一周预计产生的美元支出。仅在启用支出跟踪时显示；对于代码评估器或没有附加规则的评估器，显示 –。
支出状态	评估器是否处于未超出限制、无限制状态，或是否已达到一个或多个已配置的支出限制。仅在启用支出跟踪时显示；对于代码评估器，显示 –。
创建者	创建评估器的工作区成员
更新时间	评估器上次修改的时间
创建时间	创建评估器的时间

创建评估器

你可以在 LangSmith UI 中创建评估器，也可以通过 SDK 以编程方式创建。无论通过哪种方式创建，评估器都是工作区级别的资源，并会显示在评估器表格中。

在 UI 中创建评估器

在 LangSmith UI 中，从左侧边栏选择 评估器。
点击 + 评估器，打开新建评估器面板。

此面板允许你：

从头创建：构建新的 LLM-as-a-Judge 或代码评估器。

从模板创建：从适用于常见评估模式的现成评估器（也称为预构建评估器）开始。推荐部分会优先显示热门模板，之后按以下类别组织其他模板：

类别	描述
安全性	检测数据泄露、注入和对抗性输入。
安全	评估内容安全性和审核结果。
质量	衡量输出质量和准确性。
对话	评估对话质量和用户体验。
轨迹	评估智能体的工具使用情况和决策路径。
图像评估	评估图像内容的质量和安全性。
语音评估	评估语音和音频交互质量。

你也可以直接从跟踪项目或数据集添加评估器。在此流程中，你还可以从工作区中附加现有评估器，或创建一个复合评估器。请参阅设置 LLM-as-a-judge 在线评估器和在实验中自动运行评估器。

使用 SDK 创建评估器

使用 LangSmith SDK 以编程方式创建评估器。SDK 支持 Python 和 TypeScript。通过 SDK 创建的评估器会与通过 UI 创建的评估器一起显示在评估器表格中。

通过 SDK 管理评估器需要 langsmith>=0.9.8（Python、PyPI）或 langsmith>=0.7.16（TypeScript、npm）。

import asyncio

from langsmith import Client


async def main():
    client = Client()

    created = await client.evaluators.create(
        name="正确性评估器",
        type="code",
        code_evaluator={
            "code": "def perform_eval(run, example):\n    return {'score': 1}",
            "language": "python",
        },
    )
    print("已创建评估器：", created.evaluator.id)


asyncio.run(main())

import { Client } from "langsmith";

const client = new Client();

const created = await client.evaluators.create({
  name: "正确性评估器",
  type: "code",
  code_evaluator: {
    code: "def perform_eval(run, example):\n    return {'score': 1}",
    language: "python",
  },
});
console.log("已创建评估器：", created.evaluator?.id);

如需创建 LLM-as-a-judge 评估器，以及获取、更新、列出或删除评估器，请参阅使用 SDK 管理评估器。

查看评估器详情

点击表格中的任意评估器，打开其详情视图。详情视图包含四个选项卡：

概览：评估器的反馈配置以及提示词或代码定义。
跟踪：此评估器在所有附加资源上处理的跟踪。
日志：此评估器在所有附加资源上的执行日志。
项目和数据集：此评估器所附加到的跟踪项目和数据集，以及每个附加项的每周支出和限制。

编辑评估器

打开一个评估器。在概览选项卡中，点击编辑评估器 图标，打开配置评估器面板。更新评估器的配置，然后点击保存。由于评估器是共享的，更改会应用于它所附加到的所有跟踪项目和数据集。