本页面介绍了在 LangSmith 中处理实验时的一些基本任务:

分析单个实验

运行实验后,你可以使用 LangSmith 的实验视图分析结果,并了解实验性能。

打开实验视图

要打开实验视图:
  1. 在 Dataset & Experiments 页面中选择相关的数据集,这会打开 Experiments 标签页视图。
  2. 点击要查看的实验所在行。
打开实验视图

查看实验结果

自定义列

默认情况下,实验视图会显示数据集中每个示例的输入、输出和参考输出,以及评估反馈分数和实验指标,例如成本、Token 数量、延迟和 Status。 你可以点击视图右上角的 Columns 图标来自定义列,从而更轻松地解读实验结果:
  • 将输入、输出和参考输出中的字段拆分到各自的列中。如果输入、输出或参考输出较长,并且你希望突出显示重要字段,这会特别有用。
  • 隐藏和重新排列列,创建专注于分析的视图。
  • 控制反馈分数的小数精度。默认情况下,LangSmith 会将数值反馈分数显示为 2 位小数,但你可以将此设置调整为最多 6 位小数。
  • 为实验中的数值反馈分数将 Heat Map 阈值设置为高、中或低,这会影响分数标签显示为红色或绿色的阈值:
列热力图配置
你可以为整个数据集设置默认配置,也可以仅为自己临时保存设置。

排序和筛选

要按反馈分数对行进行排序,请点击列标题中的 Sort by 图标。 排序列 要筛选行,请点击列标题中的 图标,然后配置筛选设置。 筛选列

表格视图

在实验视图右上角选择三个表格视图图标中的一个:
  • Compact:每次运行显示为一行,便于快速比较分数。
  • Full:显示每次运行的完整输出。
  • Diff:显示每次运行的参考输出与输出之间的文本差异。
Diff 视图

查看追踪

点击实验视图中的任意行打开详情面板,该面板会显示此次运行的追踪,以及反馈、输入、输出和属性。 查看追踪 要查看整个追踪项目,请点击实验视图右上角的 View Project 图标。

查看评估器运行

将鼠标悬停在评估器分数上,可以查看有关该评估器运行的更多详细信息。对于 LLM-as-a-judge 评估器,点击 Source 链接查看所使用的提示,或点击 Evaluator trace 在新的浏览器标签页中打开追踪。对于包含重复运行的实验,点击聚合平均分数即可查看所有单次运行的链接。 查看评估器运行

跟踪实验进度

对于从 Playground 或通过 SDK 运行的实验,实验标题中的进度条会实时跟踪完成进度。相同的进度也会显示在实验表格的 Progress 列中。进度同时反映运行状态和评估状态。将鼠标悬停在进度条上,可以查看已完成运行和已完成评估的数量。
通过 SDK 运行的实验需要以下版本才能进行进度跟踪:
  • Python:langsmith>=0.8.16
  • TypeScript:langsmith>=0.7.8

按元数据对结果分组

你可以向示例添加元数据,以便对示例进行分类和组织。例如,如果你要在问答数据集上评估事实准确性,元数据可以包括每个问题所属的主题领域。元数据可以通过 UI或通过 SDK添加。 要按元数据分析结果,请使用实验视图右上角的 Group by 图标,然后选择所需的元数据键。这样可以显示每个元数据组的平均反馈分数、延迟、Token 总数和成本。
只有在 2025 年 2 月 20 日之后创建的实验,才能按示例元数据进行分组。在此日期之前创建的实验仍然可以按元数据分组,但前提是元数据位于实验追踪本身中。

重复运行

如果你使用重复运行运行了实验,请点击任意行打开详情面板。Repetition Summary 会显示指标表和所有反馈分数,并允许你切换查看不同的输出,或查看包含追踪的单次重复运行。 重复运行

与其他实验比较

在实验视图的右上角,你可以选择另一个实验进行比较。这会打开比较视图,让你查看两个实验之间的差异。有关比较视图的更多信息,请参阅如何比较实验结果。

在 Experiments 标签页视图中设置基线

虽然你可能会运行数十个测试,但通常都有一个希望超越的特定基准。设置_基线_可以将结果锚定到这个参考点,从而帮助你在众多实验中识别改进或回归。 通过指定基线,你可以:
  • 突出显示参考:明确标记表现最佳的运行,使其在持续迭代时始终显示在 Experiments 标签页视图顶部。
  • 立即查看差异:自动查看所有实验之间的性能变化,因此不一定需要手动进行并排选择。
  • 加快评估:快速确定新的迭代是否达到或超过当前性能标准。
Experiments 标签页视图,其中一个实验被标记为基线并显示在表格顶部。其他实验所在行的分数显示了与基线的对比结果。 要为数据集设置基线:
  1. 在 LangSmith UI 中,从左侧菜单导航到 Datasets & Experiments。
  2. 从表格中选择要使用的数据集。
  3. 在 Experiments 标签页视图中,将鼠标悬停在实验行上,使该行右端显示 Set baseline 按钮。点击以选择基线实验。
基线实验会固定在表格顶部,并在其名称旁显示 Baseline 标签。实验设置为基线后,表格会针对每个实验的每一列显示其与基线的分数对比。当你选择多个实验进行比较时,基线实验会作为默认的源实验进行比较。

在 Experiments 标签页视图中按模型、提示和工具筛选及分组

实验表格包含 Models、Prompts 和 Tools 列,用于显示每个实验所使用的模型、提示和工具,从而更容易一眼了解不同运行之间发生了哪些变化。 从 Playground 运行实验时,这些列会自动填充。通过 SDK 运行实验时,请将包含 models、prompts 和 tools 键的 metadata 对象传递给 evaluate():
请参阅如何评估 LLM 应用,了解使用元数据的示例。 只有当数据集中至少有一个实验设置了该字段时,这些列才会显示。填充数据后,点击这些列中的值即可筛选或分组实验。 Experiments 标签页视图,其中包含模型、提示和工具的元数据列。 你还可以在 Experiments 标签页视图左上角按模型、模型提供商、提示、提示提交版本、工具以及其他实验元数据进行筛选和分组: Experiments 标签页视图,其中包含模型、提示和工具的元数据列。

将实验结果下载为 CSV

LangSmith 支持将实验结果下载为 CSV 文件,以便进行外部分析和共享。点击实验视图右上角的 Download as CSV 图标。
CSV 导出始终包含所有列,无论你在实验视图中应用了哪些列自定义、排序或筛选设置。列可见性设置只影响屏幕上的显示,不会反映在下载的文件中。
实验结果的下载上限为 5,000 行。

重命名实验

每个工作区中的实验名称必须唯一。
你可以在 LangSmith UI 中的以下位置重命名实验:
  • 实验视图:点击实验名称旁边的铅笔图标重命名实验。 在实验视图中编辑名称
  • Playground:系统会自动分配格式为 pg::prompt-name::model::uuid 的默认名称(例如 pg::gpt-5.4-mini::897ee630)。运行实验后,你可以立即在 Playground 表格标题中编辑实验名称进行重命名。 在 Playground 中编辑名称