在 Playground 中运行评估

LangSmith 允许你直接在 UI 中运行评估。Playground 让你能够使用一系列输入来测试你的提示词或模型配置，从而了解它在不同上下文或场景下的表现如何，而无需编写任何代码。 在运行评估之前，你需要有一个已存在的数据集。了解如何从 UI 创建数据集。 要在 Studio 中运行评估，请参阅在 Studio 中运行数据集实验。如果你更喜欢通过代码运行实验，请参阅使用 SDK 运行评估。

​

在 Playground 中创建实验

1. 点击侧边栏的 Playground。
2. 添加提示词：选择一个已保存的提示词或创建一个新的。
3. 从 Test over dataset 下拉菜单中 选择一个数据集。
   • 请注意，数据集输入中的键必须与提示词的输入变量匹配。例如，在上面的视频中，所选数据集的输入键为 “blog”，这与提示词的输入变量正确匹配。
   • 在 Playground 中最多允许 15 个输入变量。
4. 点击 Start 或使用快捷键 CMD+Enter 来 开始实验。这将在数据集中的所有示例上运行该提示词，并在数据集详细信息页面创建一个实验条目。我们建议在开始实验之前将提示词提交到提示词库，以便在后续审阅实验时可以轻松引用。
5. 点击 View full experiment 来 查看完整结果。这将跳转到实验详细信息页面，你可以在那里查看实验结果。

当实验运行时，实验表格中的 Progress 列和实验视图中的进度条会实时跟踪完成情况，包括已完成运行和已评估的数量。更多信息，请参阅跟踪实验进度。

​

为实验添加评估分数

通过添加评估器，根据特定标准评估你的实验。使用 +Evaluator 按钮在 Playground 中添加 LLM-as-a-judge 或自定义代码评估器。 要了解更多关于通过 UI 添加评估器的信息，请访问如何定义 LLM-as-a-judge 评估器。

---