使用标注队列

标注队列 为人工审核人员提供了一个专注的工作流，用于将反馈附加到特定的 运行 或 线程 上。虽然你始终可以直接在 追踪 中添加标注，但标注队列可以让你将运行和线程归组在一起，预先定义评分标准，并跟踪审核人员的进度。审核完整线程可以让你评估多轮对话的整体质量，捕获单个运行无法体现的质量信号。 LangSmith 支持两种队列类型：

• 单运行标注队列 一次展示一个队列项目，该项目可以是运行或线程，并允许审核人员提交你配置的任意评分标准反馈。对于 运行 项目，单运行队列还支持使用 断言 记录离线评估的验收标准。
• 成对标注队列（PAQ） 并排展示两个运行，让审核人员可以根据你定义的评分标准，快速判断哪个输出更好（或两者是否相同）。

​

单运行标注队列

单运行队列一次展示一个项目，并允许审核人员提交你配置的任意评分标准反馈。你可以直接从 LangSmith UI 的标注队列部分创建队列。一个队列可以同时包含运行项目和线程项目。线程项目 代表完整的一段对话，并使用与运行项目相同的评分标准进行审核。 运行项目和线程项目支持不同的功能：

​

创建单运行队列

1. 在左侧导航中进入标注队列。
2. 点击左上角的 + 标注队列，打开创建标注队列面板。

​

基本信息

1. 填写队列的名称和描述。
2. 可选：选择一个应用程序。
3. 可选：选择默认数据集，以便将审核后的运行导出到 LangSmith 工作区中的数据集。默认数据集适用于对运行项目使用添加到数据集的情况；线程项目不支持添加到数据集。

​

标注评分标准

1. 为标注人员编写一些概括性的说明，这些说明会显示在每个项目的侧边栏中。
2. 点击 + 添加反馈评分标准，为标注队列添加反馈键。标注人员将在每个项目中看到这些反馈键。
3. 为每个反馈键添加描述；如果反馈类型为分类类型，还需要为每个类别添加简短描述。 审核人员可以在 UI 右侧面板中看到说明和反馈详情。

​

协作者设置

设置审核人员数量，或设置希望将项目分配给某位协作者的最长保留时间。当一个项目有多名标注人员时，你可以选择让项目一直保留在队列中，直到所有审核人员都将其标记为完成。在这些设置中，“运行”指任何队列项目，包括线程项目。具体设置如下：

• 所有工作区成员审核每个运行：启用后，项目会一直保留在队列中，直到每位工作区成员都将其审核标记为完成。
• 启用运行保留：保留项目后，该项目会在指定时间内锁定给你审核。在项目被保留期间，其他审核人员可以查看该项目，但无法添加反馈或备注。如果所有工作区成员都审核每个运行，则保留功能会被禁用。 如果审核人员查看了项目后离开，且没有将其标记为完成，保留将在指定的保留时长后过期。随后项目会被释放回队列，其他审核人员可以保留该项目。
  点击项目标注上的重新排队，只会将当前项目移到当前用户队列的末尾；不会影响其他用户的队列顺序。同时，这也会释放当前用户对该项目的保留。
• 每个运行的审核人员数量：决定必须有多少名审核人员将项目标记为完成后，该项目才会从队列中移除。
  • 审核人员无法查看其他审核人员留下的反馈。
  • 项目上的评论对所有审核人员可见。
  启用使用指定审核人员后，每个运行的审核人员数量设置会被隐藏（见下文）。
• 使用指定审核人员：启用此开关后，可以使用特定的工作区成员，而不是基于人数的完成阈值。启用后：
  • 会出现一个多选用户选择器，你可以选择指定的工作区成员作为审核人员。
  • 只有所有指定审核人员都提交审核后，项目才会被标记为已完成。队列项目会经历三种状态：需要审核 → 需要其他人审核 → 已完成。
  • 未被指定的工作区成员仍然可以标注项目，但他们的提交不会计入完成状态。
  • 任何工作区成员都可以在队列设置中编辑指定审核人员列表。
  向已经包含已完成项目的队列添加新的指定审核人员时，这些项目不会恢复为待处理状态。如果移除某位指定审核人员，则该人员尚未审核的项目会重新计算完成状态。

由于这些设置，每位审核人员可见的项目数量可能与队列总大小不同。

​

编辑队列设置

1. 打开要编辑的标注队列的编辑标注队列面板。你可以通过以下两种方式打开此面板：
   • 在标注队列列表中，点击队列所在行右侧的操作图标 。在下拉菜单中选择 编辑。
   • 在标注队列视图中，点击右上角的设置图标 。
2. 在编辑标注队列面板中，修改创建队列时配置的任意设置，然后点击保存。

​

将运行和线程分配到单运行队列

有多种方式可以向单运行队列填充项目：

• 从详情视图添加：在追踪项目中，点击任意行，在详情视图中打开侧边面板。点击右上角的 + 添加，然后选择添加到标注队列。在弹出窗口的要添加的内容下，选择选中的运行（当前运行）或整个线程（该运行所属的完整对话）。 你可以将任意中间运行作为运行项目添加，但不能添加根运行。整个线程要求该运行属于某个线程（使用 thread_id / session_id 元数据进行了插桩）。
  如果整个线程选项不可用，或线程选项卡为空，则表示这些运行没有使用 thread_id / session_id 元数据进行插桩。
• 从追踪或运行选项卡添加：在追踪项目中，选择追踪或运行选项卡。使用行复选框选择一个或多个项目。点击页面底部的添加到标注队列。使用要添加的内容，将每个选中的项目作为选中的运行或其整个线程加入队列。
• 从线程选项卡添加：在追踪项目中，选择线程选项卡。使用行复选框选择一个或多个项目。点击页面底部的添加到标注队列。选中的线程会作为线程项目添加。
• 自动化规则：设置规则，自动将符合筛选条件的运行（例如错误或用户评分较低的运行）分配到队列中。
  自动化规则只会将运行项目加入队列，不会将整个线程作为线程项目添加。
• 数据集和实验：在数据集中选择一个或多个实验，然后点击 标注。选择添加到标注队列，然后选择现有队列或创建新队列。实验标注流程会添加运行项目。

​

审核单运行队列

1. 通过左侧导航栏进入标注队列部分。 队列列表包含指定审核人员列，用于显示每个队列分配了哪些审核人员。若只想查看分配给你的队列，请点击列表顶部的分配给我筛选器。
2. 点击要审核的队列。这会将你带到一个专注的循环视图，其中展示队列中需要审核的项目。左侧面板列出队列项目（运行和线程），并显示每个项目的状态（需要审核、需要其他人审核、已完成）。使用查看所有项目打开完整的队列列表。
3. 审核当前项目：
   • 运行项目：在中间面板中检查输入和输出。添加审核人员备注、为反馈标准评分，或将项目标记为已审核。要构建数据集，请编辑运行的输入和输出，以创建修正后的参考示例，然后点击添加到数据集。你也可以直接在审核侧面板中编写断言，并将其保存为示例的预期输出，而不必手动编写修正后的参考输出。
   • 线程项目：中间面板显示该线程的对话记录。阅读记录，并为相同的评分标准反馈键评分。使用查看项目，在对话预览中打开该线程。
   点击删除，可将项目从所有用户的队列中移除，无论当前是否存在保留或队列设置如何。
   线程项目仅支持评分标准反馈。有关运行项目和线程项目之间的差异，请参阅功能表。
   在标注队列审核期间提交的反馈和备注不会改变追踪的保留层级。
   使用每个选项旁边的键盘快捷键，可以更快地审核项目。

​

成对标注队列

成对标注队列（PAQ）并排展示两个运行，让审核人员可以根据你定义的评分标准，快速判断哪个输出更好（或两者是否相同）。它们专为两个实验之间的快速 A/B 比较而设计（通常比较基线模型和候选模型），并且必须从数据集和实验页面创建。成对队列仅使用运行比较，不会将线程项目加入队列。

​

创建成对队列

1. 进入数据集和实验，打开一个数据集，然后选择恰好两个实验进行比较。
2. 点击标注。在弹出窗口中选择添加到成对标注队列。（只有在恰好选择两个实验后，该按钮才会启用。）
3. 决定是将实验发送到现有的成对队列，还是创建新队列。
4. 提供队列详情：
   • 基本信息（名称和描述）
   • 针对成对评分定制的说明和评分标准
   • 协作者设置（审核人员数量、保留、保留时长）
5. 提交表单以创建队列。LangSmith 会立即将两个实验中的运行配对，并填充队列。

创建或填充成对标注队列默认不会改变追踪保留时间。运行会保留加入队列前已有的保留层级。 PAQ 的主要差异：

• 实验：必须预先提供两个实验会话。LangSmith 会按照时间顺序自动配对其中的运行，并在创建期间填充队列。
• 评分标准：成对评分标准项目只需要反馈键和（可选的）描述。标注人员需要针对每个评分标准项目判断运行 A、运行 B，还是两者更好。
• 数据集：成对队列不使用默认数据集，因为比较会跨越两个实验。
• 保留和审核人员：协作者控制方式相同。保留功能有助于防止两个人同时评判同一个比较项目。

​

向成对队列添加更多比较项目

如果之后需要添加更多比较项目，请返回数据集和实验，再次选择这两个实验，然后选择添加到成对标注队列以追加新的配对。 选择两个实验并创建 PAQ 时，系统会自动将运行配对。向现有 PAQ 添加内容时，LangSmith 会保留历史比较，并将新的配对追加到队列中。

​

审核成对队列

1. 在标注队列中，选择要审核的成对队列。
2. 每个队列���目会在左侧显示运行 A，在右侧显示运行 B，同时显示评分标准。
3. 对于每个评分标准项目：
   • 选择A 更好、B 更好或相同。UI 会在后台为两个运行记录二元反馈。
   • 使用快捷键 A、B 或 E 确认选择。
4. 完成所有评分标准项目后，按下完成（或在最后一个评分标准项目上按 Enter）进入下一个比较。
5. 可选操作：
   • 为任一运行留下评论。
   • 如果之后需要重新查看，可以将比较项目重新加入队列。
   • 打开详情视图进行更深入的调试。

保留、审核人员阈值和评论的行为与单运行队列完全相同，因此团队无需修改现有工作流即可使用不同类型的队列。

​

视频指南

---