设置自动化规则

虽然您可以手动筛选和处理来自 LLM 应用程序的生产日志，但随着应用程序用户规模的扩大，这往往会变得困难。LangSmith 提供了自动化功能，允许您基于追踪数据触发特定操作。您可以通过过滤器、采样率和动作来定义一个自动化规则。 自动化规则可以触发以下动作：将追踪添加到数据集、添加到标注队列、触发 Webhook（例如用于远程评估）或延长数据保留期限。以下是您可以设置的一些自动化示例：

• 将所有带有负面反馈的追踪发送到标注队列供人工审核。
• 将 10% 的所有追踪发送到标注队列供人工审核，以抽检问题。
• 将所有包含错误的追踪升级为延长数据保留。

​

自动化规则如何执行

每条自动化规则在独立的轮询计划上运行。如果您在同一个项目上有多个规则，一条 Webhook 规则可能会在一个评估器规则对某个运行评分之前就处理它，反之亦然。 在单个规则内，如果配置了多个动作，它们将按此顺序执行：

1. 添加到标注队列。
2. 添加到数据集。
3. 触发 Webhook。
4. 运行在线评估器。
5. 运行自定义代码评估器。
6. 触发警报。

如果您的工作流要求一条规则产生的数据在另一条规则触发时必须存在——例如，您希望 Webhook 包含一个评估分数——请在下游规则上使用过滤器来显式创建该依赖关系。示例请参阅确保评估在 Webhook 触发前完成。

​

查看自动化规则

在 UI 中，导航到侧边栏的追踪并选择一个追踪项目。要查看该项目现有的自动化规则，请点击自动化选项卡。

​

创建规则

1. 在 UI 中，导航到侧边栏的追踪并选择一个追踪项目。在追踪项目页面的右上角点击 + 新建，然后点击新建自动化。
2. 为您的规则命名。
3. 创建一个过滤器。自动化规则的过滤器与应用于项目中追踪的过滤器工作原理相同。有关过滤器的更多信息，您可以参考筛选追踪。
4. 配置采样率以控制触发自动化动作的已过滤运行的百分比。您可以为自动化指定一个介于 0 到 1 之间的采样率。这将控制发送到自动化动作的已过滤运行的百分比。例如，如果将采样率设为 0.5，则 50% 通过过滤器的追踪将被发送到该动作。
5. （可选）通过切换应用到过去的运行并输入回填起始日期，将规则应用于过去的运行。此操作仅在规则创建时可用。
   回填会作为后台作业处理，因此您不会立即看到结果。要跟踪回填进度，您可以查看自动化日志。
6. 选择一个在规则应用时触发的动作。自动化规则可以采取四种动作：
   • 添加到数据集：将追踪的输入和输出添加到一个数据集。
   • 添加到标注队列：将匹配的运行/追踪作为运行项添加到一个标注队列。自动化规则不会将整个对话线程作为线程项加入队列；要查看完整的对话，请从 UI 中添加该线程（分配运行和对话线程）。
   • 触发 Webhook：使用追踪数据触发一个 Webhook。
   • 延长数据保留：延长使用基础保留的匹配追踪的数据保留期 (详情请参阅数据保留文档)。
     每个动作都有一个独立的延长数据保留开关，用于控制匹配的追踪是否升级为延长保留：

     • 添加到数据集：选择加入（默认：关闭）。启用开关以升级匹配的追踪。
     • 添加到标注队列：选择退出（默认：开启）。禁用开关以跳过升级匹配的追踪。
     • 触发 Webhook：选择加入（默认：关闭）。启用开关以升级匹配的追踪。
     • 延长数据保留动作和在线/代码评估器：保持不变；始终升级匹配的追踪。

     每个动作的保留开关是仅管理员控制，受 rules:configure-retention 权限限制。非管理员工作区成员会看到开关为禁用状态且无法更改，但仍可以在不影响保留设置的情况下创建和编辑规则。有关完整的保留模型，请参阅数据保留自动升级。

​

查看自动化日志

日志能让您确信规则按预期工作。您可以通过导航到追踪项目内的自动化选项卡，然后点击您创建的规则的日志按钮来查看自动化日志。 日志选项卡允许您：

• 查看选定时间段内由给定规则处理的所有运行。
• 如果特定规则执行触发了错误，您可以通过悬停在错误图标上查看错误消息。
• 您可以通过过滤规则的创建时间戳来监控回填作业的进度。这是因为回填从规则创建时开始。
• 使用查看运行按钮检查自动化规则应用的运行。对于将运行作为示例添加到数据集的规则，您可以查看生成的示例。

---