LangSmith Engine 是专为智能体工程打造的 LangSmith Agent。它会基于生产跟踪记录,发现反复出现的问题、诊断根本原因,并推动修复措施贯穿开发生命周期的每个阶段。 每个问题都会经历一个闭环流程:系统从跟踪记录中检测到反复出现的问题,诊断其根本原因,提出修复方案,部署评估器以捕获回归问题;如果问题在关闭后再次出现,Engine 会自动重新打开该问题。

Engine 贯穿整个生命周期

对于每个问题,Engine 会展示相关跟踪记录,提出修复方案,生成用于防止回归的自定义评估器,并根据生产跟踪记录中的输入创建真实结果数据集示例。

构建:打开拉取请求

在连接的代码仓库中打开拉取请求,以应用建议的修复方案。Engine 可以为使用 Deep Agents、LangChain 和 LangGraph 构建的智能体提出代码更改建议。

测试:生成评估器和数据集

部署自定义评估器以捕获回归问题,并根据生产跟踪记录创建真实结果数据集示例,用于离线评估。

监控:检测反复出现的问题

按计划扫描跟踪项目,以发现、确定优先级并诊断反复出现的问题。

Engine 的运行方式

Engine 每 6 小时扫描一次所有已连接的跟踪项目,并根据问题严重程度对问题进行聚类和排序。它使用由 LangChain 管理的推理服务,并以 LangChain 计算单元(LCU)计费。每个检测到的问题都会被标记为一个问题类别,例如 静默工具错误 或 幻觉。有关设置、费用和完整的问题处理流程,请参阅查找并修复智能体问题。有关 Engine 如何处理你的数据、GitHub 和模型子处理器控制措施,以及其合规状态,请参阅 Engine 安全性。有关 Engine 如何在自托管部署中运行,请参阅 自托管环境中的 Engine。

开始使用

设置 Engine

为你的组织启用 Engine,并为跟踪项目进行配置。

Engine 问题类别

介绍 Engine 为检测到的问题分配的故障类别,包括类别描述和检测方法。

Engine Webhook 事件

将检测到的问题转发到你的事件管理、告警或聊天工具中。