自托管环境中的 LangSmith Engine

LangSmith Engine 是 LangSmith 中的一个代理，能够监控您的生产追踪记录，将其聚类为问题，针对您的源代码诊断每个问题，提出修复方案并创建 PR，同时识别应添加到数据集中的真实结果评估。有关产品概览，请参阅 Engine。 本页面介绍 Engine 如何在自托管部署中运行、如何访问托管推理服务，以及这对您的数据意味着什么。 Engine 会处理三类数据：

• 代码（可选）**：**您的代理源代码，Engine 会读取这些代码来诊断问题并提出修复方案。
• **追踪记录：**来自您的代理的运行时数据，其中可能包含用户消息、工具输出和个人身份信息（PII）。
• **模型：**Engine 为运行诊断、生成修复方案和编写评估器而发起的 LLM 调用。

在自托管部署中，Engine 的编排作为 LangSmith 的一部分运行在您的 VPC 内部：读取追踪记录、读取代码，并运行检测、修复和验证循环。它调用的模型是例外。Engine 不会在本地运行这些模型，而是通过私有网络连接访问由 LangChain 管理的零数据保留（ZDR）推理服务。追踪记录是敏感数据类型，下面的架构可以确保追踪数据保留在您的云服务提供商（CSP）内部的私有网络中。

​

推理如何工作

Engine 的推理由 LangChain 管理的 LangSmith Intelligence 服务提供。该服务与 LangSmith 完全隔离，不会追踪、存储或持久化任何客户数据。 流程如下：

• 您的自托管部署通过私有连接访问 LangSmith Intelligence（AWS 和 Azure 使用 PrivateLink，GCP 使用 Private Service Connect）。
• LangSmith Intelligence 在您的云服务提供商环境中运行托管于其中的模型（Bedrock、Vertex 或 Foundry），因此不会有数据离开您的 CSP。
• 该服务只会记录用于计费的请求元数据，以及维持服务可靠性所需的遥测数据。

每个推理请求都会携带模型进行推理所需的追踪内容、代码和中间输出。请求由运行在您的云服务提供商内部的模型处理，并且从不会被存储。您的数据不会有任何副本持久化在 CSP 之外。

​

AWS

​

GCP

​

Azure

​

模型选择与质量

模型选择在很大程度上决定了 Engine 的效果。Engine 会针对每个工作步骤使用不同的模型，并进行不同的调优，包括问题聚类、结合您的代码诊断根本原因、生成修复方案，以及编写用于验证修复结果的评估器。LangChain 会同时针对质量和令牌效率调优这些模型，并在更好的模型发布后对其进行升级。 托管推理使这一点成为可能。由于 Engine 始终为每个步骤运行 LangChain 调优过的模型，其行为可以保持一致，并随着这些模型的升级而不断改进。相比之下，自带密钥（BYOK）的设置会将 Engine 绑定到您配置的模型，因此模型调优和令牌效率会因请求而异。

​

这对您的数据意味着什么

在自托管部署中，除了所有部署方式都具备的控制措施外，Engine 还提供两项数据本地化保障：

• **仅使用私有网络：**所有数据传输都通过私有连接进行，绝不会经过公共互联网。
• **位于 CSP 内部：**模型在您的 CSP 内部运行，因此数据不会离开您的 CSP。

Engine 与部署方式无关的数据处理方式，包括与每个模型提供商合作时实行零数据保留，以及不使用客户数据训练或微调模型，详见 Engine 安全性。

​

另请参阅

• Engine
• 配置 Engine
• Engine 安全性
• Engine Webhook

---