LangSmith 可以轻松地将反馈附加到追踪记录上。这些反馈可以来自用户、标注人员、自动评估器等,对于监控和评估应用至关重要。 本页面详细介绍如何使用 SDK 记录反馈。有关反馈对象的结构,请参阅反馈数据格式。

使用 create_feedback() / createFeedback

子运行 你可以将用户反馈附加到追踪记录中的任意子运行上,而不仅仅是追踪记录本身(根运行)。 这对于评估 LLM 应用中的特定步骤非常有用,例如 RAG 流程中的检索步骤或生成步骤。
非阻塞创建(仅限 Python) 如果将 trace_id= 传递给 create_feedback(),Python 客户端会自动在后台创建反馈。 这对于低延迟环境至关重要,因为你需要确保应用不会因创建反馈而被阻塞。
以下示例创建了一个包含两个子运行的追踪记录,然后分别针对根运行和其中一个子运行记录反馈。TypeScript 代码片段展示了等效的 createFeedback 调用形式,并假设应用中已经可以获取 runId。
你还可以使用 create_feedback() / createFeedback 为正在进行中的运行记录反馈。有关如何获取正在进行中的运行 ID,请参阅在经过追踪的函数中访问当前运行(跨度)。

从客户端应用收集反馈

如果你需要从浏览器或其他客户端环境收集反馈,同时又不希望暴露 API 密钥,请使用预签名反馈令牌。这些令牌会生成一个 URL,该 URL 限定于特定的运行和反馈键,客户端可以直接调用它。 完整指南请参阅使用预签名 URL 收集反馈。 如果想进一步了解如何根据各种属性(包括用户反馈)筛选追踪记录,请参阅筛选追踪记录。