LangSmith 允许你在应用中手动为追踪添加反馈。这对于为追踪补充上下文非常有用,例如添加用户评论或关于特定问题的备注。 你可以直接在行内批注追踪,也可以将追踪发送到批注队列,以便逐个仔细检查运行并记录反馈。 反馈标签与您的工作区相关联。
你可以为追踪中的任意中间运行(span)添加用户反馈,而不仅仅是根 span。这对于评议 LLM 应用的特定部分非常有用,例如 RAG 流程中的检索步骤或生成步骤。
要在行内批注追踪,请在追踪视图中打开作为追踪一部分的任意运行的三点菜单(...),然后点击注释。 这将打开一个面板,你可以从中选择与你的工作区关联的反馈标签,并为特定标签添加评分。你也可以添加独立的评论。请按照设置反馈标准为你的工作区设置反馈标签。 你也可以直接在面板中设置新的反馈标准。 LangSmith UI 中的行内反馈和注释不会更改追踪的保留层级;除非其他操作明确延长保留时间,否则追踪会继续使用为其项目配置的保留设置。 批注侧边栏 你可以使用标注的键盘快捷键来简化批注流程。