LangSmith Chat

LangSmith Chat（前身为 Polly）直接内置于 LangSmith 工作区中，帮助你分析和理解应用数据。 Chat 可以帮助你深入了解跟踪记录、对话线程和提示词，而无需手动翻阅数据。通过使用自然语言提问，你可以快速了解智能体性能、调试问题并分析用户情绪。 Chat 会显示在 LangSmith UI 中以下位置的右下角：

可观测性与调试：

• 项目：浏览和筛选项目中的运行记录。
• 跟踪页面：分析单次运行和执行跟踪。
• 线程视图：了解对话线程和用户交互。

提示词工程：

• Playground：编辑和优化提示词。
• Prompt Hub 页面：探索和理解共享提示词。

评估与测试：

• 数据集实验：分析实验结果并比较运行记录。
• 数据集示例：浏览和了解数据集结构。
• 标注队列：查看运行记录并做出明智的标注决策。
• 评估器：借助 AI 构建和改进评估器。

​

开始使用

开始使用 Chat 前，你需要为所使用的模型添加 API 密钥： 在 LangSmith UI 中，确保你的 API 密钥已设置为工作区密钥。

1. 导航至 设置，然后进入 密钥 选项卡。
2. 选择 添加密钥，输入密钥环境变量（例如，OPENAI_API_KEY 或 ANTHROPIC_API_KEY），并将你的 API 密钥作为 值 填入。
3. 选择 保存密钥。

​

支持的模型

Chat 开箱即支持以下模型提供商：

• Anthropic（Claude）
• OpenAI
• Google Gemini
• AWS Bedrock
• Groq
• Mistral
• xAI
• DeepSeek
• Fireworks AI

你也可以使用在 Playground 设置中配置的任何自定义模型，只需在该配置中启用 Available in Chat 开关即可。工作区管理员负责管理可用的自定义模型。

​

键盘快捷键

​

可观测性

​

项目

在项目的运行记录列表中，Chat 可以浏览和筛选整个项目中的运行记录、创建数据集并添加示例。使用 Chat，你可以快速了解跟踪记录中的情况，而无需手动翻页查看结果。 示例问题：

• “显示过去 24 小时内所有失败的运行记录”
• “哪些运行记录耗时最长？”
• “将失败的运行记录添加到我的测试数据集”
• “本周有多少次运行出错？”

​

跟踪页面

在单个跟踪记录中，Chat 会分析运行记录数据和执行轨迹。Chat 会检查完整的跟踪上下文，包括运行元数据、输入、输出、中间步骤和配置，帮助你了解发生了什么，并找出改进方向。 示例问题：

• “智能体在这里有没有本可以做得更好的地方？”
• “这次运行为什么失败？”
• “这条跟踪记录中耗时最多的是什么？”
• “总结这条跟踪记录中发生的事情”

​

线程视图

在 Threads 标签页下，Chat 会分析对话线程，帮助你了解用户情绪、对话结果和交互模式。使用 Chat 可以识别用户的痛点，并了解问题是否得到解决。 示例问题：

• “用户看起来是否感到沮丧？”
• “用户遇到了什么问题？”
• “用户的问题解决了吗？”
• “这个线程的主要话题是什么？”

​

提示词工程

​

Playground

在 Playground 中，Chat 可以帮助你编辑和优化提示词。你可以使用 Optimize prompt、Generate a tool 或 Generate an output schema 等自动化选项，也可以向 Chat 提供自定义指令来编辑提示词。Chat 可以直接修改 Playground 状态，更新消息、工具、输出模式和示例，让你能够通过对话迭代提示词。 示例问题：

• “让它用意大利语回复”
• “添加更多关于用户角色的上下文”
• “让语气更加专业”
• “简化这些指令”

​

Prompt Hub 页面

查看 LangSmith Hub 中的提示词时，Chat 可以帮助你了解提示词的结构、消息、工具和配置。这对于探索和学习共享提示词很有帮助。 示例问题：

• “这个提示词是做什么的？”
• “这个提示词使用了哪些工具？”
• “解释这个提示词的结构”
• “这个提示词中的关键指令是什么？”

​

评估

​

数据集实验

在 Datasets 页面下的 Experiments 标签页中，Chat 会分析实验结果，帮助你比较不同实验中的运行记录。Chat 可以识别模式、总结性能，并帮助你了解哪些方法效果最好。 示例问题：

• “哪个实验表现最好？”
• “这些运行记录之间的主要区别是什么？”
• “总结这个实验的结果”
• “你在失败记录中看到了哪些模式？”

​

数据集示例

在 Datasets 页面下的 Examples 标签页中，Chat 可以帮助你了解数据集结构、浏览示例并识别数据模式。这有助于你了解正在处理的数据，并为实验准备数据集。 示例问题：

• “这个数据集包含什么类型的数据？”
• “显示包含错误的示例”
• “你在输入中看到了哪些模式？”
• “这个数据集中有多少个示例？”

​

标注队列

在 Annotation Queues 中，Chat 可以帮助你在做出标注决策前分析运行记录。无论是单独查看运行记录，还是成对比较运行记录，Chat 都能提供有关运行行为、错误和执行模式的洞察，帮助你进行评分。 示例问题：

• “这次运行出了什么问题？”
• “总结这次运行中发生的事情”
• “比较这两次运行”
• “给它评分时我应该考虑什么？”

​

评估器

在 Evaluators 构建器中，Chat 可以帮助你编写和改进评估器逻辑。Chat 可以生成评估器代码、提出改进建议，并帮助你使用示例测试评估器。 示例问题：

• “编写一个检查幻觉的评估器”
• “提高这个评估器的准确性”
• “这个评估器检查什么？”
• “添加对边界情况的处理”

​

接下来

详细了解 Chat 可以帮助你探索的功能：

---