使用 Insights 发现错误和使用模式

​

前提条件

• 在您的工作区中为 Insights 设置好模型配置。
• 具备在 LangSmith 中创建规则的权限（生成新的 Insights 报告所需）。
• 具备在 LangSmith 中查看追踪项目的权限（查看现有 Insights 报告所需）。

​

生成您的第一份 Insights 报告

import os
from langsmith import Client

client = Client()

chat_histories = [
    [
        {"role": "user", "content": "你好吗"},
        {"role": "assistant", "content": "很好！"},
    ],
    [
        {"role": "user", "content": "你喜欢艺术吗"},
        {"role": "assistant", "content": "只喜欢塔可夫斯基的作品"},
    ],
]

report = client.generate_insights(
    chat_histories=chat_histories,
    name="客户支持主题 - 2024 年 3 月",
    instructions="用户提问和咨询的主要主题是什么？",
    openai_api_key=os.environ["OPENAI_API_KEY"],  # 如果已经设置为工作区密钥，则可选
)

# client.poll_insights(report=report)

​

了解结果

​

执行摘要

• 关键发现，以及每种模式出现频率的百分比。
• 可点击的引用（例如 #1、#2、#3），指向代理识别出的与您的问题特别相关的追踪记录。

​

顶级类别

• 典型的追踪记录统计信息（例如错误率、延迟和成本）
• 评估器提供的反馈分数
• 作为任务一部分提取的属性

​

子类别

​

单条追踪记录

​

配置任务

​

自动生成配置

1. 打开 New Insights，并确保 Auto 开关处于启用状态。
2. 回答有关代理用途、您想了解的信息以及追踪记录结构的自然语言问题。Insights 会将您的回答转换为配置草稿（任务名称、摘要提示词、属性和采样默认值）。
3. 选择提供商，然后点击 Generate config 预览配置，或点击 Run job 立即启动任务。

​

选择模型

• 思考模型：执行聚类步骤（能力更强，成本更高）。
• 摘要模型：生成每条追踪记录的摘要（速度更快，成本更低）。

​

手动配置

​

选择追踪记录

• Sample size：要分析的追踪记录最大数量（上限为 1,000 条）。
• Time range：从此时间范围内采样追踪记录。
• Filters：其他追踪记录筛选条件。调整筛选条件时，您会看到符合条件的追踪记录数量。

​

类别

​

摘要提示词

• 摘要指令：摘要中未包含的信息不会影响生成的类别，因此请明确说明需要从每条追踪记录中提取哪些重要信息。
• 追踪记录内容：使用 Mustache 格式指定将追踪记录的哪些部分传递给摘要模型。包含大量输入和输出的大型追踪记录可能成本较高，也会引入噪声。将提示词缩减为仅包含追踪记录中最相关的部分，可以改善结果。

​

属性

​

筛选属性

• 在为 Insights 创建配置时，为任意布尔属性添加 "filter_by": true。
• LLM 会在摘要过程中根据属性描述评估每条追踪记录。
• 属性为 false 或缺失的追踪记录会在生成洞察前被排除。

​

计划 Insights 报告

• Daily：每天 8:00 UTC 运行。
• Weekly on Monday：每周一 8:00 UTC 运行。
• Custom：输入自定义 cron 表达式（使用 UTC）。

​

保存配置