在新版本的智能体上运行回溯测试

部署您的应用程序只是持续改进流程的开始。在部署到生产环境后，您会希望通过增强提示词、语言模型、工具和架构来优化您的系统。回溯测试涉及使用历史数据评估应用程序的新版本，并将新输出与原始输出进行比较。与使用预发布数据集进行的评估相比，回溯测试能更清晰地表明应用程序的新版本是否比当前部署的版本有所改进。以下是回溯测试的基本步骤：

从您的生产追踪项目中选择样本运行记录进行测试。
将运行输入转换为一个数据集，并将运行输出记录为针对该数据集的初始实验。
在新数据集上执行您的新系统，并比较实验的结果。

这个过程将为您提供一个包含代表性输入的新数据集，您可以对其进行版本控制，并用于回溯测试您的模型。

通常，您不会有明确的“标准答案”可用。在这种情况下，您可以手动标注输出结果，或使用不依赖参考数据的评估器。如果您的应用程序允许获取真实标签（例如，允许用户提供反馈），我们强烈建议您这样做。

设置

配置环境

安装并设置环境变量。本指南要求 langsmith>=0.2.4。

为方便起见，本教程将使用 LangChain OSS 框架，但所示的 LangSmith 功能与具体框架无关。

pip install -U langsmith langchain langchain-anthropic langchainhub emoji

uv add langsmith langchain langchain-anthropic langchainhub emoji

import getpass
import os

# 将项目名称设置为您想要测试的任意项目
project_name = "Tweet Writing Task"
os.environ["LANGSMITH_PROJECT"] = project_name
os.environ["LANGSMITH_TRACING"] = "true"

if not os.environ.get("LANGSMITH_API_KEY"):
    os.environ["LANGSMITH_API_KEY"] = getpass.getpass("YOUR API KEY")

# 可选。您可以将 OpenAI 替换为任何其他支持工具调用的聊天模型。
os.environ["OPENAI_API_KEY"] = "YOUR OPENAI API KEY"

# 可选。如果您愿意，可以将 Tavily 替换为免费的 DuckDuckGo 搜索工具。
# 获取 Tavily API 密钥：https://tavily.com
os.environ["TAVILY_API_KEY"] = "YOUR TAVILY API KEY"

定义应用程序

对于此示例，让我们创建一个简单的推文写作应用程序，该程序可以访问一些互联网搜索工具：

from langchain.chat_models import init_chat_model
from langchain.agents import create_agent
from langchain_community.tools import DuckDuckGoSearchRun, TavilySearchResults
from langchain.rate_limiters import InMemoryRateLimiter


# 我们将使用 GPT-3.5 Turbo 作为基线，并与 GPT-4o 进行比较
gpt_3_5_turbo = init_chat_model(
    "gpt-3.5-turbo",
    temperature=1,
    configurable_fields=("model", "model_provider"),
)

# 指令作为系统消息传递给智能体
instructions = """你是一位推文写作助手。给定一个主题，进行一些研究，并撰写一篇相关的、吸引人的推文。
- 每篇推文至少使用 3 个表情符号
- 推文长度不应超过 280 个字符
- 始终使用搜索工具收集关于推文主题的最新信息
- 仅根据搜索内容撰写推文。不要依赖你的内部知识
- 在相关时，链接到你的来源
- 使你的推文尽可能引人入胜"""

# 定义我们的智能体可以使用的工具
# 如果您有更高级别的 Tavily API 计划，可以增加此数值
rate_limiter = InMemoryRateLimiter(requests_per_second=0.08)

# 如果您没有 Tavily API 密钥，请使用 DuckDuckGo：
# tools = [DuckDuckGoSearchRun(rate_limiter=rate_limiter)]
tools = [TavilySearchResults(max_results=5, rate_limiter=rate_limiter)]

agent = create_agent(gpt_3_5_turbo, tools=tools, system_prompt=instructions)

模拟生产数据

现在让我们模拟一些生产数据：

fake_production_inputs = [
    "艾伦·图灵的童年早期",
    "欧盟的经济影响",
    "被低估的哲学家",
    "旧金山罗克西剧院的历史",
    "用五岁小孩能懂的话解释引力波",
    "支持和反对议会制的论据",
    "音乐史上的关键时刻",
    "编程语言中的大思想",
    "生物学中的大问题",
    "数学与现实之间的关系",
    "是什么让人有趣",
]

agent.batch(
    [{"messages": [{"role": "user", "content": content}]} for content in fake_production_inputs],
)

将生产追踪记录转换为实验

第一步是基于生产输入生成一个数据集。然后复制所有追踪记录作为基线实验。

选择要进行回溯测试的运行记录

您可以使用 list_runs 的 filter 参数来选择要进行回溯测试的运行记录。filter 参数使用 LangSmith 追踪查询语法来选择运行记录。

from datetime import datetime, timedelta, timezone
from uuid import uuid4
from langsmith import Client
from langsmith.beta import convert_runs_to_test

# 获取我们要转换为数据集/实验的运行记录
client = Client()

# 我们如何采样运行记录以包含在数据集中
end_time = datetime.now(tz=timezone.utc)
start_time = end_time - timedelta(days=1)
run_filter = f'and(gt(start_time, "{start_time.isoformat()}"), lt(end_time, "{end_time.isoformat()}"))'
prod_runs = list(
    client.list_runs(
        project_name=project_name,
        is_root=True,
        filter=run_filter,
    )
)

将运行记录转换为实验

convert_runs_to_test 是一个函数，它接受一些运行记录并执行以下操作：

输入，以及可选的输出，作为示例保存到一个数据集中。
输入和输出作为一个实验存储起来，就像您运行了 evaluate 函数并获得了这些输出一样。

# 我们想要创建的数据集名称
dataset_name = f'{project_name}-backtesting {start_time.strftime("%Y-%m-%d")}-{end_time.strftime("%Y-%m-%d")}'
# 我们想要从历史运行记录中创建的实验名称
baseline_experiment_name = f"prod-baseline-gpt-3.5-turbo-{str(uuid4())[:4]}"

# 这将运行记录转换为数据集 + 实验
convert_runs_to_test(
    prod_runs,
    # 结果数据集的名称
    dataset_name=dataset_name,
    # 是否将运行输出包含为参考/标准答案
    include_outputs=False,
    # 是否在结果实验中包含完整的追踪记录
    # （默认仅包含根运行记录）
    load_child_runs=True,
    # 实验的名称，以便我们之后可以对其应用评估器
    test_project_name=baseline_experiment_name
)

此步骤完成后，您应该在 LangSmith 项目中看到一个名为“Tweet Writing Task-backtesting TODAYS DATE”的新数据集，并包含一个如下所示的实验：基线实验

与新系统进行基准测试

现在我们可以开始将我们的生产运行记录与一个新系统进行基准测试的过程。

定义评估器

首先，让我们定义用于比较两个系统的评估器。请注意，我们没有参考输出，因此我们需要制定仅需要实际输出的评估指标。

import emoji
from pydantic import BaseModel, Field
from langchain_core.messages import convert_to_openai_messages

class Grade(BaseModel):
    """评估一个回复是否由某些上下文支持。"""
    grounded: bool = Field(..., description="回复的大部分内容是否得到检索到的上下文的支持？")

grounded_instructions = f"""你给某人提供了一些背景信息，并要求他们写一个基于该背景的陈述。

评估他们的回复是否完全得到你提供的上下文的支持。如果他们陈述中有任何重要部分不是直接由你提供的上下文支持的，那么他们的回复就不基于上下文。否则，它就是基于上下文的。"""
grounded_model = init_chat_model(model="gpt-5.5").with_structured_output(Grade)

def lt_280_chars(outputs: dict) -> bool:
    messages = convert_to_openai_messages(outputs["messages"])
    return len(messages[-1]['content']) <= 280

def gte_3_emojis(outputs: dict) -> bool:
    messages = convert_to_openai_messages(outputs["messages"])
    return len(emoji.emoji_list(messages[-1]['content'])) >= 3

async def is_grounded(outputs: dict) -> bool:
    context = ""
    messages = convert_to_openai_messages(outputs["messages"])
    for message in messages:
        if message["role"] == "tool":
            # 工具消息输出是 Tavily/DuckDuckGo 工具返回的结果
            context += "\n\n" + message["content"]
    tweet = messages[-1]["content"]
    user = f"""提供的上下文:
    {context}

    给出的回复:
    {tweet}"""
    grade = await grounded_model.ainvoke([
        {"role": "system", "content": grounded_instructions},
        {"role": "user", "content": user}
    ])
    return grade.grounded

评估基线

现在，让我们针对基线实验运行我们的评估器。

baseline_results = await client.aevaluate(
    baseline_experiment_name,
    evaluators=[lt_280_chars, gte_3_emojis, is_grounded],
)
# 如果您安装了 pandas，可以轻松地将结果作为数据框进行探索：
# baseline_results.to_pandas()

定义并评估新系统

现在，让我们定义并评估我们的新系统。在这个例子中，我们的新系统将与旧系统相同，但使用 GPT-4o 而不是 GPT-3.5。由于我们已将模型设置为可配置，我们可以只更新传递给智能体的默认配置：

candidate_results = await client.aevaluate(
    agent.with_config(model="gpt-5.5"),
    data=dataset_name,
    evaluators=[lt_280_chars, gte_3_emojis, is_grounded],
    experiment_prefix="candidate-gpt-5.5",
)
# 如果您安装了 pandas，可以轻松地将结果作为数据框进行探索：
# candidate_results.to_pandas()

比较结果

运行两个实验后，您可以在数据集中查看它们：数据集页面

结果揭示了两个模型之间一个有趣的权衡：

GPT-4o 在遵守格式规则方面表现更好，始终包含所要求数量的表情符号。
然而，GPT-4o 在基于提供的搜索结果方面不太可靠。

为了说明基于上下文的问题：在这个示例运行中，GPT-4o 包含了关于阿布·巴克尔·穆罕默德·伊本·扎卡里亚·拉齐的医学贡献的事实，而这些事实在搜索结果中并不存在。这表明它在从其内部知识中提取信息，而不是严格使用提供的信息。这次回溯测试练习揭示，虽然 GPT-4o 通常被认为是一个更强大的模型，但简单地升级到它并不能改进我们的推文编写器。要有效地使用 GPT-4o，我们需要：

优化我们的提示词，更加强调仅使用提供的信息
或者修改我们的系统架构，以更好地约束模型的输出

这一见解展示了回溯测试的价值——它帮助我们在部署前识别潜在问题。教程比较视图

Connect these docs to Claude, VSCode, and more via MCP for real-time answers.

Edit this page on GitHub or file an issue.

Datasets

Run an evaluation

Evaluation techniques

Analyze experiment results

Tutorials

Common data types

在新版本的智能体上运行回溯测试

设置

配置环境

定义应用程序

模拟生产数据

将生产追踪记录转换为实验

选择要进行回溯测试的运行记录

将运行记录转换为实验

与新系统进行基准测试

定义评估器

评估基线

定义并评估新系统

比较结果

​设置

​配置环境

​定义应用程序

​模拟生产数据

​将生产追踪记录转换为实验

​选择要进行回溯测试的运行记录

​将运行记录转换为实验

​与新系统进行基准测试

​定义评估器

​评估基线

​定义并评估新系统

​比较结果

设置

配置环境

定义应用程序

模拟生产数据

将生产追踪记录转换为实验

选择要进行回溯测试的运行记录

将运行记录转换为实验

与新系统进行基准测试

定义评估器

评估基线

定义并评估新系统

比较结果