Studio 中的可观测性

• 迭代优化提示词：直接在图形节点内或通过 Playground 修改提示词。
• 在数据集上运行实验：在 LangSmith 数据集上执行您的助手，以对结果进行评分和比较。
• 调试 LangSmith 踪迹：将已追踪的运行记录导入 Studio，并可选择将其克隆到您的本地代理中。
• 将节点添加到数据集：将线程历史记录的部分内容转化为数据集示例，用于评估或进一步分析。

​

迭代优化提示词

• 直接编辑节点
• Playground 界面

​

直接编辑节点

​

图形配置

​

langgraph_nodes

• 描述：指定配置字段与图形中的哪些节点相关联。
• 值类型：字符串数组，每个字符串是您图形中一个节点的名称。
• 使用上下文：在 Pydantic 模型的 json_schema_extra 字典或 dataclasses 的 metadata["json_schema_extra"] 字典中包含。
• 示例：
  system_prompt: str = Field(
      default="You are a helpful AI assistant.",
      json_schema_extra={"langgraph_nodes": ["call_model", "other_node"]},
  )
  

​

langgraph_type

• 描述：指定配置字段的类型，这决定了它在 UI 中的处理方式。
• 值类型：字符串
• 支持的值：
  • "prompt"：表示该字段包含提示词文本，应在 UI 中被特殊处理。
• 使用上下文：在 Pydantic 模型的 json_schema_extra 字典或 dataclasses 的 metadata["json_schema_extra"] 字典中包含。
• 示例：
  system_prompt: str = Field(
      default="You are a helpful AI assistant.",
      json_schema_extra={
          "langgraph_nodes": ["call_model"],
          "langgraph_type": "prompt",
      },
  )
  

## 使用 Pydantic
from pydantic import BaseModel, Field
from typing import Annotated, Literal

class Configuration(BaseModel):
    """代理的配置。"""

    system_prompt: str = Field(
        default="You are a helpful AI assistant.",
        description="用于代理交互的系统提示词。"
        "此提示词设定了代理的上下文和行为。",
        json_schema_extra={
            "langgraph_nodes": ["call_model"],
            "langgraph_type": "prompt",
        },
    )

    model: Annotated[
        Literal[
            "anthropic/claude-sonnet-4-6",
            "anthropic/claude-haiku-4-5-20251001",
            "openai/o1",
            "openai/gpt-5.4-mini",
            "openai/o1-mini",
            "openai/o3-mini",
        ],
        {"__template_metadata__": {"kind": "llm"}},
    ] = Field(
        default="openai/gpt-5.4-mini",
        description="用于代理主要交互的语言模型名称。"
        "格式应为：提供者/模型名称。",
        json_schema_extra={"langgraph_nodes": ["call_model"]},
    )

## 使用 Dataclasses
from dataclasses import dataclass, field

@dataclass(kw_only=True)
class Configuration:
    """代理的配置。"""

    system_prompt: str = field(
        default="You are a helpful AI assistant.",
        metadata={
            "description": "用于代理交互的系统提示词。"
            "此提示词设定了代理的上下文和行为。",
            "json_schema_extra": {"langgraph_nodes": ["call_model"]},
        },
    )

    model: Annotated[str, {"__template_metadata__": {"kind": "llm"}}] = field(
        default="anthropic/claude-sonnet-4-6",
        metadata={
            "description": "用于代理主要交互的语言模型名称。"
            "格式应为：提供者/模型名称。",
            "json_schema_extra": {"langgraph_nodes": ["call_model"]},
        },
    )

​

在 UI 中编辑提示词

1. 在具有关联配置字段的节点上找到齿轮图标。
2. 点击打开配置模态框。
3. 编辑值。
4. 保存以更新当前助手版本或创建新版本。

​

Playground

1. 选择一个线程。
2. 在节点上点击 查看 LLM 运行。这会列出该节点内进行的所有 LLM 调用（如果有）。
3. 选择一个 LLM 运行记录以在 Playground 中打开。
4. 修改提示词并测试不同的模型和工具设置。
5. 将更新后的提示词复制回您的图形。

​

在数据集上运行实验

​

前提条件

• 一个 LangSmith 数据集：您的数据集应包含您想要测试的输入，并且可选地，包含用于比较的参考输出。输入的模式必须与助手所需的输入模式匹配。有关模式的更多信息，请参阅图形 API 模式文档。有关创建数据集的更多信息，请参阅如何管理数据集。
• (可选) 评估器：您可以在 LangSmith 中将评估器（例如 LLM-as-a-Judge、启发式方法或自定义函数）附加到您的数据集。这些评估器将在图形处理完所有输入后自动运行。
• 一个正在运行的应用程序：实验可以针对以下对象运行：
  • 在 LangSmith 上部署的应用程序。
  • 通过 langgraph-cli 启动的本地运行应用程序。

​

实验设置

1. 启动实验。点击 Studio 页面右上角的 运行实验 按钮。
2. 选择您的数据集。在出现的模态框中，选择要用于实验的数据集（或特定数据集拆分）并点击 开始。
3. 监控进度。数据集中的所有输入现在将针对活动助手运行。通过右上角的徽章监控实验进度。
4. 您可以在后台运行实验时继续在 Studio 中工作。随时点击箭头图标按钮可导航至 LangSmith 并查看详细的实验结果。

​

调试 LangSmith 踪迹

​

打开已部署的线程

1. 打开 LangSmith 踪迹，选择根运行记录。
2. 点击 在 Studio 中运行。

​

使用远程踪迹测试本地代理

​

前提条件

• 一个 LangSmith 追踪的线程
• 一个本地运行的代理。

​

克隆线程

1. 打开 LangSmith 踪迹，选择根运行记录。
2. 点击 在 Studio 中运行 旁边的下拉菜单。
3. 输入您的本地代理 URL。
4. 选择 在本地克隆线程。
5. 如果存在多个图形，选择目标图形。

​

将节点添加到数据集

1. 选择一个线程。
2. 点击 添加到数据集。
3. 选择您想要将其输入/输出添加到数据集的节点。
4. 对于每个选定的节点，选择要在其中创建示例的目标数据集。默认情况下，将选择特定助手和节点的数据集。如果该数据集尚不存在，则将被创建。
5. 在添加到数据集之前，根据需要编辑示例的输入/输出。
6. 选择页面底部的 添加到数据集 以将所有选定节点添加到各自的数据集。