如何评估可运行对象

pip install -U langsmith langchain[openai]

yarn add langsmith @langchain/openai

from langchain.chat_models import init_chat_model
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate

instructions = (
    "请查看下面的用户查询，并判断其中是否包含任何形式的有害行为，"
    "例如侮辱、威胁或极其负面的评论。"
    "如果包含，请回复 'Toxic'；如果不包含，请回复 'Not toxic'。"
)

prompt = ChatPromptTemplate(
    [("system", instructions), ("user", "{text}")],
)

model = init_chat_model("gpt-5.5")
chain = prompt | model | StrOutputParser()

import { ChatOpenAI } from "@langchain/openai";
import { ChatPromptTemplate } from "@langchain/core/prompts";
import { StringOutputParser } from "@langchain/core/output_parsers";

const prompt = ChatPromptTemplate.fromMessages([
  ["system", "请查看下面的用户查询，并判断其中是否包含任何形式的有害行为，例如侮辱、威胁或极其负面的评论。如果包含，请回复 'Toxic'；如果不包含，请回复 'Not toxic'。"],
  ["user", "{text}"]
]);

const chatModel = new ChatOpenAI();
const outputParser = new StringOutputParser();
const chain = prompt.pipe(chatModel).pipe(outputParser);

import asyncio
from langsmith import Client, aevaluate

client = Client()

# 克隆一个包含有害内容标签的文本数据集。
# 每个示例输入都有一个 "text" 键，每个输出都有一个 "label" 键。
dataset = client.clone_public_dataset(
    "https://smith.langchain.com/public/3d6831e6-1680-4c88-94df-618c8e01fc55/d"
)

def correct(outputs: dict, reference_outputs: dict) -> bool:
    # 由于我们的链输出的是字符串而不是字典，因此该字符串
    # 会以默认的 "output" 键存储在 outputs 字典中：
    actual = outputs["output"]
    expected = reference_outputs["label"]
    return actual == expected

async def main():
    results = await aevaluate(
        chain,
        data=dataset,
        evaluators=[correct],
        experiment_prefix="gpt-5.5, baseline",
        metadata={"models": "openai:gpt-5.5"},  # 可选，用于在 UI 中填充模型/提示词/工具列
    )
    print(results)

asyncio.run(main())

import { evaluate } from "langsmith/evaluation";
import { Client } from "langsmith";

const langsmith = new Client();

const dataset = await client.clonePublicDataset(
  "https://smith.langchain.com/public/3d6831e6-1680-4c88-94df-618c8e01fc55/d"
)

await evaluate(chain, {
  data: dataset.name,
  evaluators: [correct],
  experimentPrefix: "gpt-5.5, baseline",
  metadata: { models: "openai:gpt-5.5" },  // 可选，用于在 UI 中填充模型/提示词/工具列
});