使用断言

• 运行的实际输出不正确，而你更希望描述正确答案应是什么样，而不是手动编写一个正确答案。
• 你希望用通俗易懂的英语记录验收标准，而无需离开审阅流程。

​

添加断言

1. 在 LangSmith UI 中，转到左侧边栏的 Annotation Queues。打开一个单次运行队列并选择一个运行。
2. 在侧面板中找到 Feedback 下方的 Assertions 部分。
3. 点击 + Add 创建一行断言。
4. 输入一个用于概括声明的 key（例如 must_cite_source、must_not_invent_url），以及用一句话描述该声明的 comment。 key 的格式不受限制。must_ / must_not_ 前缀只是命名约定；LangSmith 不会对它们进行特殊处理。
5. 对于需要记录的每项标准，重复步骤 3 和 4。 运行编辑器会在断言侧面板旁显示运行的输入和输出。添加至少一条断言后，运行编辑器的 Outputs 面板会从运行的实际输出切换为你所添加断言的只读预览。该预览就是保存到数据集中的内容。运行的实际输出不会被保存，因为断言描述的是正确答案应包含的内容，而不是本次运行产生的内容。 你可以随时继续编辑运行的 Inputs，例如在保存示例前优化提示词。只要仍有断言，Outputs 面板就会保持锁定，并显示断言预览。
6. 点击侧面板底部的 Add to Dataset & Next（键盘快捷键：macOS 使用 ⌘ Enter，其他系统使用 Ctrl Enter）。LangSmith 会将当前运行添加到队列的默认数据集中；如果未配置默认数据集，则会提示你选择一个。随后，队列会将你带到下一个运行。

{
  "assertions": [
    {
      "key": "must_cite_source",
      "comment": "响应会引用其所依据的来源 URL。"
    },
    {
      "key": "must_not_invent_url",
      "comment": "响应不会包含输入中未出现的 URL。"
    }
  ]
}

​

根据断言进行评估

def grade_against_assertions(outputs: dict, reference_outputs: dict) -> list[dict]:
    """为每条断言返回一个反馈分数。"""
    feedback = []
    for assertion in reference_outputs["assertions"]:
        # 替换为你的评分逻辑：LLM 评审、正则表达式、架构检查等。
        score = ...
        feedback.append({"key": assertion["key"], "score": score})
    return feedback

• LLM-as-a-judge：针对每条断言，向模型提供应用程序的输出和断言的 comment，让模型返回一个分数。当声明具有主观性或难以通过机械方式验证时，这种方式最为适合。
• 基于代码的检查：针对每条断言，根据断言的 key 执行确定性检查，例如正则表达式匹配、架构验证或子字符串匹配。当声明具有明确且可机械验证的答案时，这种方式最为适合。
• 部分得分：返回数值分数（例如 0.0 到 1.0 之间的分数），而不是布尔值，以便按程度评分，并为满足部分而非全部声明的输出提供“部分得分”。