提示指导着大语言模型 (LLM) 的行为。提示工程 是一个过程,涉及精心设计、测试和优化你给予 LLM 的指令,以使其产生可靠且有用的响应。 LangSmith 提供了工具来创建、版本管理、测试和协作处理提示。你还会遇到一些常见概念,例如提示模板,它允许你重用结构化提示,以及变量,它允许你动态地将值(例如用户的问题)插入到提示中。 在这个快速入门中,你将使用 UI 或 SDK 来创建、测试和改进提示。本快速入门将以 OpenAI 作为示例 LLM 提供商,但相同的工作流程也适用于其他提供商。

前置条件

在开始之前,请确保你已具备: 选择 UI 或 SDK 工作流程的标签页:

1. 设置工作区密钥

在 LangSmith UI 中,确保你的 API 密钥已设置为工作区密钥。
  1. 导航至 设置,然后进入 密钥 选项卡。
  2. 选择 添加密钥,输入密钥环境变量(例如,OPENAI_API_KEY 或 ANTHROPIC_API_KEY),并将你的 API 密钥作为 值 填入。
  3. 选择 保存密钥。
在 LangSmith UI 中添加工作区密钥时,请确保密钥名称与你的模型提供商所要求的环境变量名称一致。
如果你的提供商使用 OAuth2 client_credentials 进行认证,请改为在模型配置中设置凭据。在这种情况下,无需使用工作区密钥。请参阅 OAuth 客户端凭据。

2. 创建一个提示

  1. 在 LangSmith UI 中,导航到左侧菜单中的提示部分。
  2. 点击 + 提示来创建一个提示。
  3. 通过编辑或添加提示及输入变量来根据需要修改提示。
准备好进行编辑的系统提示的 Playground 界面。

3. 测试一个提示

  1. 在提示标题下,选择模型名称旁边的齿轮 图标,这将打开模型配置标签页下的提示设置窗口。
  2. 设置你想使用的模型配置。你选择的提供商和模型将决定此配置页面上可配置的参数。设置完成后,点击另存为。
    LangSmith UI 中的模型配置窗口,包含提供商、模型、温度、最大输出令牌、Top P、存在惩罚、频率惩罚、推理努力程度等设置项。
  3. 在输入框中指定你想测试的输入变量,然后点击 开始。
    输入框中已输入一个问题。输出框包含对提示的响应。
    要了解在 Playground 中配置提示的更多选项,请参考配置提示设置。
  4. 测试并优化提示后,点击保存以将其存储供将来使用。

4. 迭代提示

LangSmith 允许基于团队进行提示迭代。工作区成员可以在 Playground 中实验提示,并在准备好时将其更改保存为新的提交。改进你的提示:
  • 参考你的模型提供商提供的文档,了解提示创建的最佳实践,例如:
  • 使用提示画布(Prompt Canvas)——LangSmith 中的一个交互式工具——来构建和优化你的提示。更多信息请参阅提示画布指南。
  • 为特定提交添加标签,以标记提交历史中的重要时刻。
    1. 要创建一个提交,导航到 Playground 并选择提交。选择要提交更改的提示,然后选择提交。
    2. 在左侧菜单中导航到提示。选择该提示。在提示详情页,选择右上角的标签以添加提交标签。

后续步骤

使用 Playground 中的 聊天 功能来帮助优化你的提示、生成工具以及创建输出模式。