连接到兼容 OpenAI 的模型提供商/代理

Playground 支持使用任何兼容 OpenAI API 的模型。你可以在 Playground 中设置模型的代理提供商来使用该模型。

​

部署兼容 OpenAI 的模型

许多提供商都提供兼容 OpenAI 的模型或代理服务，例如：

• LiteLLM Proxy
• Ollama

你可以使用这些提供商部署模型，并获取一个兼容 OpenAI API 的 API 端点。 如需了解更多信息，请查看完整的规范。

​

在 Playground 中使用模型

部署模型服务器后，你可以在 Playground 中使用它。 要访问提示设置菜单：

1. 在提示标题下，点击模型名称旁边的齿轮 图标。
2. 在模型配置选项卡中，从下拉菜单中选择要编辑的模型。
3. 在提供商下拉菜单中，选择OpenAI 兼容端点。
4. 将 OpenAI 兼容端点添加到基础 URL输入框中。示例请参阅基础 URL 格式。
   

如果一切设置正确，你应该能在 Playground 中看到模型的响应。你还可以使用此功能调用下游管道。 有关如何存储模型配置的信息，请参阅配置提示设置。 如果你的 OpenAI 兼容端点位于 OAuth2 网关之后，请将 OAuth client_credentials 存储在模型配置中，而不是将静态 API 密钥作为工作区密钥分发。请参阅 OAuth 客户端凭据。

​

基础 URL 格式

基础 URL应指向 OpenAI 兼容 API 服务器的根路径。 LangSmith 会自动追加 /chat/completions，因此不要将其包含在基础 URL 中。

​

基础 URL 示例

支持自定义路径前缀。如果你的服务器在 /api/v2/chat/completions 提供补全服务， 请将基础 URL 设置为 https://my-server.example.com/api/v2。

---