- 工具调用 - 调用外部工具(如数据库查询或 API 调用)并在其响应中使用结果。
- 结构化输出 - 模型的响应被限制为遵循定义好的格式。
- 多模态 - 处理并返回文本以外的数据,如图像、音频和视频。
- 推理 - 模型执行多步推理以得出结论。
基本用法
模型可以通过两种方式使用:- 与智能体一起使用 - 在创建 智能体 时,可以动态指定模型。
- 独立使用 - 可以在不依赖智能体框架的情况下,直接调用模型(在智能体循环之外)来完成文本生成、分类或提取等任务。
初始化模型
在 LangChain 中开始使用独立模型的最简单方法是使用initChatModel 来从您选择的 聊天模型提供商 初始化一个模型(示例如下):
- OpenAI
- Anthropic
- Azure
- Google Gemini
- Bedrock Converse
initChatModel。
支持的提供商和模型
LangChain 通过专用的集成包支持所有主要的模型提供商。每个提供商包都实现了相同的标准接口,因此您可以更换提供商而无需重写应用程序逻辑。新的模型名称可以立即使用——无需更新 LangChain——因为提供商包会将模型名称直接传递给提供商的 API。 浏览 支持提供商的完整列表,或参阅 提供商和模型 以了解提供商、包和模型名称在 LangChain 中如何协同工作的概念概述。核心方法
调用
模型接收消息作为输入,并在生成完整响应后输出消息。
流式传输
调用模型,但实时流式输出其生成的内容。
批处理
将多个请求批量发送到模型,以实现更高效的处理。
除了聊天模型,LangChain 还为其他相关技术提供支持,例如嵌入模型和向量存储。有关详细信息,请参阅 集成页面。
参数
聊天模型接收可用于配置其行为的参数。支持的完整参数集因模型和提供商而异,但标准参数包括:string
required
您要与提供商一起使用的特定模型的名称或标识符。您也可以使用 ’:’ 格式在单个参数中同时指定模型和其提供商,例如 ‘openai:o1’。
string
与模型提供商进行身份验证所需的密钥。这通常在您注册访问模型时签发。通常通过设置 来访问。
number
控制模型输出的随机性。较高的数值使响应更具创造性;较低的数值使它们更具确定性。
number
限制响应中的 总数,有效地控制输出可以有多长。
number
等待模型响应的最大时间(以秒为单位),超过此时间将取消请求。
number
default:"6"
系统在请求因网络超时或速率限制等问题失败时,尝试重新发送请求的最大次数。重试使用带有抖动的指数退避。网络错误、速率限制 (429) 和服务器错误 (5xx) 会自动重试。客户端错误(如 401(未授权)或 404)不会重试。对于在不可靠网络上运行的长时间 智能体 任务,请考虑将此值增加到 10–15。
initChatModel 时,将这些参数作为内联参数传递:
使用模型参数初始化
连接弹性
LangChain 聊天模型会自动使用指数退避重试失败的 API 请求。默认情况下,对于网络错误、速率限制 (429) 和服务器错误 (5xx),模型最多重试 6 次。客户端错误(如 401(未授权)或 404)不会重试。 您可以在创建模型时调整maxRetries 和 timeout,然后将该实例传递给 createAgent、createDeepAgent 或单独调用:
每个聊天模型集成可能有额外的参数用于控制特定于提供商的功能。例如,
ChatOpenAI 有 use_responses_api 来决定是使用 OpenAI Responses 还是 Completions API。要查找给定聊天模型支持的所有参数,请前往 聊天模型集成 页面。调用
必须调用聊天模型才能生成输出。有三种主要的调用方法,每种方法适用于不同的用例。调用
调用模型最直接的方式是使用invoke(),传入单条消息或一个消息列表。
单条消息
对象格式
消息对象
如果您的调用返回类型是字符串,请确保您使用的是聊天模型而不是 LLM。旧式的文本补全 LLM 直接返回字符串。LangChain 聊天模型以 “Chat” 为前缀,例如
ChatOpenAI。流式传输
大多数模型可以在生成输出内容的同时对其进行流式传输。通过逐步显示输出,流式传输显著改善了用户体验,特别是对于较长的响应。 调用stream() 会返回一个 ,该迭代器在生成时输出数据块。您可以使用循环实时处理每个块:
invoke() 在模型完成生成完整响应后返回单个 AIMessage 不同,stream() 返回多个 AIMessageChunk 对象,每个对象包含输出文本的一部分。重要的是,流中的每个块设计为通过求和聚合成完整消息:
构造 AIMessage
invoke() 生成的消息同等对待——例如,可以将其聚合到消息历史记录中,并作为对话上下文传回模型。
高级流式传输主题
高级流式传输主题
流式传输事件
流式传输事件
LangChain 聊天模型还可以使用 [有关事件类型和其他详细信息,请参阅
streamEvents()][BaseChatModel.streamEvents] 流式传输语义事件。这简化了基于事件类型和其他元数据的过滤,并将在后台聚合完整消息。请参阅下面的示例。streamEvents() 参考。"自动流式传输"聊天模型
"自动流式传输"聊天模型
LangChain 通过在某些情况下自动启用流式模式来简化聊天模型的流式传输,即使您没有显式调用流式传输方法。当您使用非流式 invoke 方法但仍想流式传输整个应用程序(包括来自聊天模型的中间结果)时,这尤其有用。例如,在 LangGraph 智能体 中,您可以在节点内调用
model.invoke(),但如果运行在流式模式下,LangChain 会自动委派给流式传输。工作原理
当您invoke() 一个聊天模型时,如果 LangChain 检测到您试图流式传输整个应用程序,它将自动切换到内部流式模式。就使用 invoke 的代码而言,调用的结果是相同的;然而,当聊天模型正在流式传输时,LangChain 将负责在 LangChain 的回调系统中调用 on_llm_new_token 事件。回调事件允许 LangGraph stream() 和 streamEvents() 实时展示聊天模型的输出。批处理
将一组独立的请求批量发送到模型可以显著提高性能并降低成本,因为处理可以并行进行:批处理
工具调用
模型可以请求调用执行任务的工具,例如从数据库获取数据、搜索网络或运行代码。工具是以下内容的配对:- 一个模式(schema),包括工具的名称、描述和/或参数定义(通常是 JSON schema)
- 一个函数或 用于执行。
您可能会听到术语“函数调用”。我们将其与“工具调用”互换使用。
bindTools 绑定它们。在后续的调用中,模型可以根据需要选择调用任何已绑定的工具。
一些模型提供商提供 ,可以通过模型或调用参数启用(例如 ChatOpenAI、ChatAnthropic)。请查阅相应的 提供商参考 以获取详细信息。
绑定用户工具
工具执行循环
工具执行循环
当模型返回工具调用时,您需要执行工具并将结果传回模型。这会创建一个对话循环,模型可以使用工具结果来生成其最终响应。LangChain 包含 智能体 抽象,为您处理这种编排。这是一个简单示例,展示如何做到这一点:工具返回的每个
工具执行循环
ToolMessage 都包含一个 tool_call_id,与原始工具调用匹配,帮助模型将结果与请求关联起来。强制工具调用
强制工具调用
默认情况下,模型可以根据用户的输入自由选择使用哪个已绑定的工具。但是,您可能希望强制选择某个工具,确保模型使用特定工具或给定列表中的 任何 工具:
并行工具调用
并行工具调用
许多模型在适当时支持并行调用多个工具。这使得模型可以同时从不同来源收集信息。模型根据请求操作的独立性,智能地确定何时适合并行执行。
并行工具调用
流式传输工具调用
流式传输工具调用
当流式传输响应时,工具调用通过 您可以累积块以构建完整的工具调用:
ToolCallChunk 逐步构建。这允许您在工具调用生成时看到它们,而不是等待完整响应。流式传输工具调用
累积工具调用
结构化输出
可以要求模型以符合给定模式的格式提供其响应。这对于确保输出可以被轻松解析并在后续处理中使用非常有用。LangChain 支持多种模式类型和强制执行结构化输出的方法。- Zod
- JSON Schema
- 标准 Schema
zod schema 是定义输出模式的首选方法。请注意,当提供 zod schema 时,模型输出还将使用 zod 的 parse 方法根据该 schema 进行验证。
示例:消息输出与解析结构并存
示例:消息输出与解析结构并存
将原始的
AIMessage 对象与解析后的表示形式一起返回,以访问响应元数据(如 token 使用量)可能很有用。为此,在调用 with_structured_output 时设置 include_raw=True:示例:嵌套结构
示例:嵌套结构
模式可以嵌套:
高级主题
模型配置文件
模型配置文件需要
langchain>=1.1。profile 属性公开一个包含支持功能和能力的字典:
- 摘要中间件 可以根据模型的上下文窗口大小触发摘要。
createAgent中的结构化输出策略可以自动推断(例如,通过检查对原生结构化输出功能的支持)。- 模型输入可以根据支持的模态和最大输入 token 数量进行限制。
- Deep Agents Code 将交互式模型切换器过滤到其配置文件报告支持
tool_calling和文本 I/O 的模型,并在选择器详细信息视图中显示上下文窗口大小和功能标志。
修改配置文件数据
修改配置文件数据
如果模型配置文件数据缺失、陈旧或不正确,可以进行更改。选项 1(快速修复)您可以使用任何有效的配置文件实例化聊天模型:选项 2(修复上游数据)数据的主要来源是 models.dev 项目。这些数据在 LangChain 集成包 中与额外的字段和覆盖项合并,并随这些包一起发布。可以通过以下过程更新模型配置文件数据:
- (如果需要) 通过向其 GitHub 仓库 提交拉取请求来更新 models.dev 中的源数据。
- (如果需要) 通过向 LangChain 集成包 提交拉取请求来更新
langchain-<package>/profiles.toml中的额外字段和覆盖项。
多模态
某些模型可以处理并返回非文本数据,例如图像、音频和视频。您可以通过提供内容块将非文本数据传递给模型。 详情请参阅消息指南的多模态部分。 可以在其响应中返回多模态数据。如果这样调用,生成的AIMessage 将包含具有多模态类型的内容块。
多模态输出
推理
许多模型能够进行多步推理以得出结论。这涉及将复杂问题分解为更小、更易管理的步骤。 如果底层模型支持, 您可以展示此推理过程,以更好地理解模型是如何得出最终答案的。'low' 或 'high')或整数 token 预算。
有关详细信息,请参阅您各自聊天模型的集成页面或参考文档。
本地模型
LangChain 支持在您自己的硬件上本地运行模型。这对于数据隐私至关重要、您希望调用自定义模型或希望避免使用基于云的模型所产生的成本的情况非常有用。 Ollama 是本地运行聊天和嵌入模型最简单的方法之一。提示缓存
许多提供商提供提示缓存功能,以减少对相同 token 重复处理的延迟和成本。您可以在三个级别启用缓存:- 隐式提供商缓存: 如果请求命中缓存,提供商会自动传递成本节省,无需配置。示例:OpenAI 和 Gemini。
- 提供商级别显式控制: 提供商允许您手动指定缓存点以获得更大的控制权或保证成本节省。这些反映了底层提供商/API 的行为。示例:
ChatOpenAI(通过prompt_cache_key)- Anthropic 内容块
cache_control - Gemini。
服务器端工具使用
一些提供商支持服务器端工具调用循环:模型可以在一个对话轮次中与网络搜索、代码解释器和其他工具交互并分析结果。 如果模型在服务器端调用工具,响应消息的内容将包含表示工具调用和结果的内容。访问响应的内容块将以提供商无关的格式返回服务器端工具调用和结果:基本 URL 和代理设置
您可以为实现 OpenAI 聊天补全 API 的提供商配置自定义基本 URL。自定义基本 URL
自定义基本 URL
许多模型提供商提供 OpenAI 兼容的 API(例如 Together AI、vLLM)。您可以通过指定适当的
base_url 参数将 initChatModel 用于这些提供商:当使用直接聊天模型类实例化时,参数名称可能因提供商而异。有关详细信息,请检查相应的参考文档。
对数概率
某些模型可以通过设置logprobs 参数来配置,以返回表示给定 token 可能性的 token 级对数概率:
Token 使用量
许多模型提供商在调用响应中返回 token 使用量信息。当可用时,这些信息将包含在相应模型生成的AIMessage 对象中。有关更多详细信息,请参阅消息指南。
调用配置
当调用模型时,您可以通过config 参数使用 RunnableConfig 对象传递额外的配置。这为执行行为、回调和元数据跟踪提供了运行时控制。
常见的配置选项包括:
使用配置调用
- 使用 LangSmith 进行调试追踪
- 实现自定义日志记录或监控
- 在生产环境中控制资源使用
- 在复杂管道中跟踪调用
关键配置属性
关键配置属性
动态模型选择
动态模型在 根据当前的 和上下文进行选择。这支持复杂的路由逻辑和成本优化。 要使用动态模型,请使用wrapModelCall 创建中间件,该中间件修改请求中的模型:
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.

