与提供商无关的中间件
以下中间件适用于任何 LLM 提供商:摘要
在接近 token 限制时自动总结对话历史,保留最近的消息,同时压缩较旧的上下文。摘要适用于以下场景:- 超出上下文窗口的长时运行对话。
- 具有大量历史记录的多轮对话。
- 需要保留完整对话上下文的应用程序。
摘要是面向文本的上下文压缩。它不会调整大小、降采样或以其他方式压缩图像/音频/视频有效载荷。由
keep 保留的最近消息仍然包含其原始的多模态块,而被总结的较旧多模态消息仅由生成的文本摘要表示。对于图像密集型应用,请将媒体存储在文件系统或对象存储中,并通过消息历史传递 URL 或文件引用。配置选项
配置选项
string | BaseChatModel
required
用于生成摘要的模型。可以是模型标识符字符串(例如
'openai:gpt-5.4-mini')或 BaseChatModel 实例。object | object[]
触发摘要的条件。可以是:
- 单个条件对象(必须满足所有属性 - AND 逻辑)
- 条件对象数组(必须满足任一条件 - OR 逻辑)
fraction(number): 模型上下文大小的比例(0-1)tokens(number): 绝对的 token 计数messages(number): 消息计数
object
default:"{messages: 20}"
摘要后保留多少上下文。请指定以下之一:
fraction(number): 要保留的模型上下文大小的比例(0-1)tokens(number): 要保留的绝对 token 计数messages(number): 要保留的最近消息数量
function
自定义的 token 计数函数。默认为基于字符的计数。
string
用于摘要的自定义提示模板。如果未指定,则使用内置模板。模板应包含
{messages} 占位符,对话历史将插入此处。number
default:"4000"
生成摘要时要包含的最大 token 数量。在摘要之前,消息将被修剪以适应此限制。
string
要添加到摘要消息的前缀。如果未提供,则使用默认前缀。
number
deprecated
已弃用: 请使用
trigger: { tokens: value }。触发摘要的 token 阈值。number
deprecated
已弃用: 请使用
keep: { messages: value }。要保留的最近消息。完整示例
完整示例
摘要中间件监控消息的 token 计数,并在达到阈值时自动摘要旧消息。触发条件 控制何时运行摘要:
- 当满足单个阈值时触发。
- 带有多个阈值的触发子句仅在满足所有阈值时触发(AND 逻辑)。
- 触发条件列表在满足任一条件时触发(OR 逻辑)。
- 每个阈值可以使用
fraction(模型上下文大小的比例)、tokens(绝对计数)或messages(消息计数)。
fraction- 要保留的模型上下文大小的比例。tokens- 要保留的绝对 token 计数。messages- 要保留的最近消息数量。
人在环中
在工具调用执行前暂停智能体的执行,以等待人工批准、编辑或拒绝。人在环中适用于以下场景:- 需要人工批准的高风险操作(例如数据库写入、金融交易)。
- 强制要求人工监督的合规工作流程。
- 人工反馈指导智能体进行的长时运行对话。
观看此视频指南演示人在环中中间件的行为。
模型调用限制
限制模型调用次数以防止无限循环或成本过高。模型调用限制适用于以下场景:- 防止失控的智能体发起过多的 API 调用。
- 在生产部署上实施成本控制。
- 在特定的调用预算内测试智能体行为。
观看此视频指南演示模型调用限制中间件的行为。
配置选项
配置选项
工具调用限制
通过限制工具调用次数来控制智能体执行,可以是全局的(针对所有工具)或针对特定工具。工具调用限制适用于以下场景:- 防止对昂贵的外部 API 进行过多调用。
- 限制 Web 搜索或数据库查询。
- 对特定工具的使用实施速率限制。
- 防止智能体陷入失控循环。
观看此视频指南演示工具调用限制中间件的行为。
配置选项
配置选项
string
要限制的特定工具的名称。如果未提供,则限制适用于所有工具(全局)。
number
在一个线程(会话)中所有运行的最大工具调用次数。在具有相同线程 ID 的多次调用中持续存在。需要检查点器来维护状态。
undefined 表示无线程限制。number
每次单次调用(一个用户消息 → 响应周期)的最大工具调用次数。每次有新的用户消息时重置。
undefined 表示无运行限制。注意: 必须至少指定 threadLimit 或 runLimit 之一。string
default:"continue"
达到限制时的行为:
'continue'(默认)- 使用错误消息阻止超出的工具调用,让其他工具和模型继续。模型根据错误消息决定何时结束。'error'- 抛出ToolCallLimitExceededError异常,立即停止执行。'end'- 立即停止执行,并为超出的工具调用发送 ToolMessage 和 AI 消息。仅在限制单个工具时有效;如果其他工具有待处理的调用,则抛出错误。
完整示例
完整示例
通过以下方式指定限制:
- 线程限制 - 会话中所有运行的最大调用次数(需要检查点器)。
- 运行限制 - 每次单次调用的最大调用次数(每轮重置)。
'continue'(默认)- 使用错误消息阻止超出的调用,智能体继续。'error'- 立即引发异常。'end'- 使用 ToolMessage + AI 消息停止(仅适用于单工具场景)。
模型回退
当主模型失败时,自动回退到替代模型。模型回退适用于以下场景:- 构建能够处理模型故障的弹性智能体。
- 通过回退到更便宜的模型来优化成本。
- 跨 OpenAI、Anthropic 等提供商的冗余。
配置选项
配置选项
该中间件接受一个可变数量的字符串参数,按顺序表示回退模型:
string[]
required
当主模型失败时,按顺序尝试的一个或多个回退模型字符串。
PII 检测
使用可配置的策略检测并处理对话中的个人身份信息 (PII)。PII 检测适用于以下场景:- 具有合规性要求的医疗保健和金融应用程序。
- 需要清理日志的客户服务智能体。
- 任何处理敏感用户数据的应用程序。
自定义 PII 类型
您可以通过提供detector 参数来创建自定义 PII 类型。这使您能够检测超出内置类型范围的特定于您使用场景的模式。
创建自定义检测器的三种方式:
- 正则表达式模式字符串 - 简单的模式匹配。
- RegExp 对象 - 对正则标志有更多控制。
- 自定义函数 - 具有验证功能的复杂检测逻辑。
PIIMatch 对象数组:
配置选项
配置选项
string
required
要检测的 PII 类型。可以是内置类型(
email、credit_card、ip、mac_address、url)或自定义类型名称。string
default:"redact"
如何处理检测到的 PII。选项:
'block'- 检测到时抛出错误。'redact'- 替换为[REDACTED_TYPE]。'mask'- 部分掩码(例如****-****-****-1234)。'hash'- 替换为确定性哈希(例如<email_hash:a1b2c3d4>)。
RegExp | string | function
自定义检测器。可以是:
RegExp- 用于匹配的正则表达式模式。string- 正则表达式模式字符串(例如"sk-[a-zA-Z0-9]{32}")。function- 自定义检测器函数(content: string) => PIIMatch[]。 如果未提供,则使用针对该 PII 类型的内置检测器。
boolean
default:"true"
在模型调用前检查用户消息。
boolean
default:"false"
在模型调用后检查 AI 消息。
boolean
default:"false"
在执行后检查工具结果消息。
待办事项列表
为智能体提供任务规划和跟踪能力,用于复杂的多步骤任务。待办事项列表适用于以下场景:- 需要跨多个工具协调的复杂多步骤任务。
- 进度可见性很重要的长时运行操作。
此中间件自动为智能体提供一个
write_todos 工具和系统提示,以指导有效的任务规划。观看此视频指南演示待办事项列表中间件的行为。
配置选项
配置选项
无可用配置选项(使用默认值)。
LLM 工具选择器
在调用主模型之前,使用 LLM 智能地选择相关工具。LLM 工具选择器适用于以下场景:- 拥有许多工具(10+)且大多数查询不相关的智能体。
- 通过过滤不相关的工具来减少 token 使用量。
- 提高模型的专注度和准确性。
配置选项
配置选项
工具错误
异步模式:仅传递 aon_error(不要传递 on_error)
async_agent = create_agent( model=“gpt-5.5”, tools=[api_tool], middleware=[ToolErrorMiddleware(aon_error=aon_error)], )配置选项
配置选项
number
default:"2"
初始调用后的最大重试次数(默认为 2,总共 3 次尝试)。必须 >= 0。
(ClientTool | ServerTool | string)[]
可选的工具数组或工具名称,用于应用重试逻辑。可以是
BaseTool 实例列表或工具名称字符串数组。如果为 undefined,则应用于所有工具。((error: Error) => boolean) | (new (...args: any[]) => Error)[]
default:"() => true"
要么是要重试的错误构造函数数组,要么是一个接收错误并在应重试时返回
true 的函数。默认对所有错误进行重试。'error' | 'continue' | ((error: Error) => string)
default:"continue"
当所有重试都用尽时的行为。选项:
'continue'(默认) - 返回包含错误详情的ToolMessage,允许 LLM 处理失败并可能恢复'error'- 重新引发异常,停止代理执行- 自定义函数 - 接收异常并返回
ToolMessage内容字符串的函数,允许自定义错误格式
'raise'(请改用 'error')和 'return_message'(请改用 'continue')。这些已弃用的值仍然有效,但会显示警告。number
default:"2.0"
指数退避的乘数。每次重试等待
initialDelayMs * (backoffFactor ** retryNumber) 毫秒。设为 0.0 表示固定延迟。必须 >= 0。number
default:"1000"
第一次重试前的初始延迟(毫秒)。必须 >= 0。
number
default:"60000"
重试之间的最大延迟(毫秒),用于限制指数退避增长。必须 >= 0。
boolean
default:"true"
是否在延迟中添加随机抖动 (
±25%) 以避免惊群效应完整示例
完整示例
该中间件通过指数退避自动重试失败的工具调用。关键配置:
maxRetries- 重试次数(默认:2)backoffFactor- 指数退避乘数(默认:2.0)initialDelayMs- 初始延迟毫秒数(默认:1000ms)maxDelayMs- 延迟增长上限(默认:60000ms)jitter- 添加随机变化(默认:true)
onFailure: "continue"(默认) - 返回错误消息onFailure: "error"- 重新引发异常- 自定义函数 - 返回错误消息的函数
模型重试
自动重试失败的模型调用,支持可配置的指数退避。模型重试在以下场景中很有用:- 处理模型 API 调用中的瞬态故障。
- 提高依赖网络的模型请求的可靠性。
- 构建能优雅处理临时模型错误的弹性代理。
modelRetryMiddleware]
配置选项
配置选项
number
default:"2"
初始调用后的最大重试次数(默认为 2,总共 3 次尝试)。必须 >= 0。
((error: Error) => boolean) | (new (...args: any[]) => Error)[]
default:"() => true"
要么是要重试的错误构造函数数组,要么是一个接收错误并在应重试时返回
true 的函数。默认对所有错误进行重试。'error' | 'continue' | ((error: Error) => string)
default:"continue"
当所有重试都用尽时的行为。选项:
'continue'(默认) - 返回包含错误详情的AIMessage,允许代理优雅地处理失败'error'- 重新引发异常,停止代理执行- 自定义函数 - 接收异常并返回
AIMessage内容字符串的函数,允许自定义错误格式
number
default:"2.0"
指数退避的乘数。每次重试等待
initialDelayMs * (backoffFactor ** retryNumber) 毫秒。设为 0.0 表示固定延迟。必须 >= 0。number
default:"1000"
第一次重试前的初始延迟(毫秒)。必须 >= 0。
number
default:"60000"
重试之间的最大延迟(毫秒),用于限制指数退避增长。必须 >= 0。
boolean
default:"true"
是否在延迟中添加随机抖动 (
±25%) 以避免惊群效应完整示例
完整示例
该中间件通过指数退避自动重试失败的模型调用。
LLM 工具模拟器
使用 LLM 模拟工具执行,用于测试目的,用 AI 生成的响应替换实际的工具调用。LLM 工具模拟器在以下场景中很有用:- 在不执行真实工具的情况下测试代理行为。
- 在外部工具不可用或成本高昂时开发代理。
- 在实现实际工具之前对代理工作流进行原型设计。
配置选项
配置选项
完整示例
完整示例
该中间件使用 LLM 为工具调用生成可信的响应,而不是执行实际的工具。
上下文编辑
通过在达到令牌限制时清除较旧的工具调用输出(同时保留最近的结果)来管理对话上下文。这有助于在包含许多工具调用的长对话中保持上下文窗口可管理。上下文编辑在以下场景中很有用:- 超出令牌限制的长对话,包含许多工具调用
- 通过移除不再相关的较旧工具输出来降低令牌成本
- 在上下文中仅保留最近的 N 个工具结果
配置选项
配置选项
ContextEdit[]
default:"[new ClearToolUsesEdit()]"
要应用的 @[
ContextEdit] 策略数组ClearToolUsesEdit] 选项:number
default:"100000"
触发编辑的令牌数。当对话超过此令牌数时,较旧的工具输出将被清除。
number
default:"0"
编辑运行时要回收的最小令牌数。如果设为 0,则根据需要清除。
number
default:"3"
必须保留的最近工具结果的数量。这些永远不会被清除。
boolean
default:"false"
是否清除 AI 消息上的原始工具调用参数。当为
true 时,工具调用参数将被替换为空对象。string[]
default:"[]"
要排除在清除之外的工具名称列表。这些工具的输出永远不会被清除。
string
default:"[cleared]"
为清除的工具输出插入的占位符文本。这会替换原始工具消息内容。
完整示例
完整示例
当达到令牌限制时,该中间件应用上下文编辑策略。最常见的策略是
ClearToolUsesEdit,它清除较旧的工具结果同时保留最近的结果。工作原理:- 监控对话中的令牌数
- 当达到阈值时,清除较旧的工具输出
- 保留最近的 N 个工具结果
- 可选择保留工具调用参数以提供上下文
提供程序工具搜索
将所选工具延迟到模型提供程序的服务器端工具搜索之后,以便模型根据需要发现它们,而不是预先接收每个工具的模式。提供程序工具搜索在以下场景中很有用:- 在使用许多工具时减少上下文膨胀。
- 通过仅显示相关工具来提高工具选择准确性。
需要具有服务器端工具搜索支持的模型:Anthropic (Claude Sonnet 4+/Opus 4+/Haiku 4.5+) 或 OpenAI (gpt-5.5+)。其他提供程序会抛出错误。
providerToolSearchMiddleware]
配置选项
配置选项
(string | StructuredToolInterface)[]
要延迟到提供程序工具搜索之后的工具,按名称或实例给出。延迟的工具会被隐藏,直到其搜索显示它们。使用
extras.defer_loading: true 构造的工具会延迟,无论此选项如何;如果省略 searchableTools,则只有那些预先标记的工具会被延迟。完整示例
完整示例
该中间件将
searchableTools 中包含的所有工具选择加入延迟和搜索。工具也可以在构造时通过设置 extras.defer_loading: true 来选择加入延迟。文件系统中间件
上下文工程是构建有效代理的主要挑战。当使用返回可变长度结果的工具(例如web_search 和 RAG)时尤其困难,因为冗长的工具结果可能会迅速填满你的上下文窗口。
来自 Deep Agents 的 FilesystemMiddleware 提供了四个用于与短期和长期记忆交互的工具:
ls:列出文件系统中的文件read_file:读取整个文件或文件中的特定行数write_file:向文件系统写入新文件edit_file:编辑文件系统中的现有文件
短期与长期文件系统
默认情况下,这些工具写入你图状态中的本地“文件系统”。要启用跨线程的持久存储,请配置一个CompositeBackend,将特定路径(如 /memories/)路由到 StoreBackend。
/memories/ 配置带有 StoreBackend 的 CompositeBackend 时,任何以 /memories/ 为前缀的文件都会保存到持久存储中,并且在不同线程之间持续存在。没有此前缀的文件将保留在临时状态存储中。
子代理
将任务移交给子代理可以隔离上下文,保持主(监督)代理的上下文窗口清洁,同时仍然可以深入处理任务。 来自 Deep Agents 的子代理中间件允许你通过task 工具提供子代理。
通用型 子代理。这个子代理拥有与主代理相同的指令以及它可以访问的所有工具。通用型 子代理的主要目的是上下文隔离——主代理可以将一个复杂任务委托给该子代理,并获得一个简洁的答案,而不会受到中间工具调用的干扰。
针对特定提供商的中间件
这些中间件针对特定的 LLM 提供商进行了优化。请参阅每个提供商的文档以获取完整详情和示例。Anthropic
适用于 Claude 模型的提示缓存、Bash 工具、文本编辑器、记忆和文件搜索中间件。
AWS
适用于 Amazon Bedrock 模型的提示缓存中间件。

