Beta： LLM 网关处于 beta 阶段。
Retry-After 头的 429 响应：
Retry-After 的值是当前窗口重置前的秒数。客户端应尊重此头信息，并在重试前进行退避。
速率限制策略与 支出上限策略 互补，可以同时应用——支出上限用于成本控制，速率限制用于吞吐量和流量控制。
策略维度
每个传入请求都会评估速率限制策略。您可以将策略设置为默认值（对所有用户、工作区 或 API 密钥 应用统一的速率限制）或细粒度策略（对单个主体或一组主体设置独立限制）。默认策略与细粒度策略
速率限制策略有两种模式：- 默认策略会自动应用于主体维度中的每个成员。例如：“此工作区中的每位用户默认每分钟 100 个请求的上限。”无需为每个人创建单独的策略。
- 细粒度策略针对特定命名主体，仅覆盖该主体的默认值。例如：“值班工程师每分钟 500 个请求。”编辑默认值会更新所有仍使用默认值的人。
独立执行
每个主体都被独立跟踪和执行。一个用户达到其限制不会影响其他用户。限制
单个速率限制策略可以同时执行多个限制。例如，一个策略可以同时强制执行每分钟 100 个请求和每小时 1,000,000 个令牌。 每个限制包含三个字段：
规则：
- 每个策略至少需要一个限制。
- 一个策略内不能有两个指标和窗口组合完全相同的限制。
创建速率限制策略
- 前往 设置 → 网关 → LLM 网关。
- 点击 创建策略。
- 选择 速率限制 作为策略类型。
- 选择主体范围（用户、工作区或 API 密钥）。
- 添加一个或多个限制，每个限制包含指标、窗口和值。
- 保存。
后续步骤
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.