# AI Gateway 会增加延迟吗？

> 会。AI Gateway 至少增加一次网络和处理跳转，因此自身开销不可能为零。用户是否能感知，取决于地理位置、连接复用、请求大小、网关处理、供应商首 token 时间、输出长度、重试和流式传输。应使用相同载荷测量完整链路，并把网关开销与供应商生成时间分开报告。

_最后复核 2026-08-15 · [编辑复核](https://keeprouter.com/editorial-policy#editorial-team)_

## 延迟包含多只时钟

| 指标 | 起点 | 终点 | 能说明什么 |
|---|---|---|---|
| 客户端往返时间 | 客户端发送前 | 收到终止响应后 | 用户可见的总时间 |
| 首字节时间 | 请求发送前 | 第一个响应字节 | 网络、准入与上游启动 |
| 首 token 时间 | 请求发送前 | 第一个可用模型输出 | 路由、供应商排队与生成启动 |
| 流持续时间 | 第一个 token | 终止事件 | 输出生成与传输 |
| 网关处理时间 | 网关收到请求 | 发给上游，再从上游响应到发给客户端 | 可归因于网关的工作 |

不要把一个产品的内部处理指标与另一个产品的公开往返时间直接比较。它们测量的区间不同。厂商延迟声明也可能使用不同区域、载荷、连接状态和分位数窗口。

## 公平的测量设计

从同一客户端区域运行直连与网关链路，固定模型版本、供应商、提示词、输出上限和流式模式。热测试应复用连接；如果应用会频繁新建连接，也要记录冷启动。至少记录 p50、p95 和 p99，并使用足够请求观察排队和限流。

把首次成功与重试请求分开。故障切换可以救回失败调用，但该次请求通常更慢。把这些请求混进一个平均值会隐藏取舍。[故障切换答案](/zh/answers/what-is-llm-api-failover)说明如何限制尝试次数。

## 哪些网关工作会增加时间

认证、额度检查、请求转换、策略判断、日志、缓存查询、供应商选择和响应规范都需要时间。同步写入大型日志或远程策略数据库，可能进入关键路径。流式转换若缓冲过多，也会延迟第一个可用事件。

部分网关能力可能降低总时间。就近入口可以改善连接建立，有效缓存命中可以跳过生成，健康路由也可能绕过退化线路。这些结果依赖工作负载，不能据此把网关开销描述成零。

## 设置产品预算

根据用户交互为首 token 与总完成时间设定可接受增量。代码 Agent、自动补全和后台批处理需要不同预算。部署后仍要监控同一组指标，因为路由选择和上游行为会变化。

把测试脚本、原始时间戳、模型 ID、端点和网关配置与结果一起保存。修改路由、日志或重试策略后重新测试。[可观测功能页](/zh/features/api-observability)列出 KeepRouter 能提供的请求证据，[评估框架](/zh/blog/evaluate-ai-gateway)可用于和其他产品比较。

## 常见问题

### AI Gateway 会增加多少延迟？

没有通用数字。区域、连接复用、策略处理、日志、载荷大小和上游路由都会影响结果。

### 应该测首 token 还是总时间？

两者都要测。首 token 反映响应感，总时间包含输出生成和传输。

### 故障切换能改善延迟吗？

它可以绕过退化线路，但失败的首次尝试通常会让获救请求更慢，应单独报告。

### 流式传输会消除网关开销吗？

不会。流式只改变输出何时可见，路由和处理仍会在流开始前及过程中发生。

### 缓存能让网关比直连生成更快吗？

有效缓存命中可以，但只适用于策略允许缓存的请求。命中与未命中路径应分开比较。

## 参考的一手资料

1. [Cloudflare AI Gateway analytics](https://developers.cloudflare.com/ai-gateway/observability/analytics/)
2. [Vercel AI Gateway observability](https://vercel.com/docs/ai-gateway/observability)
3. [OpenTelemetry trace semantic conventions](https://opentelemetry.io/docs/concepts/signals/traces/)

## 继续阅读

- [API 可观测性](https://keeprouter.com/zh/features/api-observability.md)
- [什么是 LLM API 故障切换？](https://keeprouter.com/zh/answers/what-is-llm-api-failover.md)
- [如何用证据型评分卡评估 AI Gateway](https://keeprouter.com/zh/blog/evaluate-ai-gateway.md)
- [AI Gateway 延迟指南：分别测量网关、供应商与获救请求](https://keeprouter.com/zh/blog/ai-gateway-latency-guide.md)
- [如何选择 AI Gateway？](https://keeprouter.com/zh/answers/how-to-choose-an-ai-gateway.md)
- [按场景选择 AI Gateway](https://keeprouter.com/zh/compare/best-ai-gateways.md)

## 用真实模型验证契约

创建权限受限的 Key，从实时目录选择模型，并运行应用真正依赖的请求形态。

[创建免费 Key](https://keeprouter.com/login?returnTo=%2Fconsole%2Fkeys%3Fmodel%3Dfree) · [实时模型与价格](https://keeprouter.com/models.md)