工程答案

AI Gateway 会增加延迟吗？

会。AI Gateway 至少增加一次网络和处理跳转，因此自身开销不可能为零。用户是否能感知，取决于地理位置、连接复用、请求大小、网关处理、供应商首 token 时间、输出长度、重试和流式传输。应使用相同载荷测量完整链路，并把网关开销与供应商生成时间分开报告。

最后复核 2026-08-15 · 编辑复核: KeepRouter Editorial

延迟包含多只时钟

指标	起点	终点	能说明什么
客户端往返时间	客户端发送前	收到终止响应后	用户可见的总时间
首字节时间	请求发送前	第一个响应字节	网络、准入与上游启动
首 token 时间	请求发送前	第一个可用模型输出	路由、供应商排队与生成启动
流持续时间	第一个 token	终止事件	输出生成与传输
网关处理时间	网关收到请求	发给上游，再从上游响应到发给客户端	可归因于网关的工作

不要把一个产品的内部处理指标与另一个产品的公开往返时间直接比较。它们测量的区间不同。厂商延迟声明也可能使用不同区域、载荷、连接状态和分位数窗口。

从同一客户端区域运行直连与网关链路，固定模型版本、供应商、提示词、输出上限和流式模式。热测试应复用连接；如果应用会频繁新建连接，也要记录冷启动。至少记录 p50、p95 和 p99，并使用足够请求观察排队和限流。

把首次成功与重试请求分开。故障切换可以救回失败调用，但该次请求通常更慢。把这些请求混进一个平均值会隐藏取舍。故障切换答案说明如何限制尝试次数。

认证、额度检查、请求转换、策略判断、日志、缓存查询、供应商选择和响应规范都需要时间。同步写入大型日志或远程策略数据库，可能进入关键路径。流式转换若缓冲过多，也会延迟第一个可用事件。

部分网关能力可能降低总时间。就近入口可以改善连接建立，有效缓存命中可以跳过生成，健康路由也可能绕过退化线路。这些结果依赖工作负载，不能据此把网关开销描述成零。

根据用户交互为首 token 与总完成时间设定可接受增量。代码 Agent、自动补全和后台批处理需要不同预算。部署后仍要监控同一组指标，因为路由选择和上游行为会变化。

把测试脚本、原始时间戳、模型 ID、端点和网关配置与结果一起保存。修改路由、日志或重试策略后重新测试。可观测功能页列出 KeepRouter 能提供的请求证据，评估框架可用于和其他产品比较。

没有通用数字。区域、连接复用、策略处理、日志、载荷大小和上游路由都会影响结果。

两者都要测。首 token 反映响应感，总时间包含输出生成和传输。

它可以绕过退化线路，但失败的首次尝试通常会让获救请求更慢，应单独报告。

不会。流式只改变输出何时可见，路由和处理仍会在流开始前及过程中发生。

有效缓存命中可以，但只适用于策略允许缓存的请求。命中与未命中路径应分开比较。