如何评估 AI Gateway：测试方法、费用与完整评分表示例
让两个网关处理相同工作流，先排除必需功能缺失，再用完整评分表比较合格任务、总费用和延迟。
发布 2026-08-15 · 更新 2026-09-29 · KeepRouter Editorial · 4 分钟阅读
评估 AI Gateway 时，让每个候选处理同一个应用工作流、同一组测试案例。先排除破坏必需功能的线路，再比较合格结果、完整任务费用和用户感知延迟。一轮可以复现的小规模试用，比给几十个不会使用的功能打分更有价值。
选两个候选和一个工作流
以流式客服助手为例，必需行为可能是：依据产品资料回答、给出引用、调用订单查询工具，并在用户取消后正常停止。固定样本应包含普通问题、信息不足、工具输入错误和较长对话。使用合成记录或妥善去标识的数据。样本量应服从业务风险；下文的 20 例只是初步筛选，不能作为可靠性 benchmark。
先确定产品类别。OpenRouter 文档提供由调用方配置的供应商路由，LiteLLM 文档说明可自行运营的代理，KeepRouter 则通过公开 API提供托管目录访问。它们能处理相近请求，但客户需要承担的工作不同。先用网关候选指南缩小范围，避免把部署方式不同的产品当成同一项采购。
看答案之前，先写通过条件
| 测试 | 通过条件 | 为什么要测 |
|---|---|---|
| 文本回答 | 必需事实齐全，没有无依据的断言 | 流畅不代表正确 |
| 流式输出 | 出现有用内容，并正常结束 | 连上连接不等于完成回答 |
| 工具往返 | 参数通过校验，匹配的结果被继续使用 | 只生成工具名称还没完成工作 |
| 缺少知识 | 请求补充信息或明确表示无法判断 | 自信的错误可能比重试更昂贵 |
| 取消 | 界面停止，应用不再发起后续工作 | 放弃的任务仍可能产生费用 |
| 失败 | 永久错误停止，可重试错误受任务预算约束 | 多层重试可能放大故障 |
阈值应来自应用要求，不要直接把厂商展示的 p95 数字当成目标。分别记录首次有用输出和任务完成的时间，把重试算进去。候选之间保持端点、模型版本、输出设置与测试输入一致；如果无法一致，就说明比较了什么变化，不能把模型差异归功于网关。
填好的一张评分表
以下数字均为解释决策的假设数据，不是 KeepRouter 或其他服务的实测。两个候选接收相同的 20 个任务，费用合计包含失败和重复尝试。
| 结果 | 候选 A | 候选 B | 对决策的影响 |
|---|---|---|---|
| 合格任务 | 18 / 20 | 16 / 20 | 检查具体差异案例 |
| 推理费用合计 | $0.36 | $0.24 | 单看支出，B 更低 |
| 每个合格任务费用 | $0.020 | $0.015 | 这组小样本中，B 仍便宜 |
| 必需工具案例通过数 | 5 / 5 | 4 / 5 | B 有必需功能失败 |
| 首次有用输出中位数 | 0.9 秒 | 0.7 秒 | 更快不能修复工具失败 |
若工具行为不可缺少，在查清失败前，B 不应承接该工作流的生产流量。若应用可以让工具任务保留在另一条线路，也可以分流，但要明确写下这一决定，不能把失败平均进一个总分。只有 20 个任务时，应报告数量与案例，不应宣称统计显著领先，更不能推导服务可用率。对偶发问题，还需要更长时间和接近真实并发的后续观察。
把请求 benchmark 没覆盖的工作算进去
模型费用只是采用成本的一部分。还要估算型号映射、删除产品专用字段、监控迁移、账单核对和网关运营的时间。自托管代理需要明确谁负责升级、密钥、备份和事故。缺少的功能能否留在应用侧，应看维护负担是否超过网关所减少的工作，而不是一律要求产品替代所有组件。
托管线路则需要检查服务的数据处理说明，以及你实际使用的配置。产品总览列出的能力可能受线路或计划限制。KeepRouter 的安全说明、模型目录和 API 参考分别回答不同问题，不能因为其他网关拥有某项功能，就把 KeepRouter 未记录的能力也记成具备。遇到无法确认的项目，应保留为待验证，而不是用“兼容”二字补齐。
从测试进入一次受控发布
已有 OpenAI 风格配置时，可以先打开 API 迁移检查器。它在本地检查不含凭据的 JSON，不执行推理，也不判断模型回答质量。然后使用权限受限的测试 Key 和较小输出上限运行上述案例，按迁移指南检查端点、流式与错误处理。静态配置通过和真实调用通过，需要分别记录。
保留旧配置，只有必需案例通过、费用对得上，并且演练过回滚后才扩大流量。记录测试日期、配置、未解决失败与选择理由。模型或 SDK 改动后，只重跑受影响的测试集合即可。这样留下的是团队能够重新判断的采用决定，而不是一个看起来精确、实际上无法指导上线的分数。
常见问题
功能对比表可以直接选出 AI Gateway 吗？
它可以用于初筛。最终验收应来自对具体契约、工作负载、数据策略和运维责任的可复现测试。
健康检查能证明生成路由正常吗？
不能。它只证明当时的健康检查界面；模型资格、认证、协议与用量证据仍需有范围的生成测试。
参考的一手资料
本文最近复核 2026-09-29
- [1] Cloudflare AI Gateway documentation
- [2] Portkey AI Gateway documentation
- [3] LiteLLM documentation
- [4] OpenRouter quickstart
- [5] KeepRouter OpenAPI
- [6] OpenRouter documents caller-configurable provider routing
- [7] LiteLLM documents a proxy you can operate