工程答案

如何选择 AI Gateway？

选择 AI Gateway 时，先决定谁负责供应商账户、凭证、部署、路由策略、计费和故障响应，再测试应用真正需要的端点、模型、流式、工具、错误、用量和数据策略。与其比较很长的功能清单，不如用一组短而真实的证据证明网关适合团队的运行模式与生产载荷。

最后复核 2026-08-15 · 编辑复核: KeepRouter Editorial

先选择运行模式

运行模式	购买或运行的对象	常见选择理由
托管模型访问	一个网关账户、目录与计费关系	快速接入，减少供应商账户
BYOK 控制面	围绕自有供应商凭证的网关策略	保留供应商合同并集中控制
自托管代理	软件、基础设施、密钥与数据存储	掌握基础设施并实现自定义策略
云 AI 平台	模型、身份、Agent、评估与云服务	复用现有云治理与平台深度
供应商直连	一个供应商合同和原生 API	独有能力或最短调用路径

这些产品有重叠，但不能互换。KeepRouter 属于带公开目录和预付计费的托管模型访问；LiteLLM 常用于自托管；Kong 扩展现有 API 平台；Amazon Bedrock、Gemini Enterprise Agent Platform 与 Microsoft Foundry 则覆盖更大的云平台范围。

写出不可妥协的要求

列出端点族、模型能力、区域或保留规则、认证方式、Key 权限、流式语义、工具行为、输出上限、消费控制、支持要求和部署限制，并标记为必须、偏好或无关。这样可以避免一个演示功能掩盖缺失的生产契约。

先用 AI Gateway 适配短名单选择运行模式，再进入具体产品对比，不要把短名单当成总排名。

用一条代表性链路完成端到端测试

创建权限和预算最窄的 Key。
发送真实非流式载荷，记录身份、模型、线路、用量与费用。
测试流式直到终止事件。
如果生产需要，测试工具、结构化输出或多模态输入。
触发无效认证、不支持模型、限流、超时和上游失败。
检查日志，并确认哪些敏感字段会被保留。
使用同一验收标准与旧链路比较。
扩大流量前证明回滚。

Gateway 评估文章提供更完整证据矩阵。对于兼容客户端，应使用 OpenAI 迁移清单，不要把修改 Base URL 当成功能对等证明。

计算总拥有成本，而不仅是 token 价格

应纳入额度或平台费用、供应商费用、缓存行为、失败尝试、日志套餐、出口流量、基础设施、值班工作和维护供应商集成的成本。托管服务的单位价格可能更高，但人力成本更低；自托管代理可以没有软件费，却仍需要实际运维。

明确拒绝理由

好的决策记录不仅说明为什么选择某个网关，也要写清什么要求出现时应改选其他方案。模型、价格、路由或团队约束变化后，这份记录仍然有用。产品条款与能力变化很快，采购时应重新核验官方来源。

常见问题

首先应该比较什么？

先比较运行责任：供应商账户、凭证、部署、路由、计费、日志与故障响应。

应该测试多少个网关？

测试少量真正可运行的不同模式即可。没有区分的大规模试用只会浪费时间。

模型数量是有用指标吗？

只有先按端点、区域、能力和商业条款筛选后才有用，原始数量通常不能直接支持决策。

应该选择最便宜的网关吗？

应选择满足契约后的最低总成本，并纳入人力、失败、费用、基础设施与迁移工作。

多久重新评估一次？

当所需模型、路由、价格、数据策略、团队约束或故障模式变化时重新评估。