关于多模型 API 的直接答案

每个答案先给短结论，再补充约束、实现细节和下一步，让工程团队能够核验并执行这个决策。

这个答案库用于类别定义和实现问题。当前模型与价格仍以实时模型目录为准。

  1. 什么是 AI Gateway？

    AI Gateway 位于应用与一个或多个模型 API 之间，可集中认证、提供兼容请求格式、选择合格线路、计量用量并执行访问或消费边界。它不会让不同模型变得等价，也不能替代应用级评估与错误处理。

  2. 什么是 OpenAI 兼容 API？

    OpenAI 兼容 API 实现 OpenAI 客户端使用的一个或多个 HTTP 路由与响应格式，因此应用通常只需修改 Base URL、API Key 和模型 ID，而不必替换 SDK。兼容性取决于具体操作：支持 Chat Completions 不代表自动支持 Responses、向量、图像、工具或所有参数。

  3. 如何用一个 API 调用多个 LLM？

    把 OpenAI 或 Anthropic 兼容客户端连接到 AI Gateway，用网关 Key 认证，并把 model 设为实时目录中的 canonical ID。端点族和模型 ID 都应可配置，因为专用模态与模型特性可能需要不同路由。

  4. 如何不改应用代码切换 LLM 模型？

    保持 SDK 与网关 Base URL 稳定，把 canonical 模型 ID 放在环境或部署配置中。只要两个模型支持相同路由且评测验证了必要行为，就能在不发布代码的情况下提升或回滚 ID。

  5. LLM API 如何计费？

    LLM API 通常把实测用量乘以公开费率：输入 token、输出 token、缓存输入 token，或图像等按请求单位。总工作负载成本取决于准确模型、提示词大小、生成输出、缓存行为、重试和失败请求计费规则。

  6. Claude Code 可以使用非 Claude 模型吗？

    可以。Claude Code 可指向 Anthropic 兼容网关，并在非 Claude 模型配置了 Messages 兼容路由时选择它。设置网关 Base URL 与 token 后，仍需测试完整编码工作流，因为接受协议不代表工具、推理、视觉或输出行为与 Claude 等价。

  7. 什么是 LLM 路由？

    LLM 路由是一套选择策略，用来决定某个请求由哪个已批准模型和服务线路处理。路由可以固定到模型 ID，也可以按任务规则选择，或在多个合格供应商线路中选路。可靠的路由必须有边界：明确候选范围、重试条件、成本上限，并记录最终选择依据，而不是把请求发给任意可用模型。

  8. AI Gateway 与 API Gateway 有什么区别？

    API Gateway 通过认证、路由、限流、策略和可观测管理通用服务流量。AI Gateway 把类似控制用于模型调用，并增加 canonical 模型 ID、供应商选择、token 用量、流式事件、工具续轮、多模态载荷和 AI 专用故障切换等模型感知能力。有些产品把两层合在一起，另一些团队会把专用 AI Gateway 放在现有 API Gateway 之后。

  9. AI Gateway 会增加延迟吗？

    会。AI Gateway 至少增加一次网络和处理跳转，因此自身开销不可能为零。用户是否能感知，取决于地理位置、连接复用、请求大小、网关处理、供应商首 token 时间、输出长度、重试和流式传输。应使用相同载荷测量完整链路，并把网关开销与供应商生成时间分开报告。

  10. AI Gateway 安全吗？

    AI Gateway 可以通过集中管理供应商凭证、模型白名单、消费控制和请求证据来改善安全性，但它也会成为可能看到提示词、文件、工具参数和输出的敏感中间层。安全性取决于部署架构、身份控制、日志策略、数据保留、加密、租户隔离、上游合同，以及客户自己的提示词与工具设计。

  11. 什么是 LLM API 故障切换？

    LLM API 故障切换是指首次线路失败、超时或不可用后，通过另一条已批准服务线路完成请求的受控尝试。它不是无限重试，也不应悄悄选择未经评估的模型。安全的故障切换会明确合格线路、可重试条件、超时预算、副作用保护，并为每次尝试留下证据。

  12. 如何选择 AI Gateway？

    选择 AI Gateway 时，先决定谁负责供应商账户、凭证、部署、路由策略、计费和故障响应，再测试应用真正需要的端点、模型、流式、工具、错误、用量和数据策略。与其比较很长的功能清单，不如用一组短而真实的证据证明网关适合团队的运行模式与生产载荷。

  13. 什么是 BYOK AI Gateway？

    BYOK AI Gateway 使用客户提供的模型供应商凭证，而不是只使用网关自有额度。网关可以集中处理路由、日志、限额与策略，但供应商账户仍属于客户。BYOK 会改变推理费用由谁结算、供应商合同由谁持有，却不会自动消除网关费用、凭证风险、日志决策或供应商限制，除非产品明确说明。

  14. 什么时候应该使用 AI Gateway？

    当多个服务需要共享模型访问、凭证与消费控制需要集中、团队经常切换或评估模型，或路由与请求证据必须遵循同一策略时，适合使用 AI Gateway。只有一个稳定工作负载、依赖供应商原生能力且没有共享治理要求时，直连供应商通常更简单。

实时模型目录 · 快速开始 · 阅读 Markdown 版本