工程答案

什么是 LLM 路由？

LLM 路由是一套选择策略，用来决定某个请求由哪个已批准模型和服务线路处理。路由可以固定到模型 ID，也可以按任务规则选择，或在多个合格供应商线路中选路。可靠的路由必须有边界：明确候选范围、重试条件、成本上限，并记录最终选择依据，而不是把请求发给任意可用模型。

最后复核 2026-08-15 · 编辑复核: KeepRouter Editorial

四类经常被统称为路由的决策

这些决策通常由不同角色负责。产品团队决定可接受的模型行为，平台团队负责线路健康与凭证，财务或产品运营可能负责消费上限。把它们压进一个不透明分数，会让故障难以解释。

先确定应用真正调用的端点，例如 Chat Completions、Responses、Messages、向量或图像生成。只把支持该路由且通过同一套评测的模型放进候选集合，然后明确哪些维度允许自动变化。

一套策略可以允许某个已批准模型使用两条供应商线路，同时禁止系统悄悄切换到更便宜的模型家族。另一套策略可以允许摘要任务使用回退模型，但不允许代码执行任务这样做。模型路由功能页解释 KeepRouter 的公开边界，模型路由与负载均衡则进一步说明运行差异。

记录请求模型、最终模型、端点、请求 ID、状态、token 用量、费用、延迟，以及是否发生重试或回退。如果供应商身份属于合规决策，就应选择能够公开并控制该信息的产品。KeepRouter 向用户暴露公开模型 ID，但上游映射由运营方管理且不公开。

把模型 ID 移入部署配置前，先阅读如何不改代码切换模型。选择网关时，应使用 AI Gateway 评估指南，不要只数功能数量。

除非操作幂等或有稳定 operation key 保护，否则不要对带副作用的 Agent 调用自动重试。不要替换为未经工具与安全测试的模型。不要假设不同供应商托管的同名模型就是完全相同的服务。路由可以减少接入工作，但不能替代模型评测与故障责任。

切换模型只是其中一种路由决策。路由还可能选择供应商、在等价线路间均衡流量，或在批准集合内故障切换。

不应该。生产路由应使用封闭模型集合，并确保这些模型已通过任务所需的端点、工具、质量和成本检查。

不会。策略可以偏向成本，但重试、更长输出、缓存行为和质量失败都可能增加总成本。

当供应商选择影响合规、区域、调试或采购时应该记录。如果网关隐藏该身份，应明确记录这个边界。

只有副作用具备幂等性或有防重复保护，并且所有回退模型通过相同工具和行为测试时才可以。