10.11.4 多供应商路由与降级
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.11 大模型 API 工程
覆盖范围
- 为什么需要多供应商
- 路由策略(按能力/成本/延迟)
- 故障自动切换
- 降级策略(小模型/缓存/人工)
- A/B 测试与灰度
- 多供应商架构设计
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.11.4-001 | 为什么需要多供应商? | 基础 | ★★★★ |
| 10.11.4-002 | 路由策略有哪些? | 进阶 | ★★★ |
| 10.11.4-003 | 故障怎么自动切换? | 进阶 | ★★★★ |
| 10.11.4-004 | 降级策略怎么设计? | 进阶 | ★★★ |
| 10.11.4-005 | 怎么做 A/B 测试? | 基础 | ★★★ |
| 10.11.4-006 | 灰度发布怎么做? | 基础 | ★★★ |
| 10.11.4-007 | 多供应商架构怎么设计? | 高级 | ★★★ |
| 10.11.4-008 | 成本路由怎么设计? | 进阶 | ★★★ |
10.11.4-001 为什么需要多供应商?
频率 ★★★★ | 难度 基础
一句话结论
多供应商解决三个问题:单点故障(一家挂了切另一家)、成本优化(按任务选最便宜的)、能力互补(不同模型各有所长);是生产级 LLM 应用的标配。
概念解释
- 高可用:一家 API 挂了,自动切到另一家。
- 成本优化:简单任务用便宜模型,复杂任务用贵模型。
- 能力互补:代码任务用 Claude,通用任务用 GPT,中文用 DeepSeek。
- 避免锁定:不依赖单一供应商,谈判和迁移都灵活。
原理流程
- 主供应商:默认用最好的。
- 备用供应商:主挂了切备用。
- 成本路由:按任务选最便宜够用的。
- 能力路由:按任务类型选最强的。
代码 / 示例
多供应商的价值:
- 高可用: OpenAI 挂了 → 切 Anthropic
- 成本: 简单任务用 DeepSeek (便宜), 复杂用 GPT-4o
- 能力: 代码用 Claude, 中文用 Qwen
- 避免锁定: 不被一家绑死
常见误区
- 误区:多供应商就是多买几家 API;正解:是要有路由和自动切换的架构,不是简单接多家。
- 误区:用一家就够了;正解:生产环境必须有多供应商,不然一家挂了业务全停。
追问
- Q:多供应商增加复杂度吗? A:是的,但通过统一封装层可以把复杂度藏在底层,上层无感。
- Q:几家供应商合适? A:2~3 家就够,太多管理复杂。
10.11.4-002 路由策略有哪些?
频率 ★★★ | 难度 进阶
一句话结论
路由策略:成本路由(选最便宜够用的)、能力路由(按任务类型选最强的)、延迟路由(选最快的)、健康路由(选可用的);按业务目标组合使用。
概念解释
- 成本路由:简单任务用小模型,复杂用大模型。
- 能力路由:代码任务用 Claude,数学用 o1,通用用 GPT。
- 延迟路由:选响应最快的。
- 健康路由:选当前可用的(挂了的排除)。
原理流程
- 请求进来,分析任务类型。
- 按策略选模型。
- 检查模型健康状态。
- 调用对应模型。
代码 / 示例
路由策略:
成本路由:
简单问题 → 小模型 (gpt-4o-mini)
复杂问题 → 大模型 (gpt-4o)
能力路由:
代码任务 → Claude 3.5 Sonnet
数学推理 → o1
中文对话 → DeepSeek-V3
健康路由:
主模型挂了 → 切备用模型
常见误区
- 误区:路由就是随机分配;正解:路由是有策略的,按成本、能力、健康状态选。
- 误区:路由策略越复杂越好;正解:先简单,有数据再优化。
追问
- Q:怎么知道任务该用哪个模型? A:先用规则(任务类型),再用数据(不同模型的效果对比)。
- Q:路由怎么评估效果? A:看不同模型的效果和成本,优化路由策略。
10.11.4-003 故障怎么自动切换?
频率 ★★★★ | 难度 进阶
一句话结论
故障自动切换:监控主模型健康状态,失败 N 次自动切到备用模型;切换要快、要无感、要能切回来;核心是熔断机制。
概念解释
- 健康检查:定期检查模型是否可用。
- 熔断:失败 N 次后,暂时跳过这个模型,切备用。
- 恢复:过一段时间探测,主模型恢复了切回来。
- 无感切换:上层无感知,自动切换。
原理流程
- 主模型调用失败,计数器 +1。
- 失败次数超阈值,触发熔断,切到备用模型。
- 熔断期间,所有请求都走备用。
- 过一段时间,探测主模型是否恢复。
- 恢复了,切回主模型。
代码 / 示例
# 熔断器示例
class CircuitBreaker:
def __init__(self, fail_threshold=3, reset_timeout=60):
self.fail_count = 0
self.state = "closed" # closed/open/half-open
self.reset_timeout = reset_timeout
def call(self, func, fallback):
if self.state == "open":
return fallback()
try:
result = func()
self.reset()
return result
except Exception:
self.fail_count += 1
if self.fail_count >= self.fail_threshold:
self.state = "open"
return fallback()
常见误区
- 误区:失败一次就切换;正解:要失败 N 次才切换,避免偶发抖动。
- 误区:切换了就切不回来;正解:要自动探测恢复,切回来。
追问
- Q:怎么判断模型挂了? A:超时、5xx 错误、连续失败 N 次。
- Q:切换有延迟吗? A:第一次失败后下次就切换,延迟很小。
10.11.4-004 降级策略怎么设计?
频率 ★★★ | 难度 进阶
一句话结论
降级策略:主模型不可用时,降级到小模型、缓存结果、或人工服务;按严重程度分级降级,保证基本可用。
概念解释
- 一级降级:切到备用模型(同级别)。
- 二级降级:切到小模型(更便宜更快)。
- 三级降级:返回缓存结果或 FAQ。
- 四级降级:提示服务繁忙,稍后重试。
原理流程
- 主模型挂了 → 切备用模型。
- 备用也挂了 → 切小模型。
- 小模型也不行 → 返回缓存。
- 都不行 → 降级提示。
代码 / 示例
降级分级:
L1: 主模型 → 备用模型 (同级别)
L2: 备用模型 → 小模型 (便宜但效果差)
L3: 小模型 → 缓存结果 (常见问题)
L4: 缓存 → "服务繁忙, 请稍后重试"
常见误区
- 误区:降级就是报错;正解:降级要尽量保持可用,哪怕效果差一点。
- 误区:降级不用提前设计;正解:降级策略要提前设计,不然故障时手忙脚乱。
追问
- Q:怎么判断该降级到哪一级? A:根据故障严重程度和业务影响,自动降级。
- Q:降级用户能感知吗? A:尽量无感,或提示"当前服务繁忙,回复可能较慢"。
10.11.4-005 怎么做 A/B 测试?
频率 ★★★ | 难度 基础
一句话结论
A/B 测试:把用户分成两组,一组用模型 A,一组用模型 B,对比效果和成本;用数据决定用哪个模型,而不是凭感觉。
概念解释
- 分组:按用户 ID hash 分组,50% 用 A,50% 用 B。
- 指标:效果(用户满意度、正确率)、成本、延迟。
- 统计显著性:样本量够大,结果可信。
- 决策:用数据选更好的模型。
原理流程
- 用户按 hash 分组。
- A 组用模型 A,B 组用模型 B。
- 收集指标:效果、成本、延迟。
- 统计分析,选更好的。
代码 / 示例
# 简单 A/B 分组
def get_model(user_id):
bucket = hash(user_id) % 2
if bucket == 0:
return "gpt-4o"
else:
return "deepseek-v3"
常见误区
- 误区:A/B 测试就是随机分配;正解:要按用户分组,同一个用户始终用同一个模型,避免混乱。
- 误区:跑几天就行;正解:样本量要够,统计显著才可信。
追问
- Q:怎么衡量效果? A:用户反馈(点赞/点踩)、任务完成率、人工评测。
- Q:A/B 测试要跑多久? A:看流量,通常 1~2 周,样本量够了就停。
10.11.4-006 灰度发布怎么做?
频率 ★★★ | 难度 基础
一句话结论
灰度发布:新模型先切小流量(5%→20%→50%→100%),观察没问题再逐步放量;降低风险,新模型有问题影响面小。
概念解释
- 灰度:先小流量试用新模型。
- 观察:监控效果、错误率、成本。
- 逐步放量:5% → 20% → 50% → 100%。
- 回滚:有问题立刻切回旧模型。
原理流程
- 新模型先接 5% 流量。
- 监控 1~2 天,没问题。
- 放到 20%,再观察。
- 逐步放到 100%。
代码 / 示例
灰度发布流程:
1. 5% 流量 → 新模型, 观察 1 天
2. 20% 流量 → 新模型, 观察 1 天
3. 50% 流量 → 新模型, 观察 1 天
4. 100% 流量 → 新模型
每步都监控:
- 错误率
- 用户满意度
- 成本
- 延迟
常见误区
- 误区:新模型直接全量;正解:灰度发布降低风险,新模型可能有未发现的问题。
- 误区:灰度就是 A/B 测试;正解:灰度是逐步放量,A/B 是对比两组,目的不同。
追问
- Q:灰度出问题怎么办? A:立刻切回旧模型,回滚很快。
- Q:灰度要观察什么? A:错误率、用户反馈、成本、延迟,和旧模型对比。
10.11.4-007 多供应商架构怎么设计?
频率 ★★★ | 难度 高级
一句话结论
架构设计:统一封装层(适配不同供应商)+ 路由层(选模型)+ 熔断层(故障切换)+ 监控层(成本和效果);各层解耦,可独立扩展。
概念解释
- 封装层:统一接口,适配不同供应商。
- 路由层:按策略选模型。
- 熔断层:故障检测和切换。
- 监控层:成本、效果、错误率监控。
原理流程
- 请求进来 → 路由层选模型。
- 封装层调用对应供应商。
- 熔断层检测故障,自动切换。
- 监控层记录成本和效果。
代码 / 示例
多供应商架构:
请求 → 路由层 (选模型)
→ 熔断层 (故障检测)
→ 封装层 (调用供应商 API)
→ 监控层 (记录成本/效果)
各层解耦:
- 加新供应商: 只改封装层
- 改路由策略: 只改路由层
- 监控: 独立
常见误区
- 误区:架构越复杂越好;正解:先简单,有需要再加层,不要过度设计。
- 误区:所有逻辑都在一个层;正解:各层解耦,方便维护和扩展。
追问
- Q:怎么开始设计? A:先统一封装层,能切换模型就行;再加路由和熔断;最后加监控。
- Q:有现成的多供应商网关吗? A:有,如 LiteLLM、OpenRouter 等,开源的统一网关。
10.11.4-008 成本路由怎么设计?
频率 ★★★ | 难度 进阶
一句话结论
成本路由:按任务复杂度选模型——简单任务用小模型(便宜),复杂任务用大模型(贵);用规则或分类器判断任务复杂度,自动路由。
概念解释
- 简单任务:FAQ、简单问答、格式化 → 小模型。
- 复杂任务:推理、代码、长文 → 大模型。
- 判断方式:规则(关键词、任务类型)或小模型分类。
- 成本节省:简单任务用小模型,成本降 10 倍。
原理流程
- 请求进来,判断任务复杂度。
- 简单 → 小模型。
- 复杂 → 大模型。
- 不确定 → 默认大模型(保守)。
代码 / 示例
# 成本路由
def route(prompt):
# 规则判断
if is_simple_question(prompt): # FAQ, 简单问答
return "gpt-4o-mini" # 便宜
elif needs_reasoning(prompt): # 推理, 代码
return "o1" # 贵但强
else:
return "gpt-4o" # 默认
常见误区
- 误区:都用大模型效果最好;正解:简单任务用小模型效果一样,成本差 10 倍。
- 误区:成本路由判断不准;正解:先用规则,再用数据优化,逐步提高准确率。
追问
- Q:怎么判断任务复杂度? A:先用规则(关键词、任务类型),后面可以用小模型分类。
- Q:成本路由省多少钱? A:如果 80% 请求是简单的,成本可以降 50%~70%。
待整理清单
- [ ] LiteLLM 等开源网关
- [ ] 多供应商的成本对比
- [ ] 智能路由的机器学习方案
- [ ] 故障切换的自动化测试
- [ ] 多供应商的数据合规