罗罗编程学习记录
本页内容 展开查看

10.11.4 多供应商路由与降级

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.11 大模型 API 工程

覆盖范围

  • 为什么需要多供应商
  • 路由策略(按能力/成本/延迟)
  • 故障自动切换
  • 降级策略(小模型/缓存/人工)
  • A/B 测试与灰度
  • 多供应商架构设计

高频题速览

编号 题目 难度 频率
10.11.4-001 为什么需要多供应商? 基础 ★★★★
10.11.4-002 路由策略有哪些? 进阶 ★★★
10.11.4-003 故障怎么自动切换? 进阶 ★★★★
10.11.4-004 降级策略怎么设计? 进阶 ★★★
10.11.4-005 怎么做 A/B 测试? 基础 ★★★
10.11.4-006 灰度发布怎么做? 基础 ★★★
10.11.4-007 多供应商架构怎么设计? 高级 ★★★
10.11.4-008 成本路由怎么设计? 进阶 ★★★

10.11.4-001 为什么需要多供应商?

频率 ★★★★ | 难度 基础

一句话结论

多供应商解决三个问题:单点故障(一家挂了切另一家)、成本优化(按任务选最便宜的)、能力互补(不同模型各有所长);是生产级 LLM 应用的标配。

概念解释

  • 高可用:一家 API 挂了,自动切到另一家。
  • 成本优化:简单任务用便宜模型,复杂任务用贵模型。
  • 能力互补:代码任务用 Claude,通用任务用 GPT,中文用 DeepSeek。
  • 避免锁定:不依赖单一供应商,谈判和迁移都灵活。

原理流程

  1. 主供应商:默认用最好的。
  2. 备用供应商:主挂了切备用。
  3. 成本路由:按任务选最便宜够用的。
  4. 能力路由:按任务类型选最强的。

代码 / 示例

多供应商的价值:
  - 高可用: OpenAI 挂了 → 切 Anthropic
  - 成本: 简单任务用 DeepSeek (便宜), 复杂用 GPT-4o
  - 能力: 代码用 Claude, 中文用 Qwen
  - 避免锁定: 不被一家绑死

常见误区

  • 误区:多供应商就是多买几家 API;正解:是要有路由和自动切换的架构,不是简单接多家。
  • 误区:用一家就够了;正解:生产环境必须有多供应商,不然一家挂了业务全停。

追问

  • Q:多供应商增加复杂度吗? A:是的,但通过统一封装层可以把复杂度藏在底层,上层无感。
  • Q:几家供应商合适? A:2~3 家就够,太多管理复杂。

10.11.4-002 路由策略有哪些?

频率 ★★★ | 难度 进阶

一句话结论

路由策略:成本路由(选最便宜够用的)、能力路由(按任务类型选最强的)、延迟路由(选最快的)、健康路由(选可用的);按业务目标组合使用。

概念解释

  • 成本路由:简单任务用小模型,复杂用大模型。
  • 能力路由:代码任务用 Claude,数学用 o1,通用用 GPT。
  • 延迟路由:选响应最快的。
  • 健康路由:选当前可用的(挂了的排除)。

原理流程

  1. 请求进来,分析任务类型。
  2. 按策略选模型。
  3. 检查模型健康状态。
  4. 调用对应模型。

代码 / 示例

路由策略:
  成本路由:
    简单问题 → 小模型 (gpt-4o-mini)
    复杂问题 → 大模型 (gpt-4o)

  能力路由:
    代码任务 → Claude 3.5 Sonnet
    数学推理 → o1
    中文对话 → DeepSeek-V3

  健康路由:
    主模型挂了 → 切备用模型

常见误区

  • 误区:路由就是随机分配;正解:路由是有策略的,按成本、能力、健康状态选。
  • 误区:路由策略越复杂越好;正解:先简单,有数据再优化。

追问

  • Q:怎么知道任务该用哪个模型? A:先用规则(任务类型),再用数据(不同模型的效果对比)。
  • Q:路由怎么评估效果? A:看不同模型的效果和成本,优化路由策略。

10.11.4-003 故障怎么自动切换?

频率 ★★★★ | 难度 进阶

一句话结论

故障自动切换:监控主模型健康状态,失败 N 次自动切到备用模型;切换要快、要无感、要能切回来;核心是熔断机制。

概念解释

  • 健康检查:定期检查模型是否可用。
  • 熔断:失败 N 次后,暂时跳过这个模型,切备用。
  • 恢复:过一段时间探测,主模型恢复了切回来。
  • 无感切换:上层无感知,自动切换。

原理流程

  1. 主模型调用失败,计数器 +1。
  2. 失败次数超阈值,触发熔断,切到备用模型。
  3. 熔断期间,所有请求都走备用。
  4. 过一段时间,探测主模型是否恢复。
  5. 恢复了,切回主模型。

代码 / 示例

# 熔断器示例
class CircuitBreaker:
    def __init__(self, fail_threshold=3, reset_timeout=60):
        self.fail_count = 0
        self.state = "closed"  # closed/open/half-open
        self.reset_timeout = reset_timeout
    
    def call(self, func, fallback):
        if self.state == "open":
            return fallback()
        try:
            result = func()
            self.reset()
            return result
        except Exception:
            self.fail_count += 1
            if self.fail_count >= self.fail_threshold:
                self.state = "open"
            return fallback()

常见误区

  • 误区:失败一次就切换;正解:要失败 N 次才切换,避免偶发抖动。
  • 误区:切换了就切不回来;正解:要自动探测恢复,切回来。

追问

  • Q:怎么判断模型挂了? A:超时、5xx 错误、连续失败 N 次。
  • Q:切换有延迟吗? A:第一次失败后下次就切换,延迟很小。

10.11.4-004 降级策略怎么设计?

频率 ★★★ | 难度 进阶

一句话结论

降级策略:主模型不可用时,降级到小模型、缓存结果、或人工服务;按严重程度分级降级,保证基本可用。

概念解释

  • 一级降级:切到备用模型(同级别)。
  • 二级降级:切到小模型(更便宜更快)。
  • 三级降级:返回缓存结果或 FAQ。
  • 四级降级:提示服务繁忙,稍后重试。

原理流程

  1. 主模型挂了 → 切备用模型。
  2. 备用也挂了 → 切小模型。
  3. 小模型也不行 → 返回缓存。
  4. 都不行 → 降级提示。

代码 / 示例

降级分级:
  L1: 主模型 → 备用模型 (同级别)
  L2: 备用模型 → 小模型 (便宜但效果差)
  L3: 小模型 → 缓存结果 (常见问题)
  L4: 缓存 → "服务繁忙, 请稍后重试"

常见误区

  • 误区:降级就是报错;正解:降级要尽量保持可用,哪怕效果差一点。
  • 误区:降级不用提前设计;正解:降级策略要提前设计,不然故障时手忙脚乱。

追问

  • Q:怎么判断该降级到哪一级? A:根据故障严重程度和业务影响,自动降级。
  • Q:降级用户能感知吗? A:尽量无感,或提示"当前服务繁忙,回复可能较慢"。

10.11.4-005 怎么做 A/B 测试?

频率 ★★★ | 难度 基础

一句话结论

A/B 测试:把用户分成两组,一组用模型 A,一组用模型 B,对比效果和成本;用数据决定用哪个模型,而不是凭感觉。

概念解释

  • 分组:按用户 ID hash 分组,50% 用 A,50% 用 B。
  • 指标:效果(用户满意度、正确率)、成本、延迟。
  • 统计显著性:样本量够大,结果可信。
  • 决策:用数据选更好的模型。

原理流程

  1. 用户按 hash 分组。
  2. A 组用模型 A,B 组用模型 B。
  3. 收集指标:效果、成本、延迟。
  4. 统计分析,选更好的。

代码 / 示例

# 简单 A/B 分组
def get_model(user_id):
    bucket = hash(user_id) % 2
    if bucket == 0:
        return "gpt-4o"
    else:
        return "deepseek-v3"

常见误区

  • 误区:A/B 测试就是随机分配;正解:要按用户分组,同一个用户始终用同一个模型,避免混乱。
  • 误区:跑几天就行;正解:样本量要够,统计显著才可信。

追问

  • Q:怎么衡量效果? A:用户反馈(点赞/点踩)、任务完成率、人工评测。
  • Q:A/B 测试要跑多久? A:看流量,通常 1~2 周,样本量够了就停。

10.11.4-006 灰度发布怎么做?

频率 ★★★ | 难度 基础

一句话结论

灰度发布:新模型先切小流量(5%→20%→50%→100%),观察没问题再逐步放量;降低风险,新模型有问题影响面小。

概念解释

  • 灰度:先小流量试用新模型。
  • 观察:监控效果、错误率、成本。
  • 逐步放量:5% → 20% → 50% → 100%。
  • 回滚:有问题立刻切回旧模型。

原理流程

  1. 新模型先接 5% 流量。
  2. 监控 1~2 天,没问题。
  3. 放到 20%,再观察。
  4. 逐步放到 100%。

代码 / 示例

灰度发布流程:
  1. 5% 流量 → 新模型, 观察 1 天
  2. 20% 流量 → 新模型, 观察 1 天
  3. 50% 流量 → 新模型, 观察 1 天
  4. 100% 流量 → 新模型

  每步都监控:
    - 错误率
    - 用户满意度
    - 成本
    - 延迟

常见误区

  • 误区:新模型直接全量;正解:灰度发布降低风险,新模型可能有未发现的问题。
  • 误区:灰度就是 A/B 测试;正解:灰度是逐步放量,A/B 是对比两组,目的不同。

追问

  • Q:灰度出问题怎么办? A:立刻切回旧模型,回滚很快。
  • Q:灰度要观察什么? A:错误率、用户反馈、成本、延迟,和旧模型对比。

10.11.4-007 多供应商架构怎么设计?

频率 ★★★ | 难度 高级

一句话结论

架构设计:统一封装层(适配不同供应商)+ 路由层(选模型)+ 熔断层(故障切换)+ 监控层(成本和效果);各层解耦,可独立扩展。

概念解释

  • 封装层:统一接口,适配不同供应商。
  • 路由层:按策略选模型。
  • 熔断层:故障检测和切换。
  • 监控层:成本、效果、错误率监控。

原理流程

  1. 请求进来 → 路由层选模型。
  2. 封装层调用对应供应商。
  3. 熔断层检测故障,自动切换。
  4. 监控层记录成本和效果。

代码 / 示例

多供应商架构:
  请求 → 路由层 (选模型)
        → 熔断层 (故障检测)
        → 封装层 (调用供应商 API)
        → 监控层 (记录成本/效果)
  
  各层解耦:
    - 加新供应商: 只改封装层
    - 改路由策略: 只改路由层
    - 监控: 独立

常见误区

  • 误区:架构越复杂越好;正解:先简单,有需要再加层,不要过度设计。
  • 误区:所有逻辑都在一个层;正解:各层解耦,方便维护和扩展。

追问

  • Q:怎么开始设计? A:先统一封装层,能切换模型就行;再加路由和熔断;最后加监控。
  • Q:有现成的多供应商网关吗? A:有,如 LiteLLM、OpenRouter 等,开源的统一网关。

10.11.4-008 成本路由怎么设计?

频率 ★★★ | 难度 进阶

一句话结论

成本路由:按任务复杂度选模型——简单任务用小模型(便宜),复杂任务用大模型(贵);用规则或分类器判断任务复杂度,自动路由。

概念解释

  • 简单任务:FAQ、简单问答、格式化 → 小模型。
  • 复杂任务:推理、代码、长文 → 大模型。
  • 判断方式:规则(关键词、任务类型)或小模型分类。
  • 成本节省:简单任务用小模型,成本降 10 倍。

原理流程

  1. 请求进来,判断任务复杂度。
  2. 简单 → 小模型。
  3. 复杂 → 大模型。
  4. 不确定 → 默认大模型(保守)。

代码 / 示例

# 成本路由
def route(prompt):
    # 规则判断
    if is_simple_question(prompt):  # FAQ, 简单问答
        return "gpt-4o-mini"  # 便宜
    elif needs_reasoning(prompt):  # 推理, 代码
        return "o1"  # 贵但强
    else:
        return "gpt-4o"  # 默认

常见误区

  • 误区:都用大模型效果最好;正解:简单任务用小模型效果一样,成本差 10 倍。
  • 误区:成本路由判断不准;正解:先用规则,再用数据优化,逐步提高准确率。

追问

  • Q:怎么判断任务复杂度? A:先用规则(关键词、任务类型),后面可以用小模型分类。
  • Q:成本路由省多少钱? A:如果 80% 请求是简单的,成本可以降 50%~70%。

待整理清单

  • [ ] LiteLLM 等开源网关
  • [ ] 多供应商的成本对比
  • [ ] 智能路由的机器学习方案
  • [ ] 故障切换的自动化测试
  • [ ] 多供应商的数据合规