罗罗编程学习记录
本页内容 展开查看

11.1.1.5 高可用与降级预案

所属:全栈开发面试题库 / 11 跨领域综合场景题 / 11.1 全链路设计 / 11.1.1 全链路设计

11.1.1.5-001 高可用设计要达到什么目标?

一句话结论

高可用目标是组件故障时系统仍能对外提供核心服务,通过冗余、隔离、超时重试熔断限流与降级降低单点影响;可用性用 SLO 度量,设计时明确核心链路可牺牲什么、保什么。

概念解释

  • 冗余:关键组件多副本,故障自动切换。
  • 隔离:故障域隔离,不级联扩散。
  • 降级:非核心功能让位核心链路。

原理流程

  1. 定义核心链路与可用性目标。
  2. 识别单点与故障扩散路径。
  3. 设计冗余、隔离与保护措施。
  4. 监控可用性指标并演练预案。

代码或图示

核心链路优先保 → 冗余副本 + 故障切换
故障隔离 → 超时/重试/熔断/限流
非核心 → 降级关闭
指标:可用性、RT、错误率

常见误区

  • 高可用等于永不停机:目标是故障快速恢复与影响隔离,不是零故障。
  • 只部署多实例不管故障切换:实例挂了流量仍打到死节点。

追问

  • 可用性百分比怎么换算停机时间?答:按周期时长折算,如月度 99.9% 对应约 43.2 分钟不可用(30 天 × 86400 × 0.1%,口径按周期确认)。
  • 高可用成本怎么平衡?答:按业务等级分配冗余资源,非核心链路适当降低目标。

11.1.1.5-002 怎么识别和消除单点?

一句话结论

沿架构链路逐个检查组件是否只有一个实例、一份数据、一个网络入口;单点通过多副本、冗余部署、故障转移与备份恢复消除,数据库/缓存/消息/网关各有冗余方案。

概念解释

  • 计算单点:单实例应用。
  • 数据单点:单库无备份。
  • 入口单点:单网关/单机房。

原理流程

  1. 画架构图标注每个组件实例数。
  2. 标记无冗余与无法切换的环节。
  3. 多副本部署并配健康检查摘除。
  4. 数据备份与恢复演练。

代码或图示

网关:多实例 + 负载均衡
应用:多实例无状态
数据库:主从/集群 + 备份
缓存/MQ:集群副本

常见误区

  • 应用多副本但会话/本地状态不外置:单实例故障丢状态。
  • 有备份从不演练恢复:真故障时备份不可用。

追问

  • 配置中心单点怎么办?答:多副本部署,配置本地兜底快照。
  • 单点排查看什么?答:部署拓扑、实例数量、健康检查、故障转移与备份链路。

11.1.1.5-003 多实例与负载均衡怎么配合?

一句话结论

无状态应用部署多实例,前置负载均衡按策略分发请求;健康检查摘除故障实例,会话状态外置保证任意实例可承接;负载策略按请求特征选择轮询/最少连接/一致性哈希。

概念解释

  • 无状态:实例不保存请求间状态。
  • 负载策略:轮询、最少连接、加权、一致性哈希。
  • 摘除:健康检查失败自动下线。

原理流程

  1. 应用状态外置(会话/缓存/库)。
  2. 部署多实例并注册到负载均衡。
  3. 按策略分发,健康检查摘除异常实例。
  4. 实例扩缩容自动纳入/移除。

代码或图示

请求 → 负载均衡(健康检查 + 策略)
  → 实例 A / 实例 B / 实例 C
状态:会话/缓存/数据库共享,实例可替换

常见误区

  • 实例本地存会话:摘除或重启后用户掉线。
  • 负载均衡无健康检查:流量持续打到故障实例。

追问

  • 一致性哈希用在什么场景?答:需要请求落到固定实例保持本地缓存/会话时,节点变化时迁移量可控。
  • 负载均衡层挂了怎么办?答:多 LB 副本 + VIP/故障转移,避免入口单点。

11.1.1.5-004 故障隔离(舱壁)怎么做?

一句话结论

按下游主题/业务划分线程池与资源池,故障下游只占用自己的隔离池,不耗尽全局资源;不同优先级流量隔离,核心链路资源优先保障,避免一个慢依赖拖垮整个应用。

概念解释

  • 舱壁:资源按故障域分区。
  • 线程池隔离:各下游独立线程池。
  • 优先级隔离:核心流量资源预留。

原理流程

  1. 识别下游依赖与调用路径。
  2. 为关键依赖分配独立线程池/连接池。
  3. 池满拒绝或降级,不扩散到全局。
  4. 监控各池水位与拒绝情况。

代码或图示

线程池 A:库存服务调用
线程池 B:用户服务调用
线程池 C:通知服务调用
下游 B 慢 → 占满池 B → 拒绝 B 调用,A/C 不受影响

常见误区

  • 所有下游共用一个线程池:慢依赖占满线程,全局不可用。
  • 隔离池不设上限:隔离失效,资源仍被打满。

追问

  • 信号量隔离和线程池隔离区别?答:线程池隔离独立线程不阻塞调用方;信号量在调用方线程内限流,轻量但不隔离慢调用。
  • 隔离粒度怎么定?答:按下游重要性与故障影响面,核心依赖单独隔离。

11.1.1.5-005 超时控制怎么设置?

一句话结论

每个远程调用与下游访问都设超时,覆盖连接与读取阶段;超时按下游正常 RT 分位值与业务容忍度设定,逐层设置避免无限等待;超时后走降级或重试,不占用线程空等。

概念解释

  • 连接超时:建立连接时限。
  • 读取超时:等待响应时限。
  • 层级:入口、应用、下游各层分别设限。

原理流程

  1. 采集下游正常 RT 分布。
  2. 按业务容忍度定超时阈值。
  3. 各调用点配置连接/读取超时。
  4. 超时触发降级/重试路径。

代码或图示

调用下游:connectTimeout + readTimeout
超时阈值:参考 P95/P99 RT,结合业务可接受等待
禁忌:无超时无限等待 → 线程堆积

常见误区

  • 超时时间过长:下游慢时线程长时间占用。
  • 只在入口设超时:下游调用仍可能无限阻塞。

追问

  • 超时阈值怎么定合理?答:高于正常 P99 但低于业务可接受等待,压测与监控持续校准。
  • 超时后一定重试吗?答:只读可重试,写操作需判断幂等,避免重复副作用。

11.1.1.5-006 重试策略怎么设计才不放大故障?

一句话结论

重试用于短暂故障与瞬时错误,配合指数退避、抖动、次数上限与熔断;区分可重试错误(超时、5xx)与不可重试错误(参数错误、业务拒绝);重试预算限制总重试量,避免下游故障时被重试压垮。

概念解释

  • 退避:间隔指数增长,加随机抖动。
  • 上限:最大重试次数与总预算。
  • 分类:可重试/不可重试错误。

原理流程

  1. 判断错误是否可重试。
  2. 按退避策略间隔重试,加抖动。
  3. 达到次数上限转降级/告警。
  4. 熔断器打开时停止重试。

代码或图示

失败 → 可重试?
  是:delay = base × 2^n + 随机抖动,最多 N 次
  否:直接降级/报错
熔断打开 → 不再重试,快速失败

常见误区

  • 固定间隔密集重试:故障期间放大流量。
  • 写操作盲目重试:重复扣款/重复下单。

追问

  • 重试和超时怎么配合?答:每次调用独立超时,重试总时长纳入业务超时预算。
  • 重试风暴怎么防?答:重试预算 + 熔断 + 退避,下游恢复后再放开。

11.1.1.5-007 熔断机制怎么工作?

一句话结论

熔断器统计下游失败率/慢调用比例,超阈值打开熔断,一段时间内快速失败不再调用下游;半开状态放行少量探测请求,恢复后关闭;熔断防止持续打故障下游,给其恢复时间。

概念解释

  • 关闭:正常调用下游。
  • 打开:失败率超阈值,快速失败。
  • 半开:探测少量请求判断恢复。

原理流程

  1. 统计错误率与慢调用比例。
  2. 超阈值打开熔断,走降级。
  3. 冷却后进入半开放行探测。
  4. 探测成功关闭,失败继续打开。

代码或图示

关闭 ──失败率超阈值──> 打开(快速失败/降级)
打开 ──冷却时间到──> 半开(探测少量请求)
半开 ──成功──> 关闭;失败 ──> 打开

常见误区

  • 熔断后无降级兜底:直接报错给用户。
  • 熔断阈值不结合业务:误熔断正常下游。

追问

  • 熔断和重试关系?答:熔断打开时停止重试,避免无效调用;熔断是全局保护,重试是单次容错。
  • 熔断状态怎么监控?答:熔断开关状态、打开次数、半开探测结果纳入告警。

11.1.1.5-008 限流策略有哪些算法?

一句话结论

常见限流:固定窗口计数、滑动窗口、漏桶(匀速流出)、令牌桶(允许突发);按流量形态选择:平滑保护用漏桶,允许短时突发用令牌桶;限流维度可按用户、接口、租户、IP。

概念解释

  • 固定窗口:周期计数,临界突刺。
  • 滑动窗口:更平滑的时间统计。
  • 漏桶:请求匀速处理。
  • 令牌桶:存令牌,允许一定突发。

原理流程

  1. 明确限流维度与保护目标。
  2. 选匹配算法:突发用令牌桶,匀速用漏桶。
  3. 超限拒绝/排队,返回限流响应。
  4. 监控限流触发量。

代码或图示

固定窗口:1 分钟计数 ≤ N,窗口边界可能双倍突刺
滑动窗口:滑动统计区间更平滑
漏桶:请求入桶,匀速流出
令牌桶:按速率发令牌,有令牌才放行,允许桶内突发

常见误区

  • 限流只在网关:应用内部热点接口仍可能被打穿。
  • 限流阈值无监控:触发频繁却无人调整。

追问

  • 令牌桶和漏桶区别?答:漏桶强制匀速;令牌桶允许积累令牌应对突发流量。
  • 分布式限流怎么做?答:集中计数(Redis/网关)或分片本地计数汇总,注意一致性与精度取舍。

11.1.1.5-009 降级策略与开关怎么设计?

一句话结论

降级按业务优先级关闭非核心功能(推荐、评论、个性化、部分报表),保核心交易;降级开关配置化、可动态推送,预案预先定义降级项与恢复顺序,降级状态对用户有明确提示。

概念解释

  • 优先级:核心交易 > 辅助功能 > 装饰功能。
  • 开关:配置中心动态切换。
  • 预案:降级项、触发条件、恢复顺序。

原理流程

  1. 梳理功能优先级与依赖关系。
  2. 定义各降级项返回兜底数据。
  3. 开关配置化,故障时一键切换。
  4. 恢复后按顺序逐步开放功能。

代码或图示

核心:下单/支付/库存(保)
降级:推荐流、个性化、评论、非核心报表
开关:feature flag 配置中心动态生效
兜底:静态数据/默认值/稍后提示

常见误区

  • 降级方案上线后才想:应急时无兜底数据与开关。
  • 降级不可观测:不知道哪些功能处于降级状态。

追问

  • 降级和熔断区别?答:熔断是自动保护下游;降级是主动收缩功能范围,可由熔断触发或人工开关。
  • 降级数据从哪来?答:缓存旧值、静态默认、预计算结果,避免实时调用故障下游。

11.1.1.5-010 容灾与备份恢复怎么规划?

一句话结论

数据定期备份(全量 + 增量),关键服务多副本/多机房部署;定义 RTO(恢复时间目标)与 RPO(数据丢失目标),定期演练备份可恢复;容灾级别按业务等级选择,不盲目做多活。

概念解释

  • RTO:故障后可接受恢复时长。
  • RPO:可接受数据丢失窗口。
  • 备份:全量 + 增量 + 留存周期。

原理流程

  1. 按业务定 RTO/RPO 目标。
  2. 配置备份策略与异地副本。
  3. 定期演练恢复流程。
  4. 关键服务冗余部署,故障切换。

代码或图示

备份:全量周期 + 增量日志,异地留存
RTO:多久内恢复服务;RPO:最多丢多久数据
演练:定期从备份恢复验证可用

常见误区

  • 只备份不演练:备份损坏/不可用真故障才发现。
  • 容灾级别一刀切:高成本多活只给核心业务。

追问

  • 主从备份和容灾区别?答:主从是实例级冗余;容灾覆盖机房/地域级故障切换与数据恢复。
  • 备份数据保留多久?答:按合规要求与恢复需求定,定期清理过期备份。

11.1.1.5-011 发布过程怎么保证可用性?

一句话结论

发布走灰度分批、可回滚、新旧版本兼容;数据库变更分步可逆,配置与代码分离;发布前检查监控与回滚预案,核心链路变更避开高峰,异常可快速切回上一版本。

概念解释

  • 灰度:小流量验证再扩大。
  • 兼容:新旧版本并存可读写。
  • 回滚:版本化产物快速切回。

原理流程

  1. 变更评审与风险评估。
  2. 分批灰度发布,观察指标。
  3. 数据库/配置变更分步可逆。
  4. 异常回滚,稳定后全量。

代码或图示

构建版本化产物 → 灰度 1% → 观察错误率/RT
→ 扩大批次 → 全量
异常:回滚上一版本 + 配置回退
DB 变更:加列双写 → 切换 → 清理旧结构

常见误区

  • 一次性全量发布:问题影响全部用户。
  • 数据库变更不可回滚:应用回滚后读新结构报错。

追问

  • 灰度观察哪些指标?答:错误率、P95/P99 RT、业务成功率、资源水位,与旧版本对比。
  • 回滚前提是什么?答:制品版本化、配置可回退、迁移兼容、数据无不可逆破坏。

11.1.1.5-012 下游依赖不可用的预案怎么准备?

一句话结论

逐个关键下游梳理:不可用时的兜底数据、降级路径、超时熔断与重试策略;区分强依赖(不可用则核心受损)与弱依赖(可降级),预案写入文档并演练,避免故障时临时决策。

概念解释

  • 强依赖:核心链路必需。
  • 弱依赖:可延后/可省略。
  • 预案:兜底、超时、熔断、降级、替代路径。

原理流程

  1. 列下游依赖与调用链路。
  2. 标注强弱依赖与失败影响。
  3. 定义兜底数据与降级开关。
  4. 故障演练验证预案有效。

代码或图示

支付/库存:强依赖 → 超时重试 + 熔断 + 备用通道
推荐/评论:弱依赖 → 降级静态数据
预案文档:故障现象 → 处置步骤 → 兜底数据 → 恢复顺序

常见误区

  • 所有下游同等对待:资源与预案分散。
  • 预案无兜底数据:降级时无内容可返回。

追问

  • 强依赖不可用怎么保核心?答:备用通道、本地兜底、人工兜底流程,必要时限流保部分用户。
  • 第三方 SLA 怎么纳入预案?答:按对方可用性与故障历史设超时/熔断阈值,准备替代或降级。

11.1.1.5-013 缓存、消息等中间件怎么做高可用?

一句话结论

缓存用主从/集群副本与哨兵/集群机制,数据可重建不做唯一存储;MQ 多副本分区持久化,消费者集群扩展;中间件故障时应用侧有降级与回源兜底,不把中间件当不可恢复的单点。

概念解释

  • 缓存冗余:主从切换、分片集群。
  • MQ 冗余:副本持久化、多节点。
  • 兜底:缓存可回源重建,消息可补偿重放。

原理流程

  1. 部署中间件集群与副本。
  2. 配置故障转移与持久化。
  3. 应用侧降级与重建路径。
  4. 监控集群状态与数据恢复能力。

代码或图示

Redis:主从 + 哨兵/集群,故障自动切换;缓存丢失 → 回源重建
MQ:多副本分区,持久化;节点故障 → 副本接管
应用兜底:缓存不可用限流回源;消息积压扩容消费

常见误区

  • 缓存当唯一数据源:缓存丢失/故障导致数据不可恢复。
  • MQ 单节点部署:节点宕机消息阻塞丢失。

追问

  • 缓存集群脑裂怎么处理?答:部署与仲裁机制避免双主,具体机制按中间件版本确认。
  • 中间件扩容怎么平滑?答:分片迁移逐步进行,预热新节点,避免数据集中抖动。

11.1.1.5-014 健康检查与实例摘除怎么实现?

一句话结论

负载均衡/注册中心定期健康检查(存活 + 就绪),异常实例自动摘除恢复后重新纳入;健康检查区分进程存活与可接收流量,避免摘除未就绪实例或持续打到故障节点。

概念解释

  • 存活检查:进程是否存活。
  • 就绪检查:是否可处理请求(依赖、加载完成)。
  • 摘除:失败实例从流量列表移除。

原理流程

  1. 配置健康检查路径与间隔。
  2. 失败达阈值摘除实例。
  3. 恢复后通过检查重新注册。
  4. 监控实例上下线事件。

代码或图示

注册中心/LB 定期探测 /health(存活)、/ready(就绪)
失败 N 次 → 摘除;就绪通过 → 重新纳管
实例启动未加载完 → 就绪检查不通过,不接流量

常见误区

  • 只查进程存活不查就绪:实例依赖未就绪仍接流量。
  • 健康检查无间隔阈值:网络抖动频繁摘挂。

追问

  • 健康检查依赖下游吗?答:就绪检查可含关键依赖探测,但避免级联摘除;下游弱故障不应摘除本实例。
  • 实例频繁上下线怎么排查?答:看检查日志、资源水位、依赖超时与检查配置。

11.1.1.5-015 应急预案怎么编写与演练?

一句话结论

预案按故障类型写现象、影响、处置步骤、责任人、兜底数据与恢复顺序;定期演练(故障注入/桌面推演)验证有效性,更新过时预案;演练暴露的问题转为改进项闭环。

概念解释

  • 预案:故障处置手册。
  • 演练:注入故障或推演流程。
  • 闭环:演练问题跟踪改进。

原理流程

  1. 按高频故障类型编写预案。
  2. 明确处置步骤与升级路径。
  3. 定期演练验证可执行性。
  4. 复盘更新预案与系统改进。

代码或图示

预案:现象 → 影响范围 → 止血步骤 → 兜底 → 恢复顺序 → 联系人
演练:模拟下游故障/实例宕机/缓存失效
输出:预案问题 + 改进项 + 责任人

常见误区

  • 预案写一次不更新:系统变更后步骤失效。
  • 演练只走流程不验证兜底数据:真故障无内容可用。

追问

  • 演练多久一次?答:核心链路按季度/版本节奏,预案变更后及时复核。
  • 预案包含哪些角色?答:值班、开发负责人、运维、业务对接人,明确升级路径。

11.1.1.5-016 高可用容量与冗余预留怎么算?

一句话结论

容量按峰值需求预留冗余:单实例故障时剩余实例可承接流量;冗余系数按可用性目标与扩容速度定,结合压测单实例能力推算实例数,预留 CPU/内存水位而非跑满。

概念解释

  • 冗余:容忍 N 个实例故障。
  • 水位:日常资源使用率留余量。
  • 推算:峰值需求 ÷ 单实例能力 × 冗余系数。

原理流程

  1. 估算峰值 QPS/TPS 与资源需求。
  2. 压测单实例能力上限。
  3. 按故障容忍数算实例数与冗余系数。
  4. 设定资源水位告警与扩容阈值。

代码或图示

示例口径(假设值):
峰值 1000 QPS,单实例 200 QPS → 5 实例
容忍 1 台故障 → 6 实例(剩余 5 台承接)
日常 CPU 水位留 30%–50% 余量,不跑满

常见误区

  • 容量按均值不按峰值:突发流量击穿。
  • 实例跑满才扩容:故障无缓冲空间。

追问

  • 冗余系数怎么定?答:核心业务容忍单实例故障多留余量,非核心按成本压缩。
  • 扩容多久生效?答:预留弹性伸缩能力,冷启动时间纳入恢复时间目标。

11.1.1.5-017 可用性监控看哪些指标?

一句话结论

监控覆盖业务成功率、错误率、响应时间分位值、资源水位、依赖健康与熔断限流状态;按 SLO 设告警阈值,区分紧急与警告级,告警可定位到组件与链路,避免噪音淹没真实故障。

概念解释

  • 业务:成功率、交易量、核心转化。
  • 技术:错误率、RT、CPU/内存/连接。
  • 保护:熔断状态、限流触发、积压量。

原理流程

  1. 定义核心 SLI 指标。
  2. 采集业务/技术/保护三类指标。
  3. 按基线与 SLO 设分级告警。
  4. 看板串联链路组件便于定位。

代码或图示

业务:下单成功率 / 支付成功率
技术:错误率 / P95·P99 RT / CPU·内存·连接池
保护:熔断开关 / 限流拒绝 / MQ 积压 / 缓存命中率

常见误区

  • 只监控主机指标:业务失败可能无主机异常。
  • 告警阈值无基线:误报多或漏报。

追问

  • 告警分级怎么分?答:紧急(核心不可用立即响应)、警告(趋势异常关注)、提示(记录观察)。
  • 指标怎么关联链路?答:traceId 串联服务,看板按调用下钻到组件。

11.1.1.5-018 一个典型高可用交易链路怎么组织?

一句话结论

交易链路:多实例无状态应用前置负载均衡,核心依赖(库存/支付)超时重试熔断隔离,缓存承接读流量并可回源重建,消息异步旁路且可补偿对账;灰度发布可回滚,监控核心指标,预案覆盖下游故障与实例宕机。

概念解释

  • 冗余:多实例 + 中间件集群。
  • 保护:超时、重试、熔断、限流、隔离。
  • 兜底:降级数据、回源、补偿对账。

原理流程

  1. 入口负载均衡分发多实例。
  2. 核心依赖调用带超时/熔断/隔离。
  3. 读走缓存,未命中回源。
  4. 旁路动作异步消息,幂等对账兜底。
  5. 灰度发布 + 监控告警 + 预案演练。

代码或图示

用户 → 负载均衡 → 应用多实例
  → 缓存(读)/ 数据库(写,主从)
  → 库存/支付(超时 + 熔断 + 线程池隔离)
  → MQ 旁路:积分/通知/统计(幂等 + 对账)
保护:限流 + 降级开关 + 健康摘除
发布:灰度 + 回滚;监控:成功率/RT/错误率/水位

常见误区

  • 链路全同步串联:故障级联、RT 叠加。
  • 无冗余与兜底:单点故障即交易中断。

追问

  • 链路最容易先出问题的环节?答:按容量估算与历史故障判断,通常是数据库写、慢下游与缓存命中下降。
  • 怎么验证高可用设计?答:压测拐点 + 故障演练(杀实例、断下游、停缓存),观察降级与恢复是否符合预案。