11.1.1.5 高可用与降级预案
所属:全栈开发面试题库 / 11 跨领域综合场景题 / 11.1 全链路设计 / 11.1.1 全链路设计
11.1.1.5-001 高可用设计要达到什么目标?
一句话结论
高可用目标是组件故障时系统仍能对外提供核心服务,通过冗余、隔离、超时重试熔断限流与降级降低单点影响;可用性用 SLO 度量,设计时明确核心链路可牺牲什么、保什么。
概念解释
- 冗余:关键组件多副本,故障自动切换。
- 隔离:故障域隔离,不级联扩散。
- 降级:非核心功能让位核心链路。
原理流程
- 定义核心链路与可用性目标。
- 识别单点与故障扩散路径。
- 设计冗余、隔离与保护措施。
- 监控可用性指标并演练预案。
代码或图示
核心链路优先保 → 冗余副本 + 故障切换
故障隔离 → 超时/重试/熔断/限流
非核心 → 降级关闭
指标:可用性、RT、错误率
常见误区
- 高可用等于永不停机:目标是故障快速恢复与影响隔离,不是零故障。
- 只部署多实例不管故障切换:实例挂了流量仍打到死节点。
追问
- 可用性百分比怎么换算停机时间?答:按周期时长折算,如月度 99.9% 对应约 43.2 分钟不可用(30 天 × 86400 × 0.1%,口径按周期确认)。
- 高可用成本怎么平衡?答:按业务等级分配冗余资源,非核心链路适当降低目标。
11.1.1.5-002 怎么识别和消除单点?
一句话结论
沿架构链路逐个检查组件是否只有一个实例、一份数据、一个网络入口;单点通过多副本、冗余部署、故障转移与备份恢复消除,数据库/缓存/消息/网关各有冗余方案。
概念解释
- 计算单点:单实例应用。
- 数据单点:单库无备份。
- 入口单点:单网关/单机房。
原理流程
- 画架构图标注每个组件实例数。
- 标记无冗余与无法切换的环节。
- 多副本部署并配健康检查摘除。
- 数据备份与恢复演练。
代码或图示
网关:多实例 + 负载均衡
应用:多实例无状态
数据库:主从/集群 + 备份
缓存/MQ:集群副本
常见误区
- 应用多副本但会话/本地状态不外置:单实例故障丢状态。
- 有备份从不演练恢复:真故障时备份不可用。
追问
- 配置中心单点怎么办?答:多副本部署,配置本地兜底快照。
- 单点排查看什么?答:部署拓扑、实例数量、健康检查、故障转移与备份链路。
11.1.1.5-003 多实例与负载均衡怎么配合?
一句话结论
无状态应用部署多实例,前置负载均衡按策略分发请求;健康检查摘除故障实例,会话状态外置保证任意实例可承接;负载策略按请求特征选择轮询/最少连接/一致性哈希。
概念解释
- 无状态:实例不保存请求间状态。
- 负载策略:轮询、最少连接、加权、一致性哈希。
- 摘除:健康检查失败自动下线。
原理流程
- 应用状态外置(会话/缓存/库)。
- 部署多实例并注册到负载均衡。
- 按策略分发,健康检查摘除异常实例。
- 实例扩缩容自动纳入/移除。
代码或图示
请求 → 负载均衡(健康检查 + 策略)
→ 实例 A / 实例 B / 实例 C
状态:会话/缓存/数据库共享,实例可替换
常见误区
- 实例本地存会话:摘除或重启后用户掉线。
- 负载均衡无健康检查:流量持续打到故障实例。
追问
- 一致性哈希用在什么场景?答:需要请求落到固定实例保持本地缓存/会话时,节点变化时迁移量可控。
- 负载均衡层挂了怎么办?答:多 LB 副本 + VIP/故障转移,避免入口单点。
11.1.1.5-004 故障隔离(舱壁)怎么做?
一句话结论
按下游主题/业务划分线程池与资源池,故障下游只占用自己的隔离池,不耗尽全局资源;不同优先级流量隔离,核心链路资源优先保障,避免一个慢依赖拖垮整个应用。
概念解释
- 舱壁:资源按故障域分区。
- 线程池隔离:各下游独立线程池。
- 优先级隔离:核心流量资源预留。
原理流程
- 识别下游依赖与调用路径。
- 为关键依赖分配独立线程池/连接池。
- 池满拒绝或降级,不扩散到全局。
- 监控各池水位与拒绝情况。
代码或图示
线程池 A:库存服务调用
线程池 B:用户服务调用
线程池 C:通知服务调用
下游 B 慢 → 占满池 B → 拒绝 B 调用,A/C 不受影响
常见误区
- 所有下游共用一个线程池:慢依赖占满线程,全局不可用。
- 隔离池不设上限:隔离失效,资源仍被打满。
追问
- 信号量隔离和线程池隔离区别?答:线程池隔离独立线程不阻塞调用方;信号量在调用方线程内限流,轻量但不隔离慢调用。
- 隔离粒度怎么定?答:按下游重要性与故障影响面,核心依赖单独隔离。
11.1.1.5-005 超时控制怎么设置?
一句话结论
每个远程调用与下游访问都设超时,覆盖连接与读取阶段;超时按下游正常 RT 分位值与业务容忍度设定,逐层设置避免无限等待;超时后走降级或重试,不占用线程空等。
概念解释
- 连接超时:建立连接时限。
- 读取超时:等待响应时限。
- 层级:入口、应用、下游各层分别设限。
原理流程
- 采集下游正常 RT 分布。
- 按业务容忍度定超时阈值。
- 各调用点配置连接/读取超时。
- 超时触发降级/重试路径。
代码或图示
调用下游:connectTimeout + readTimeout
超时阈值:参考 P95/P99 RT,结合业务可接受等待
禁忌:无超时无限等待 → 线程堆积
常见误区
- 超时时间过长:下游慢时线程长时间占用。
- 只在入口设超时:下游调用仍可能无限阻塞。
追问
- 超时阈值怎么定合理?答:高于正常 P99 但低于业务可接受等待,压测与监控持续校准。
- 超时后一定重试吗?答:只读可重试,写操作需判断幂等,避免重复副作用。
11.1.1.5-006 重试策略怎么设计才不放大故障?
一句话结论
重试用于短暂故障与瞬时错误,配合指数退避、抖动、次数上限与熔断;区分可重试错误(超时、5xx)与不可重试错误(参数错误、业务拒绝);重试预算限制总重试量,避免下游故障时被重试压垮。
概念解释
- 退避:间隔指数增长,加随机抖动。
- 上限:最大重试次数与总预算。
- 分类:可重试/不可重试错误。
原理流程
- 判断错误是否可重试。
- 按退避策略间隔重试,加抖动。
- 达到次数上限转降级/告警。
- 熔断器打开时停止重试。
代码或图示
失败 → 可重试?
是:delay = base × 2^n + 随机抖动,最多 N 次
否:直接降级/报错
熔断打开 → 不再重试,快速失败
常见误区
- 固定间隔密集重试:故障期间放大流量。
- 写操作盲目重试:重复扣款/重复下单。
追问
- 重试和超时怎么配合?答:每次调用独立超时,重试总时长纳入业务超时预算。
- 重试风暴怎么防?答:重试预算 + 熔断 + 退避,下游恢复后再放开。
11.1.1.5-007 熔断机制怎么工作?
一句话结论
熔断器统计下游失败率/慢调用比例,超阈值打开熔断,一段时间内快速失败不再调用下游;半开状态放行少量探测请求,恢复后关闭;熔断防止持续打故障下游,给其恢复时间。
概念解释
- 关闭:正常调用下游。
- 打开:失败率超阈值,快速失败。
- 半开:探测少量请求判断恢复。
原理流程
- 统计错误率与慢调用比例。
- 超阈值打开熔断,走降级。
- 冷却后进入半开放行探测。
- 探测成功关闭,失败继续打开。
代码或图示
关闭 ──失败率超阈值──> 打开(快速失败/降级)
打开 ──冷却时间到──> 半开(探测少量请求)
半开 ──成功──> 关闭;失败 ──> 打开
常见误区
- 熔断后无降级兜底:直接报错给用户。
- 熔断阈值不结合业务:误熔断正常下游。
追问
- 熔断和重试关系?答:熔断打开时停止重试,避免无效调用;熔断是全局保护,重试是单次容错。
- 熔断状态怎么监控?答:熔断开关状态、打开次数、半开探测结果纳入告警。
11.1.1.5-008 限流策略有哪些算法?
一句话结论
常见限流:固定窗口计数、滑动窗口、漏桶(匀速流出)、令牌桶(允许突发);按流量形态选择:平滑保护用漏桶,允许短时突发用令牌桶;限流维度可按用户、接口、租户、IP。
概念解释
- 固定窗口:周期计数,临界突刺。
- 滑动窗口:更平滑的时间统计。
- 漏桶:请求匀速处理。
- 令牌桶:存令牌,允许一定突发。
原理流程
- 明确限流维度与保护目标。
- 选匹配算法:突发用令牌桶,匀速用漏桶。
- 超限拒绝/排队,返回限流响应。
- 监控限流触发量。
代码或图示
固定窗口:1 分钟计数 ≤ N,窗口边界可能双倍突刺
滑动窗口:滑动统计区间更平滑
漏桶:请求入桶,匀速流出
令牌桶:按速率发令牌,有令牌才放行,允许桶内突发
常见误区
- 限流只在网关:应用内部热点接口仍可能被打穿。
- 限流阈值无监控:触发频繁却无人调整。
追问
- 令牌桶和漏桶区别?答:漏桶强制匀速;令牌桶允许积累令牌应对突发流量。
- 分布式限流怎么做?答:集中计数(Redis/网关)或分片本地计数汇总,注意一致性与精度取舍。
11.1.1.5-009 降级策略与开关怎么设计?
一句话结论
降级按业务优先级关闭非核心功能(推荐、评论、个性化、部分报表),保核心交易;降级开关配置化、可动态推送,预案预先定义降级项与恢复顺序,降级状态对用户有明确提示。
概念解释
- 优先级:核心交易 > 辅助功能 > 装饰功能。
- 开关:配置中心动态切换。
- 预案:降级项、触发条件、恢复顺序。
原理流程
- 梳理功能优先级与依赖关系。
- 定义各降级项返回兜底数据。
- 开关配置化,故障时一键切换。
- 恢复后按顺序逐步开放功能。
代码或图示
核心:下单/支付/库存(保)
降级:推荐流、个性化、评论、非核心报表
开关:feature flag 配置中心动态生效
兜底:静态数据/默认值/稍后提示
常见误区
- 降级方案上线后才想:应急时无兜底数据与开关。
- 降级不可观测:不知道哪些功能处于降级状态。
追问
- 降级和熔断区别?答:熔断是自动保护下游;降级是主动收缩功能范围,可由熔断触发或人工开关。
- 降级数据从哪来?答:缓存旧值、静态默认、预计算结果,避免实时调用故障下游。
11.1.1.5-010 容灾与备份恢复怎么规划?
一句话结论
数据定期备份(全量 + 增量),关键服务多副本/多机房部署;定义 RTO(恢复时间目标)与 RPO(数据丢失目标),定期演练备份可恢复;容灾级别按业务等级选择,不盲目做多活。
概念解释
- RTO:故障后可接受恢复时长。
- RPO:可接受数据丢失窗口。
- 备份:全量 + 增量 + 留存周期。
原理流程
- 按业务定 RTO/RPO 目标。
- 配置备份策略与异地副本。
- 定期演练恢复流程。
- 关键服务冗余部署,故障切换。
代码或图示
备份:全量周期 + 增量日志,异地留存
RTO:多久内恢复服务;RPO:最多丢多久数据
演练:定期从备份恢复验证可用
常见误区
- 只备份不演练:备份损坏/不可用真故障才发现。
- 容灾级别一刀切:高成本多活只给核心业务。
追问
- 主从备份和容灾区别?答:主从是实例级冗余;容灾覆盖机房/地域级故障切换与数据恢复。
- 备份数据保留多久?答:按合规要求与恢复需求定,定期清理过期备份。
11.1.1.5-011 发布过程怎么保证可用性?
一句话结论
发布走灰度分批、可回滚、新旧版本兼容;数据库变更分步可逆,配置与代码分离;发布前检查监控与回滚预案,核心链路变更避开高峰,异常可快速切回上一版本。
概念解释
- 灰度:小流量验证再扩大。
- 兼容:新旧版本并存可读写。
- 回滚:版本化产物快速切回。
原理流程
- 变更评审与风险评估。
- 分批灰度发布,观察指标。
- 数据库/配置变更分步可逆。
- 异常回滚,稳定后全量。
代码或图示
构建版本化产物 → 灰度 1% → 观察错误率/RT
→ 扩大批次 → 全量
异常:回滚上一版本 + 配置回退
DB 变更:加列双写 → 切换 → 清理旧结构
常见误区
- 一次性全量发布:问题影响全部用户。
- 数据库变更不可回滚:应用回滚后读新结构报错。
追问
- 灰度观察哪些指标?答:错误率、P95/P99 RT、业务成功率、资源水位,与旧版本对比。
- 回滚前提是什么?答:制品版本化、配置可回退、迁移兼容、数据无不可逆破坏。
11.1.1.5-012 下游依赖不可用的预案怎么准备?
一句话结论
逐个关键下游梳理:不可用时的兜底数据、降级路径、超时熔断与重试策略;区分强依赖(不可用则核心受损)与弱依赖(可降级),预案写入文档并演练,避免故障时临时决策。
概念解释
- 强依赖:核心链路必需。
- 弱依赖:可延后/可省略。
- 预案:兜底、超时、熔断、降级、替代路径。
原理流程
- 列下游依赖与调用链路。
- 标注强弱依赖与失败影响。
- 定义兜底数据与降级开关。
- 故障演练验证预案有效。
代码或图示
支付/库存:强依赖 → 超时重试 + 熔断 + 备用通道
推荐/评论:弱依赖 → 降级静态数据
预案文档:故障现象 → 处置步骤 → 兜底数据 → 恢复顺序
常见误区
- 所有下游同等对待:资源与预案分散。
- 预案无兜底数据:降级时无内容可返回。
追问
- 强依赖不可用怎么保核心?答:备用通道、本地兜底、人工兜底流程,必要时限流保部分用户。
- 第三方 SLA 怎么纳入预案?答:按对方可用性与故障历史设超时/熔断阈值,准备替代或降级。
11.1.1.5-013 缓存、消息等中间件怎么做高可用?
一句话结论
缓存用主从/集群副本与哨兵/集群机制,数据可重建不做唯一存储;MQ 多副本分区持久化,消费者集群扩展;中间件故障时应用侧有降级与回源兜底,不把中间件当不可恢复的单点。
概念解释
- 缓存冗余:主从切换、分片集群。
- MQ 冗余:副本持久化、多节点。
- 兜底:缓存可回源重建,消息可补偿重放。
原理流程
- 部署中间件集群与副本。
- 配置故障转移与持久化。
- 应用侧降级与重建路径。
- 监控集群状态与数据恢复能力。
代码或图示
Redis:主从 + 哨兵/集群,故障自动切换;缓存丢失 → 回源重建
MQ:多副本分区,持久化;节点故障 → 副本接管
应用兜底:缓存不可用限流回源;消息积压扩容消费
常见误区
- 缓存当唯一数据源:缓存丢失/故障导致数据不可恢复。
- MQ 单节点部署:节点宕机消息阻塞丢失。
追问
- 缓存集群脑裂怎么处理?答:部署与仲裁机制避免双主,具体机制按中间件版本确认。
- 中间件扩容怎么平滑?答:分片迁移逐步进行,预热新节点,避免数据集中抖动。
11.1.1.5-014 健康检查与实例摘除怎么实现?
一句话结论
负载均衡/注册中心定期健康检查(存活 + 就绪),异常实例自动摘除恢复后重新纳入;健康检查区分进程存活与可接收流量,避免摘除未就绪实例或持续打到故障节点。
概念解释
- 存活检查:进程是否存活。
- 就绪检查:是否可处理请求(依赖、加载完成)。
- 摘除:失败实例从流量列表移除。
原理流程
- 配置健康检查路径与间隔。
- 失败达阈值摘除实例。
- 恢复后通过检查重新注册。
- 监控实例上下线事件。
代码或图示
注册中心/LB 定期探测 /health(存活)、/ready(就绪)
失败 N 次 → 摘除;就绪通过 → 重新纳管
实例启动未加载完 → 就绪检查不通过,不接流量
常见误区
- 只查进程存活不查就绪:实例依赖未就绪仍接流量。
- 健康检查无间隔阈值:网络抖动频繁摘挂。
追问
- 健康检查依赖下游吗?答:就绪检查可含关键依赖探测,但避免级联摘除;下游弱故障不应摘除本实例。
- 实例频繁上下线怎么排查?答:看检查日志、资源水位、依赖超时与检查配置。
11.1.1.5-015 应急预案怎么编写与演练?
一句话结论
预案按故障类型写现象、影响、处置步骤、责任人、兜底数据与恢复顺序;定期演练(故障注入/桌面推演)验证有效性,更新过时预案;演练暴露的问题转为改进项闭环。
概念解释
- 预案:故障处置手册。
- 演练:注入故障或推演流程。
- 闭环:演练问题跟踪改进。
原理流程
- 按高频故障类型编写预案。
- 明确处置步骤与升级路径。
- 定期演练验证可执行性。
- 复盘更新预案与系统改进。
代码或图示
预案:现象 → 影响范围 → 止血步骤 → 兜底 → 恢复顺序 → 联系人
演练:模拟下游故障/实例宕机/缓存失效
输出:预案问题 + 改进项 + 责任人
常见误区
- 预案写一次不更新:系统变更后步骤失效。
- 演练只走流程不验证兜底数据:真故障无内容可用。
追问
- 演练多久一次?答:核心链路按季度/版本节奏,预案变更后及时复核。
- 预案包含哪些角色?答:值班、开发负责人、运维、业务对接人,明确升级路径。
11.1.1.5-016 高可用容量与冗余预留怎么算?
一句话结论
容量按峰值需求预留冗余:单实例故障时剩余实例可承接流量;冗余系数按可用性目标与扩容速度定,结合压测单实例能力推算实例数,预留 CPU/内存水位而非跑满。
概念解释
- 冗余:容忍 N 个实例故障。
- 水位:日常资源使用率留余量。
- 推算:峰值需求 ÷ 单实例能力 × 冗余系数。
原理流程
- 估算峰值 QPS/TPS 与资源需求。
- 压测单实例能力上限。
- 按故障容忍数算实例数与冗余系数。
- 设定资源水位告警与扩容阈值。
代码或图示
示例口径(假设值):
峰值 1000 QPS,单实例 200 QPS → 5 实例
容忍 1 台故障 → 6 实例(剩余 5 台承接)
日常 CPU 水位留 30%–50% 余量,不跑满
常见误区
- 容量按均值不按峰值:突发流量击穿。
- 实例跑满才扩容:故障无缓冲空间。
追问
- 冗余系数怎么定?答:核心业务容忍单实例故障多留余量,非核心按成本压缩。
- 扩容多久生效?答:预留弹性伸缩能力,冷启动时间纳入恢复时间目标。
11.1.1.5-017 可用性监控看哪些指标?
一句话结论
监控覆盖业务成功率、错误率、响应时间分位值、资源水位、依赖健康与熔断限流状态;按 SLO 设告警阈值,区分紧急与警告级,告警可定位到组件与链路,避免噪音淹没真实故障。
概念解释
- 业务:成功率、交易量、核心转化。
- 技术:错误率、RT、CPU/内存/连接。
- 保护:熔断状态、限流触发、积压量。
原理流程
- 定义核心 SLI 指标。
- 采集业务/技术/保护三类指标。
- 按基线与 SLO 设分级告警。
- 看板串联链路组件便于定位。
代码或图示
业务:下单成功率 / 支付成功率
技术:错误率 / P95·P99 RT / CPU·内存·连接池
保护:熔断开关 / 限流拒绝 / MQ 积压 / 缓存命中率
常见误区
- 只监控主机指标:业务失败可能无主机异常。
- 告警阈值无基线:误报多或漏报。
追问
- 告警分级怎么分?答:紧急(核心不可用立即响应)、警告(趋势异常关注)、提示(记录观察)。
- 指标怎么关联链路?答:traceId 串联服务,看板按调用下钻到组件。
11.1.1.5-018 一个典型高可用交易链路怎么组织?
一句话结论
交易链路:多实例无状态应用前置负载均衡,核心依赖(库存/支付)超时重试熔断隔离,缓存承接读流量并可回源重建,消息异步旁路且可补偿对账;灰度发布可回滚,监控核心指标,预案覆盖下游故障与实例宕机。
概念解释
- 冗余:多实例 + 中间件集群。
- 保护:超时、重试、熔断、限流、隔离。
- 兜底:降级数据、回源、补偿对账。
原理流程
- 入口负载均衡分发多实例。
- 核心依赖调用带超时/熔断/隔离。
- 读走缓存,未命中回源。
- 旁路动作异步消息,幂等对账兜底。
- 灰度发布 + 监控告警 + 预案演练。
代码或图示
用户 → 负载均衡 → 应用多实例
→ 缓存(读)/ 数据库(写,主从)
→ 库存/支付(超时 + 熔断 + 线程池隔离)
→ MQ 旁路:积分/通知/统计(幂等 + 对账)
保护:限流 + 降级开关 + 健康摘除
发布:灰度 + 回滚;监控:成功率/RT/错误率/水位
常见误区
- 链路全同步串联:故障级联、RT 叠加。
- 无冗余与兜底:单点故障即交易中断。
追问
- 链路最容易先出问题的环节?答:按容量估算与历史故障判断,通常是数据库写、慢下游与缓存命中下降。
- 怎么验证高可用设计?答:压测拐点 + 故障演练(杀实例、断下游、停缓存),观察降级与恢复是否符合预案。