09.3.1.3 分布式缓存集群与故障转移
所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.3 缓存体系 / 09.3.1 本地缓存与分布式缓存
09.3.1.3-001 主从复制解决什么问题?
一句话结论
主节点负责写,从节点同步主节点数据并承担读请求,实现读写分离与数据冗余;主节点故障时从节点可被提升为主,避免单点。
概念解释
- 主节点(master):接受写命令,复制给从节点。
- 从节点(replica):复制数据,只读为主,承接读流量。
- 价值:读扩展、备份冗余、故障切换候选。
原理流程
主节点写 → 复制命令/数据到从节点
→ 从节点应用 → 读请求分发到从节点
→ 主故障 → 选举/提升从节点接管
常见误区
- 误区:从节点数据实时一致。复制存在网络与应用延迟,读到的可能是稍旧数据,强一致读要走主节点。
- 误区:加从节点就能线性扩展写。写仍集中在主节点,从节点只扩展读能力。
追问
- 问:读写分离怎么路由?答:写走主,读按一致性要求决定走主还是从;延迟敏感的关键读不走从库。
- 问:从节点能写吗?答:默认只读,避免多主冲突;需要多写应使用集群方案。
09.3.1.3-002 主从复制怎么同步:全量与增量?
一句话结论
首次或断线后数据差距大时做全量同步(主节点生成 RDB 发给从节点加载),之后基于复制缓冲区做增量命令同步;复制偏移量标识各自进度,断线重连按偏移量补齐。
概念解释
- 全量同步:主节点 dump 快照,从节点清空并加载,适合初次连接或差距过大。
- 增量同步:复制 backlog 中记录最近写命令,按偏移量续传。
- 偏移量:主从各自维护复制进度,用于判断差距。
原理流程
从节点连接 → 上报偏移量
偏移可续:增量复制 backlog 命令
偏移不可续:主节点 RDB 全量同步 → 从节点加载 → 追增量
常见误区
- 误区:复制断开重连总是全量。backlog 够大且偏移未被覆盖时可以增量续传,避免每次重启都全量。
- 误区:全量同步不影响主节点。生成 RDB 消耗内存与 IO,大实例全量同步期间要关注主节点负载。
追问
- 问:backlog 多大合适?答:按断线时长与写入速率估算缓冲区容量,太小会导致断线后只能全量;具体大小以压测与故障演练为准。
- 问:怎么看复制状态?答:INFO replication 看主从连接状态、偏移量与延迟。
09.3.1.3-003 主从延迟从哪来,有什么影响?
一句话结论
延迟来自主节点命令传播网络、从节点应用命令速度、从节点负载与磁盘压力;影响是读从库可能读到旧值,库存、余额等强一致场景不能依赖从库读。
概念解释
- 网络:复制命令跨节点传输,带宽与抖动影响传播。
- 应用:从节点串行应用复制命令,自身读负载高时应用变慢。
- 影响范围:最近写入在延迟窗口内不可见于从库。
原理流程
主节点写完 → 复制传播 → 从节点排队应用
→ 延迟窗口内读从库 → 返回旧值
常见误区
- 误区:延迟只是毫秒级可以忽略。高峰期从库负载高时延迟可能放大到秒级,关键业务必须按窗口评估。
- 误区:加从节点能消除延迟。延迟是应用与传播速度问题,从节点多了各自仍要追主节点。
追问
- 问:怎么监控延迟?答:对比主从偏移量、复制时间差指标,设告警阈值。
- 问:延迟大时读怎么调整?答:关键读切主节点或降低从库读比例,必要时延迟超过阈值摘流。
09.3.1.3-004 哨兵机制做什么?
一句话结论
哨兵(Sentinel)独立部署一组监控进程:持续探测主从节点存活、在主节点故障时选举出新主、通知客户端更新主节点地址;把“人工发现故障并切换”变成自动化流程。
概念解释
- 监控:定期心跳判断主/从是否存活。
- 选举:主不可用时,哨兵之间协商选出可提升的从节点。
- 通知:客户端通过哨兵查询当前主节点,故障切换后获得新地址。
原理流程
哨兵集群定期探活 → 判定主节点下线
→ 哨兵选举 → 选最优从节点提升为主
→ 通知其余从节点复制新主 → 客户端获取新主地址
常见误区
- 误区:哨兵本身是数据节点。哨兵只做监控与决策,不存业务数据,要独立于缓存节点部署。
- 误区:一个哨兵就够。单点哨兵本身会成为决策单点,哨兵集群要多节点部署。
追问
- 问:哨兵怎么判断主观/客观下线?答:单个哨兵判不可用为主观下线,多数哨兵确认后为客观下线,再进入故障转移;具体阈值以配置为准。
- 问:切换期间写请求怎么办?答:主不可用期间写会失败,客户端要重试或降级,切换完成后路由到新主。
09.3.1.3-005 哨兵选举与故障转移流程?
一句话结论
客观下线后,哨兵集群按规则选举领头哨兵,由它执行转移:挑选数据最新的从节点、提升为主、让其他从节点复制新主、通知客户端;转移期间旧主若恢复会作为从节点接入。
概念解释
- 领头选举:哨兵间协商,一个领头负责执行切换。
- 从节点筛选:优先复制偏移新、优先级高的从节点。
- 提升:目标从节点执行提升,其余重新指向新主。
原理流程
多数哨兵确认主下线 → 选举领头
→ 筛选并提升从节点为新主
→ 旧从节点改复制新主
→ 旧主恢复后降为从节点
常见误区
- 误区:任意从节点都能提升。数据落后太多的从节点会丢数据,筛选时优先复制进度新的节点。
- 误区:切换是秒级无感。选举与提升需要时间,期间集群不可写,要在 SLA 里计入切换窗口。
追问
- 问:哨兵 quorum 怎么定?答:多数派原则,哨兵节点奇数部署,quorum 小于总数;具体数值按节点数与可用性要求配置。
- 问:怎么验证切换成功?答:演练中杀主节点,观察新主提升、复制恢复、客户端路由更新与业务写入恢复。
09.3.1.3-006 哨兵集群部署要点?
一句话结论
哨兵建议奇数个节点跨故障域部署,与缓存节点分散在不同机器/机架;配置监控间隔、下线判定阈值、选举 quorum;客户端连接哨兵获取主地址,而不是写死主节点 IP。
概念解释
- 数量:奇数个,形成多数派,避免决策僵局。
- 分布:跨主机/机架,避免哨兵与缓存同机一起故障。
- 客户端:通过哨兵发现主节点,故障后自动获取新主。
原理流程
部署 N 个哨兵(奇数)→ 配置监控主与 quorum
→ 客户端查询哨兵获取当前主
→ 故障时哨兵集群决策切换
常见误区
- 误区:哨兵和 Redis 同机部署就行。机器宕机时机与哨兵一起不可用,监控决策同时丢失。
- 误区:客户端写死主节点地址。切换后旧地址失效,必须走哨兵发现机制。
追问
- 问:哨兵节点要多少资源?答:哨兵负载轻,主要是心跳与决策,但要保证网络可达与独立进程。
- 问:哨兵配置怎么同步?答:各哨兵配置一致的监控主与规则,避免判定口径不一致。
09.3.1.3-007 Redis Cluster 怎么分片?
一句话结论
Cluster 把所有 key 映射到 16384 个哈希槽,每个主节点负责一部分槽位;key 通过 CRC16 取模定位槽位,槽位再映射到节点;分片由槽位分配完成,不是按节点范围直接切 key。
概念解释
- 槽位(slot):16384 个编号,是集群与节点之间的分配单位。
- 映射:key → CRC16(key) mod 16384 → slot → 负责该槽的主节点。
- 扩缩容:迁移槽位而不是重新按 key 拆分。
原理流程
key 计算 CRC16 → 取模得 slot
→ 查集群槽位-节点表 → 路由到对应主节点
常见误区
- 误区:Cluster 按 key 前缀分片。分片依据是哈希槽,前缀只在 hash tag 强制同槽时使用。
- 误区:槽位可以随便增减。槽位总数固定,调整的是各节点负责的槽位区间。
追问
- 问:为什么是 16384 个槽?答:集群心跳消息携带槽位位图,数量在消息体积与分片粒度间权衡;具体设计理由以官方文档为准。
- 问:怎么看槽位分配?答:CLUSTER NODES / CLUSTER INFO 查看节点负责槽位与集群状态。
09.3.1.3-008 hash tag 起什么作用?
一句话结论
用大括号包裹 key 中的一段(如 user:{1001}:name),只对括号内字符串计算槽位,使相关 key 落到同一槽;多键操作、事务、Lua 必须在同槽时才可用;但同槽数据会集中到单节点,要防止热点倾斜。
概念解释
- 语法:key 中
{tag}部分参与槽位计算,其余忽略。 - 用途:同对象的多字段、需要跨键操作的集合放同槽。
- 风险:tag 选择不当导致单槽过热,压力集中在一个主节点。
原理流程
key = "user:{1001}:name" → 只取 "1001" 算槽位
→ 同 tag 的 key 同槽 → 可执行多键操作
常见误区
- 误区:所有相关 key 都用同一个 tag。超大对象/高频对象的 tag 会把全部数据压到一个槽,无法分散到集群。
- 误区:hash tag 能保证多节点事务。它只保证同槽,跨槽多键命令在 Cluster 下仍不可用。
追问
- 问:什么场景必须同槽?答:Hash/Set/ZSet 内部多元素、需要 MGET/Lua/事务操作多个 key 时。
- 问:tag 怎么选避免倾斜?答:用能区分对象的业务标识(用户/订单 ID),不要用固定常量做 tag。
09.3.1.3-009 Cluster 主从与自动故障转移?
一句话结论
每个主节点可配从节点复制其槽位数据;主节点故障时,集群在其从节点中选一个提升接管槽位,节点间通过 gossip 交换状态;与哨兵方案相比,分片与转移都在 Cluster 内完成。
概念解释
- 副本:主节点挂从节点,提供冗余与读扩展(客户端可选读副本)。
- 转移:主下线后从节点提升,接管对应槽位。
- 状态传播:节点间 gossip 心跳交换主从关系与槽位状态。
原理流程
主节点故障 → 节点间状态传播
→ 其从节点被提升 → 接管槽位
→ 槽位映射更新 → 客户端重定向到新主
常见误区
- 误区:配了从节点就不会丢数据。复制仍有延迟,故障瞬间未同步的数据可能丢失,关键数据要落库重建。
- 误区:Cluster 转移不需要仲裁。节点投票参与选出新主,脑裂/网络分区下的行为要结合配置理解。
追问
- 问:副本读怎么开启?答:客户端按策略读从副本,接受最终一致;写始终走主。
- 问:怎么看节点是否达标可提升?答:复制进度、数据完整性与集群投票结果共同决定。
09.3.1.3-010 MOVED 与 ASK 重定向区别?
一句话结论
MOVED 表示 key 所属槽位已确定归属另一节点,客户端应更新本地槽位表并重定向;ASK 是槽位正在迁移中的临时重定向,本次请求去目标节点,但不更新本地槽位表,迁移完成前都按临时处理。
概念解释
- MOVED:槽位永久归属变更,客户端缓存路由表。
- ASK:迁移中途,源节点仍在过渡,临时引导到目标节点尝试。
- 客户端:维护槽位-节点映射,遇到重定向跟随。
原理流程
请求打到节点 → 槽不在本节点
MOVED:永久归属 → 更新映射 → 重定向
ASK:迁移中 → 临时跳转,不更新映射
常见误区
- 误区:两种重定向都直接改写本地路由。ASK 是临时状态,改写会导致迁移期间路由错误。
- 误区:客户端不用处理重定向。不跟随 MOVED/ASK 会反复打到错误节点,增加延迟与错误。
追问
- 问:迁移期间旧 key 在哪边?答:部分 key 可能在源或目标节点,ASK 机制配合两边访问保证过渡一致;细节以集群迁移流程为准。
- 问:怎么减少迁移对客户端影响?答:低峰迁移、控制迁移节奏,客户端库正确处理重定向。
09.3.1.3-011 集群扩缩容怎么迁移槽位?
一句话结论
扩容加节点后,把部分槽位从现有节点迁到新节点;缩容先把节点负责槽位迁走再下线;迁移以槽为单位,逐个迁移槽内 key,过程中用 ASK/MOVED 过渡;要控制迁移速率避免影响线上。
概念解释
- 扩容:新节点加入 → 分配空槽 → 从老节点迁入槽与 key。
- 缩容:先迁出该节点所有槽位 → 节点无槽后下线。
- 迁移单位:槽;key 逐个搬运,双端过渡。
原理流程
目标节点准备槽位 → 源节点逐个迁移槽内 key
→ 客户端 ASK/MOVED 过渡
→ 槽位迁移完成 → 更新集群映射
常见误区
- 误区:直接加机器就自动均衡。槽位与 key 需要手动/工具调度迁移,不会自动搬数据。
- 误区:迁移全速跑不影响业务。大批量 key 搬迁占用网络与 CPU,应限速、分批、低峰进行。
追问
- 问:迁移期间数据一致性怎么保证?答:槽内 key 搬运完成前双端可访问,迁移流程保证不丢不重;具体工具流程以官方集群管理工具为准。
- 问:怎么判断迁移进度?答:看各节点槽位覆盖、迁移中的槽与目标节点同步状态。
09.3.1.3-012 集群下多键操作有什么限制?
一句话结论
跨槽位的多键命令、事务与 Lua 在 Cluster 下不可用;要操作多个 key,必须通过 hash tag 把它们放到同一槽;否则命令返回跨槽错误。
概念解释
- 限制:MGET/MSET 多 key、事务 MULTI、Lua 操作多个 key,要求同槽。
- 解决:相关 key 用相同 hash tag。
- 替代:跨槽操作拆成单键命令在应用层聚合。
原理流程
命令涉及多 key → 计算各 key 槽位
同槽 → 可执行
跨槽 → 报错,需拆命令或加 tag
常见误区
- 误区:Cluster 支持跨节点事务。分片后事务边界被槽位切开,只有同槽多键才在单节点原子。
- 误区:加了 tag 就无限同槽。tag 集中会造成热点槽,需要在功能与均衡间权衡。
追问
- 问:跨槽批量读怎么办?答:按槽位分组,每组在对应节点执行,应用层合并结果。
- 问:怎么设计 key 避免跨槽?答:对象内部多字段同 tag;跨对象聚合不在 Redis 做多键事务。
09.3.1.3-013 脑裂与网络分区怎么处理?
一句话结论
网络分区下旧主可能仍接受写入,新主已选出,恢复后旧主降级期间未同步数据会丢失;集群通过复制进度与投票机制降低风险,部署上要跨可用区、控制副本与复制延迟,关键数据不能只依赖缓存。
概念解释
- 脑裂:两个节点都认为自己是主,各自接受写。
- 分区:部分节点网络隔离,投票与复制中断。
- 数据风险:旧主在脱离期间的写可能未复制到新主。
原理流程
分区发生 → 少数派节点无法投票/复制
→ 多数派选出新主
→ 旧主恢复 → 重新同步,冲突写按复制规则处理
常见误区
- 误区:集群机制能完全避免脑裂丢数据。网络分区下的少数派写仍可能丢失,缓存定位为可重建数据是底线。
- 误区:多副本就等于强一致。副本异步复制,不是同步双写。
追问
- 问:怎么降低分区影响?答:节点跨机房但同集群要评估延迟;副本数足够、复制延迟受控,故障演练覆盖分区场景。
- 问:写缓存的重要数据怎么办?答:先落库,缓存只做读加速,缓存丢失可从库重建。
09.3.1.3-014 缓存节点故障时怎么兜底?
一句话结论
故障兜底分层:本地缓存承接最近热点 → 限流降级保护 DB → 必要时只读/默认返回;缓存不可用不等于链路不可用,预案要在故障演练中验证回源能力。
概念解释
- 本地副本:Redis 不可用时,进程内热点仍可服务一部分请求。
- 回源保护:DB 前面有限流与降级,避免缓存失效导致请求全部打穿。
- 兜底数据:非核心字段返回默认值/上次快照,提示稍后重试。
原理流程
Redis 不可用 → 先查本地缓存
→ 未命中 → 限流后回源 DB / 降级默认值
→ 集群恢复 → 逐步重建热点缓存
常见误区
- 误区:缓存挂了直接让请求打 DB。没有本地兜底与限流,DB 会被缓存等效流量冲垮。
- 误区:兜底数据可以随意展示。兜底值要标明降级状态,避免用户把旧值当最新业务结果。
追问
- 问:缓存集群整体不可用期间容量怎么估?答:按未命中回源比例测算 DB 能承受的 QPS,超出部分必须限流或降级。
- 问:恢复后怎么避免瞬时回源?答:分批预热热点,避免大量 key 同时回源压垮 DB。
09.3.1.3-015 冷启动与缓存预热在集群层面怎么做?
一句话结论
新集群或重启后缓存为空,直接承接流量会全部回源;预热按热点名单分批加载到各节点,配合低峰启动与限流,让命中率爬升后再放开全量流量。
概念解释
- 冷启动:无缓存数据,请求直达 DB。
- 预热来源:访问日志 top key、大促名单、离线数据集。
- 节奏:分批加载,控制单节点写入与 DB 读取压力。
原理流程
生成热点 key 清单 → 分批回源 DB 写入缓存
→ 各节点逐步铺满 → 命中率达标后放开流量
常见误区
- 误区:启动瞬间全量加载。批量回源与写入会同时压 DB 与缓存,需要限速分批。
- 误区:预热一次永久有效。热点随活动变化,周期性预热与失效更新要配套。
追问
- 问:预热数据从哪来?答:历史访问日志统计、业务方提供的活动商品/用户名单、离线画像。
- 问:怎么判断预热完成?答:命中率达到目标水位、回源 QPS 进入可承受范围,再逐步扩流量。
09.3.1.3-016 读从副本有什么一致性风险?
一句话结论
从副本存在复制延迟,读到的可能是旧值;对余额、库存、状态等敏感读,应走主或接受延迟窗口;读副本要监控延迟并在超阈值时摘流,不能把副本读当强一致读。
概念解释
- 延迟窗口:主写成功到副本可见之间的时间。
- 风险:刚写入后读副本读到旧值,引发重复操作或状态误判。
- 适用:允许稍旧的展示型读,如列表、画像。
原理流程
写主成功 → 复制到副本(延迟 Δ)
Δ 内读副本 → 旧值
Δ 后读副本 → 新值
常见误区
- 误区:读副本分担所有读。关键状态读必须走主或本地缓存一致性控制,不能默认副本最新。
- 误区:延迟低就不用监控。高峰期延迟会波动,需要持续指标与自动摘流。
追问
- 问:哪些读适合走副本?答:展示类、可容忍秒级旧值、量大的读;强一致业务读排除。
- 问:副本读不一致怎么被发现?答:对比主从读数、业务对账与用户反馈,结合复制延迟指标。
09.3.1.3-017 Memcached 与 Redis 集群思路有何差异?
一句话结论
Memcached 客户端一致性哈希分片,无内置集群与复制能力;Redis 有主从/哨兵/Cluster 内建分片、复制与故障转移;选型上 Memcached 结构简单、多线程缓存,Redis 数据结构、持久化与集群能力更完整。
概念解释
- Memcached:客户端按一致性哈希分布到各节点,节点独立,故障转移依赖客户端与外部方案。
- Redis:服务端实现槽位分片、复制、哨兵/集群转移。
- 对比维度:数据结构、持久化、集群管理、多线程模型、生态工具。
原理流程
Memcached:客户端 hash(key) → 选节点 → 直接访问
Redis Cluster:key → slot → 节点 → 服务端重定向
常见误区
- 误区:两者只是内存大小区别。复制、持久化、数据结构、故障转移能力差异决定适用场景。
- 误区:一致性哈希完美均衡。节点增减时哈希环迁移部分 key,分片策略仍要评估倾斜。
追问
- 问:什么场景选 Memcached?答:简单键值缓存、结构单一、多线程吞吐要求;具体以版本特性与运维能力对比为准。
- 问:一致性哈希解决什么?答:节点增减时只迁移环上一段数据,避免取模分片导致全量重映射。
09.3.1.3-018 分布式缓存容量怎么规划?
一句话结论
容量 = 热点数据条目数 × 平均单条大小 × 副本系数 + 元数据与碎片余量;按主节点数与槽位均摊,预留故障冗余(一台主宕机时其余节点能承载),线上用 used_memory 与命中率校准。
概念解释
- 数据量:可缓存 key 数与 value 平均大小估算。
- 副本:每主至少一副本,内存按主数据 ×(1+副本数) 计。
- 余量:碎片、增长、故障切换时的承载缓冲。
原理流程(估算式)
主内存 ≈ 条目数 × 单条平均大小 × (1 + 元数据系数)
集群总内存 ≈ 主内存 × (1 + 副本数) × 冗余系数
单节点内存 = 集群总内存 / 主节点数,低于 maxmemory 水位线
常见误区
- 误区:按平均 value 大小估算不留余量。碎片、元数据、增长与故障切换都需要缓冲,估算偏乐观会频繁淘汰。
- 误区:只算缓存数据不算副本。故障时副本接管主的流量与数据,副本内存必须配齐。
追问
- 问:一台主挂了其他节点扛得住吗?答:其余主节点内存与 QPS 要能接纳其槽位数据与流量,冗余系数按故障场景计算。
- 问:容量不足先做什么?答:扩容节点/槽位,或收敛可缓存范围、压缩 value,淘汰频繁时再评估。
09.3.1.3-019 集群监控要看哪些状态?
一句话结论
监控:节点存活、槽位覆盖完整、主从复制偏移与延迟、各节点内存水位、命中率、连接数与命令耗时;槽位缺失、复制断开、内存逼近上限、命中率下跌都是需要告警的异常。
概念解释
- 拓扑:节点在线、主从关系、槽位是否全覆盖无重叠。
- 复制:偏移差、连接状态、延迟。
- 容量与性能:used_memory/maxmemory 水位、evicted 数、命中率、慢命令。
原理流程
采集节点与槽位状态 → 对比复制偏移与延迟
→ 跟踪内存水位/淘汰/命中率
→ 异常触发告警与切换预案
常见误区
- 误区:只监控 CPU/内存。槽位缺失、复制断开、命中率下跌不看资源指标会漏掉,这些直接影响服务正确性。
- 误区:集群绿了就没事。节点在线但某槽位无主、复制延迟高,仍属于异常状态。
追问
- 问:槽位覆盖怎么检查?答:CLUSTER INFO 检查 cluster_state 与槽位覆盖比例,节点列表核对每槽有主。
- 问:复制延迟告警阈值怎么定?答:按业务可接受旧值窗口定,展示类与强一致类分开设。
09.3.1.3-020 故障转移演练观察什么?
一句话结论
演练主动杀主节点/断网,观察:探测判定时间、新主选出速度、槽位接管、复制追平、客户端路由更新、业务错误率与 RT 恢复过程;记录切换窗口内的失败请求量,核对预案是否满足 SLA。
概念解释
- 时间线:故障发生 → 判定 → 选举 → 提升 → 路由更新 → 恢复。
- 业务影响:切换窗口内写失败、读旧值或回源比例。
- 验证项:是否有槽位无主、副本数据是否齐全、客户端是否自动跟随。
原理流程
注入故障(停主节点/隔离网络)
→ 记录各阶段耗时与错误指标
→ 恢复后核对数据与复制状态
→ 输出切换窗口与改进项
常见误区
- 误区:演练只看能不能切过去。业务侧错误率、RT、回源压力与客户端重连行为同样要观察。
- 误区:一次演练通过就长期有效。版本、拓扑、客户端库升级后要重复演练。
追问
- 问:演练在什么环境做?答:预发布或低峰生产影子环境,先单节点后多节点,避免直接在高峰生产注入故障。
- 问:切换窗口内请求怎么处理?答:客户端重试带退避、读走兜底,写返回可稍后重试,避免雪崩式重连。