罗罗编程学习记录
本页内容 展开查看

08.3.1.1 Raft 与一致性读

所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.3 etcd / 08.3.1 etcd

命令前提:本机是否安装 etcdctl 未验证;以下命令按官方语义描述,实际输出以真实集群为准。

08.3.1.1-001 etcd 是什么,数据模型是怎样的?

一句话结论

etcd 是基于 Raft 的强一致分布式 KV 存储,数据按层级 key 组织(类似文件路径),每个写操作产生单调递增 revision,用于 K8s 存集群状态与配置元数据。

概念解释

  • 类型:分布式 KV,不是关系型数据库。
  • 模型:key 层级路径(/registry/...),value 为字节数组。
  • 版本:全局 revision,关联多版本历史。

原理流程

  1. 客户端写入 key-value。
  2. 经 Raft 复制提交后落盘。
  3. 读取按 revision 取当前或历史版本。

代码 / 图示

key:   /registry/pods/default/my-pod
value: 对象 JSON 序列化字节
revision: 全局单调递增,每次写 +1

常见误区

  • 误区:etcd 适合存大规模业务数据;正解:它面向小体量、强一致元数据,不存大对象与高吞吐业务数据。
  • 误区:value 是结构化 SQL 行;正解:value 是字节数组,结构由客户端序列化。

追问

  • Q:K8s 在 etcd 里存什么? A:API 对象的最终状态(Pod/Deployment/Secret 等),不存容器运行时业务数据。
  • Q:为什么 key 用层级路径? A:便于按前缀 watch 与按目录组织对象。

08.3.1.1-002 Raft 有哪几个角色?

一句话结论

Raft 集群有 Leader、Follower、Candidate 三种角色:Leader 处理读写与复制,Follower 跟随并投票,Candidate 在选举过渡期发起竞选。

概念解释

  • Leader:唯一写入口,复制日志。
  • Follower:接收复制与心跳,可投选票。
  • Candidate:超时未收到心跳转为候选,请求投票。

原理流程

  1. 正常期一主多从。
  2. Leader 心跳维持任期。
  3. 心跳超时 → Follower 转 Candidate 发起选举。

代码 / 图示

Leader ── 心跳/日志复制 ──→ Follower
Follower 选举超时 → Candidate → 拉票 → 成为 Leader

常见误区

  • 误区:每个节点都能处理写;正解:只有 Leader 接受写 proposal。
  • 误区:角色固定不变;正解:故障或选举后角色会切换。

追问

  • Q:读请求能打到 Follower 吗? A:可以,但一致性级别不同(见 08.3.1.1-006/007/008)。
  • Q:Candidate 是稳定角色吗? A:过渡状态,竞选成功转 Leader,失败回落 Follower。

08.3.1.1-003 选举流程是怎样的,term 起什么作用?

一句话结论

Follower 在选举超时内未收到 Leader 心跳则 term 加 1 转为 Candidate,向节点拉票,获得多数票成为 Leader;term 是单调递增的任期号,用于区分新旧 leader、拒绝过期消息。

概念解释

  • term:任期编号,每次选举 +1。
  • 超时:随机化 election timeout 避免同时发起。
  • 多数票:获多数节点选票才能当选。

原理流程

  1. election timeout 内无心跳。
  2. Candidate 自增 term,给自己投票。
  3. 发送 RequestVote,多数票当选 Leader。
  4. 当选后广播心跳宣告领导权。

代码 / 图示

term 递增 → Candidate 拉票 → 多数票 → Leader → 心跳维持
收到更新 term 的消息 → 回退 Follower

常见误区

  • 误区:选举超时是固定值;正解:通常在区间内随机化,降低节点同时超时竞争的概率。
  • 误区:term 相同就一定是同一个 leader;正解:term 相同仍需按日志与领导权规则判断。

追问

  • Q:为什么需要随机超时? A:避免多个 Follower 同时超时竞争导致选举失败(split vote)。
  • Q:收到更高 term 消息怎么办? A:节点更新 term 并回退 Follower,拒绝旧任期 Leader。

08.3.1.1-004 日志复制与多数派提交规则是什么?

一句话结论

写请求由 Leader 追加到本地日志并复制给 Follower,多数节点持久化后该日志条目才标记提交(commit),再 apply 到状态机。

概念解释

  • 日志条目:含 term、index、写操作。
  • 多数派:quorum 节点确认持久化。
  • 提交:commit index 推进后才对状态机可见。

原理流程

  1. Leader 收到写,追加本地日志。
  2. 并行复制到 Follower。
  3. 多数确认 → 提交 → apply 到 KV 状态机。

代码 / 图示

写请求 → Leader 日志 → 复制 Follower → 多数持久化 → commit → apply → 返回成功

常见误区

  • 误区:单个 Follower 确认就返回成功;正解:需多数派持久化后才提交。
  • 误区:日志复制成功等于数据已 apply;正解:先提交再 apply,两者有先后。

追问

  • Q:少数派节点落后怎么办? A:Leader 持续补发缺失日志,追平后再参与多数派。
  • Q:多数派是怎么算的? A:节点数 N,多数为 N/2+1;3 节点需 2,5 节点需 3。

08.3.1.1-005 一次写请求的完整链路是怎样的?

一句话结论

客户端把写请求发往某节点:若是 Follower 转发给 Leader,Leader 生成 proposal 复制到多数节点提交 apply,再返回成功;链路包含校验、复制、持久化与状态机应用。

概念解释

  • 入口:任意节点可接收,非 Leader 转发。
  • proposal:待提交的写提案。
  • 落盘:wal/fsync 后复制。

原理流程

  1. 客户端连接某 etcd 节点。
  2. 非 Leader 转发给 Leader(或客户端直连 Leader)。
  3. Leader 校验 → 写 WAL → 复制 → 多数提交 → apply。
  4. 返回 revision 与结果。

代码 / 图示

Client → 节点 → (Follower 转发) → Leader
Leader: WAL → 复制多数 → commit → apply → 返回 revision

常见误区

  • 误区:写成功后数据只在 Leader 内存;正解:多数节点持久化 WAL 后才提交。
  • 误区:客户端必须一直连 Leader;正解:连接任意节点,非 Leader 由服务端转发。

追问

  • Q:写返回成功代表什么保证? A:多数派已持久化提交,可容忍少数节点宕机不丢已提交数据。
  • Q:WAL 落盘慢对写路径影响? A:fsync 阻塞提交,写延迟上升(见 08.3.1.4)。

08.3.1.1-006 线性一致读(linearizable read)如何保证读到最新已提交数据?

一句话结论

线性一致读由 Leader 在当前任期内确认自己仍是 Leader(或通过多数派心跳确认)后再读本地已提交状态,避免读到过期数据或被旧 Leader 误导。

概念解释

  • 风险:Follower 本地状态可能落后;旧 Leader 可能在网络分区后读到过期数据。
  • 确认:Leader 证明领导权有效后读取。
  • 级别:最强一致性,延迟高于本地读。

原理流程

  1. 读请求到 Leader。
  2. Leader 确认当前 term 领导权有效(多数派心跳/读确认)。
  3. 读取本地已提交并 apply 的状态。
  4. 返回结果。

代码 / 图示

读 → Leader → 领导权确认(多数派) → 读本地已提交状态 → 返回最新值

常见误区

  • 误区:只要打到 Leader 就能线性读;正解:还需确认 Leader 领导权在当前任期有效,防止分区旧主。
  • 误区:线性读不增加任何开销;正解:确认领导权需要额外交互,延迟高于本地读。

追问

  • Q:线性读适合什么场景? A:强一致读取要求高的配置/锁决策。
  • Q:Leader 不确定自己是否孤立时怎么办? A:读确认拿不到多数派则不返回线性一致结果。

08.3.1.1-007 串行读(serializable read)是什么一致性级别?

一句话结论

串行读直接读 Leader 本地已提交状态,不做额外领导权确认;一致性弱于线性读,但开销更低,可能读到短暂过期结果,具体语义以官方文档为准。

概念解释

  • 本地读:Leader 直接返回。
  • 不确认:无多数派确认往返。
  • 取舍:低延迟 vs 严格线性。

原理流程

  1. 读请求到 Leader。
  2. 直接读取本地已提交状态。
  3. 返回结果,无额外确认交互。

代码 / 图示

读 → Leader 本地已提交状态 → 返回(无领导权确认往返)

常见误区

  • 误区:串行读和线性读等价;正解:串行读少了领导权确认环节,一致性保证更弱。
  • 误区:串行读可以打 Follower;正解:该模式仍以 Leader 本地状态为准,具体支持范围以版本文档为准。

追问

  • Q:什么场景接受串行读? A:可容忍短暂过期的观测类读取。
  • Q:K8s API 默认读一致性偏哪种? A:API 服务读取经 apiserver 与 etcd 配合,具体一致性口径以 K8s 文档为准。

08.3.1.1-008 老读(按 revision 读)与允许陈旧读是什么?

一句话结论

按指定 revision 读取历史版本是 MVCC 提供的历史读;允许 Follower/落后节点读属于陈旧读权衡,用可能过期换取更低 Leader 压力与延迟,二者需区分。

概念解释

  • 历史读:读过去某 revision 的版本。
  • 陈旧读:读可能落后的副本。
  • 前提:对应历史版本未被压缩回收。

原理流程

  1. 客户端指定 revision 或容忍陈旧。
  2. 服务端在保留的版本中查找。
  3. 返回对应版本数据;已压缩历史则报错。

代码 / 图示

Get(key, revision=R) → MVCC 查找版本 R → 返回(R 未被 compact)
陈旧读 → 落后副本本地返回 → 可能短暂过期

常见误区

  • 误区:任意历史 revision 都能读;正解:早于 compact revision 的历史已被回收。
  • 误区:陈旧读没有一致性风险;正解:可能读到落后值,决策类场景不宜使用。

追问

  • Q:历史版本能保留多久? A:受 compact 与历史配额策略影响,过期回收。
  • Q:watch 历史重放依赖什么? A:基于保留的 revision 历史,压缩后不能回看更早事件。

08.3.1.1-009 为什么 Follower 不能直接返回本地读结果?

一句话结论

Follower 日志可能落后 Leader,本地状态未包含最新提交;直接返回会读到过期值,因此强一致读必须以 Leader 已提交状态为准,或接受陈旧读权衡。

概念解释

  • 落后:复制延迟或故障期间未追平。
  • 过期:本地缺最新提交。
  • 权衡:一致性 vs 就近读延迟。

原理流程

  1. 读打到 Follower。
  2. 对比其 commit index 与 Leader。
  3. 强一致场景转发 Leader;陈旧场景可本地返回。

代码 / 图示

Follower 本地状态 ⊆ Leader 已提交状态
强一致:转发 Leader;陈旧读:接受落后风险

常见误区

  • 误区:Follower 数据永远和 Leader 一致;正解:复制存在延迟,故障时差距更大。
  • 误区:读 Follower 能线性扩展读吞吐;正解:强一致读仍受 Leader 约束,扩展能力有限。

追问

  • Q:Follower 读扩展的边界? A:仅可用于容忍陈旧的读,强一致读无法靠 Follower 水平分担。
  • Q:如何判断副本是否落后? A:对比 status 中 commit/index 与 Leader 差值(命令见 08.3.1.4)。

08.3.1.1-010 MVCC 多版本与 revision 是什么关系?

一句话结论

每次写产生全局单调递增 revision,同一 key 的多个历史版本按 revision 留存;读取可指定 revision,修改删除不物理覆盖旧版本,压缩后才回收。

概念解释

  • revision:全局逻辑时钟,单调递增。
  • 版本:key 在各 revision 下的快照。
  • 回收:compact 后旧版本删除。

原理流程

  1. 写操作分配新 revision。
  2. 旧版本保留在 boltdb 多版本树中。
  3. 读按 revision 定位;compact 清理早于阈值的版本。

代码 / 图示

rev 3: k=A
rev 7: k=B(A 版本保留)
rev 12: 删 k( tombstone 保留)
compact ≤ 5 → 回收 rev ≤5 版本

常见误区

  • 误区:覆盖写直接删除旧值;正解:MVCC 保留历史版本供历史读与 watch。
  • 误区:revision 是单 key 版本号;正解:它是全局递增号,跨所有 key 共享。

追问

  • Q:tombstone 是什么? A:删除标记,保证历史顺序与 watch 语义,压缩后才回收。
  • Q:MVCC 对空间有什么影响? A:历史版本累积占空间,需定期压缩与碎片整理(见 08.3.1.4)。

08.3.1.1-011 日志快照(snapshot)起什么作用?

一句话结论

快照把当前状态机全量落盘,使新加入节点无需从头回放全部历史日志即可追平;同时 compact 之前的历史日志可以被回收。

概念解释

  • 状态快照:已提交状态的全量副本。
  • 追平:新节点从快照 + 后续日志恢复。
  • 回收:快照之前的 WAL/历史可清理。

原理流程

  1. 周期性/按阈值生成快照。
  2. 快照持久化到磁盘。
  3. 新节点加载快照再追增量日志。

代码 / 图示

历史日志 → 快照(全量状态) → 后续增量日志
新节点:加载快照 → 追增量 → 追平

常见误区

  • 误区:快照替代备份;正解:快照是追平与压缩机制,集群备份恢复另有流程(见 08.3.1.2)。
  • 误区:快照生成在 Leader 内存中完成;正解:快照落盘到数据目录,占用磁盘 IO。

追问

  • Q:快照过大有什么代价? A:占用磁盘、影响新节点加载与压缩节奏。
  • Q:compact 与 snapshot 区别? A:compact 回收 MVCC 历史版本;snapshot 是状态机全量快照,两者配合但不等同。

08.3.1.1-012 写返回成功后崩溃,数据会丢吗?

一句话结论

已提交(多数派持久化)的写在少数节点崩溃后不丢;仅 Leader 本地写入未达多数派就崩溃的提案未提交,会被回滚,不会对外视为成功。

概念解释

  • 已提交:多数派 WAL 持久化。
  • 未提交:多数派确认前崩溃。
  • 容错:少数派故障可恢复。

原理流程

  1. 多数持久化 → commit。
  2. 任一少数节点崩溃,其他多数保留提交数据。
  3. 未提交条目在恢复后被 Leader 日志覆盖。

代码 / 图示

多数派持久化 = 已提交,崩溃不丢
仅 Leader 本地 = 未提交,崩溃后回滚

常见误区

  • 误区:写返回成功只代表 Leader 收到;正解:成功返回前已多数派持久化提交。
  • 误区:两个节点同时挂就丢数据;正解:3 节点容忍 1 台,5 节点容忍 2 台,同时挂超容错数才丢已提交数据。

追问

  • Q:WAL 未落盘崩溃算提交吗? A:不算,持久化确认是提交前提。
  • Q:磁盘损坏如何影响持久性? A:多数节点磁盘同时损坏超出容错即有数据风险,需备份兜底。

08.3.1.1-013 脑裂是怎么发生的,多数派为什么能防脑裂?

一句话结论

网络分区可能使两侧各以为自己是主;多数派规则要求 Leader 获得多数节点领导权确认,分区后少数派一侧无法凑齐多数,不能形成有效 Leader,从而避免双主写冲突。

概念解释

  • 分区:节点间网络割裂。
  • 双主风险:两侧各自接受写。
  • 多数派:只有一侧能凑 quorum。

原理流程

  1. 分区发生,节点分两侧。
  2. 多数侧 Leader 继续有效。
  3. 少数侧凑不齐多数,选举/读确认失败,不可写。

代码 / 图示

分区:多数侧(2/3) 可写;少数侧(1/3) 无法凑 quorum → 不可写
恢复连通后 → 少数侧日志追平

常见误区

  • 误区:分区后两侧都能继续写;正解:少数侧不满足多数派,无法提供有效领导权。
  • 误区:etcd 脑裂会出现两个 Leader 同时提交;正解:Raft 多数派保证同一任期只有有效 Leader。

追问

  • Q:少数侧节点上的客户端会怎样? A:写请求失败/超时,需重试到多数侧。
  • Q:分区恢复后数据如何对齐? A:少数侧缺失日志从 Leader 复制补齐,冲突条目按 Raft 规则处理。

08.3.1.1-014 节点数 3/5 怎么选,各容忍几台故障?

一句话结论

奇数节点降低多数派成本:3 节点容忍 1 台故障,5 节点容忍 2 台;偶数节点不提升容错却抬高多数派门槛,通常不采用。

概念解释

  • 容错:N 节点容忍 (N-1)/2 台故障。
  • 多数:N/2+1 存活才可写。
  • 成本:节点越多复制开销越大。

原理流程

  1. 按可用性与成本选 N。
  2. 故障存活数 ≥ 多数才可提交。
  3. 3 节点挂 1 仍 2/3,5 节点挂 2 仍 3/5。

代码 / 对照

节点数 多数派 容忍故障 写可用下限
3 2 1 2 存活
5 3 2 3 存活
1 1 0 无冗余

常见误区

  • 误区:4 节点能容忍 2 台;正解:4 节点多数为 3,只容忍 1 台,偶数无收益。
  • 误区:节点越多读一致性越强;正解:一致性由 Raft 保证,节点数只影响容错与复制成本。

追问

  • Q:生产推荐几节点? A:常见 3 节点起步,需容忍更多故障或跨机房部署再评估 5 节点。
  • Q:跨机房 3 节点怎么放? A:按故障域分布,避免单机房挂掉凑不齐多数(具体拓扑以架构方案为准)。

08.3.1.1-015 term 与投票规则有哪些要点?

一句话结论

term 单调递增,节点在更高 term 下更新自身任期并退回 Follower;投票遵循每个 term 内一票原则,拒绝过期 term 的拉票请求。

概念解释

  • 单调:term 不回退。
  • 一票:每个任期内投给一个 Candidate。
  • 拒绝:日志不够新的 Candidate 可能被拒。

原理流程

  1. Candidate 自增 term 拉票。
  2. Follower 按 term 与日志新旧决定是否投票。
  3. 高 term 消息覆盖本地 term 状态。

代码 / 图示

RequestVote(term=T) → 节点 term < T:更新并投票
节点 term ≥ T 或日志旧:拒绝

常见误区

  • 误区:节点可以在同一 term 投多个 Candidate;正解:每 term 一票,先到先得。
  • 误区:Candidate 只要拿到选票就当选;正解:还需日志足够新且获得多数。

追问

  • Q:日志新旧如何比较? A:按最后一条日志的 term 与 index 比较,具体 Raft 规则以论文/官方实现为准。
  • Q:网络抖动导致 term 反复跳变? A:表现为频繁选举与 leadership 切换,需排查网络与节点性能。

08.3.1.1-016 Raft 日志冲突时如何处理?

一句话结论

Follower 日志与 Leader 冲突的条目会被 Leader 后续条目覆盖;Leader 以自己的日志为准,逐条目对齐 Follower 缺失或冲突部分。

概念解释

  • 冲突:历史条目 term/index 不一致。
  • 覆盖:Leader 日志替换 Follower 冲突段。
  • 对齐:从匹配点向后补齐。

原理流程

  1. Leader 发送 NextIndex 探测。
  2. Follower 发现不一致拒绝/回退。
  3. Leader 逐步回退找到匹配点后覆盖冲突条目。

代码 / 图示

Leader 日志: 匹配点 → 后续条目覆盖 Follower 冲突/缺失段

常见误区

  • 误区:冲突时双方日志合并;正解:以 Leader 日志为准覆盖。
  • 误区:Follower 冲突条目会长期保留;正解:追平后被 Leader 条目替换。

追问

  • Q:未提交的本地条目安全吗? A:未提交条目可能被覆盖,不能视为生效。
  • Q:频繁日志冲突说明什么? A:可能存在旧主残留或网络分区后的对齐问题。

08.3.1.1-017 etcd 的一致性级别在业务上如何权衡?

一句话结论

强一致写由 Raft 多数派保证;读可按场景在线性一致、串行/陈旧读之间选择,权衡 Leader 压力、延迟与数据新鲜度。

概念解释

  • 写:强一致,多数派提交。
  • 读:多级别可选。
  • 业务:决策类强一致,观测类可容忍陈旧。

原理流程

  1. 区分读场景对新鲜度要求。
  2. 决策/锁选线性读;观测选低成本读。
  3. 监控 Leader 压力与延迟。

代码 / 对照

读级别 新鲜度 开销 适用
线性一致 最新已提交 较高(领导权确认) 决策、锁
串行读 Leader 本地 较低 容忍短暂过期
陈旧/历史读 可能落后/历史版本 低 观测、回放

常见误区

  • 误区:所有读都必须线性一致;正解:按场景权衡,强一致读增加 Leader 开销。
  • 误区:读级别选择影响写一致性;正解:写始终走多数派提交,读级别只影响读口径。

追问

  • Q:K8s 组件对 etcd 读一致性要求高吗? A:API 状态读取需与提交状态对齐,具体口径以 apiserver 实现为准。
  • Q:读压力大先扩 Follower 有用吗? A:强一致读仍压 Leader,需评估只读副本/分片等方案,以版本能力为准。

08.3.1.1-018 Raft 与 Paxos 定位上有什么区别?

一句话结论

两者都解决多数派共识问题;Paxos 理论完备但实现与理解复杂,Raft 以可理解性为目标拆分角色、选举与日志复制,工程实现更直观。

概念解释

  • 共识:分布式节点就日志顺序达成一致。
  • Raft:角色清晰、工程友好。
  • Paxos:理论经典,变种多、上手成本高。

原理流程

  1. 两者都要求多数派确认。
  2. Raft 把共识拆为选举、复制、提交模块。
  3. 工程选型关注可运维性与实现成熟度。

代码 / 对照

维度 Raft Paxos
目标 可理解、易实现 理论完备
角色 Leader/Follower/Candidate 提案者/接受者等抽象
工程落地 etcd 等广泛使用 理论基准,实现变种多

常见误区

  • 误区:Raft 比 Paxos 一致性更强;正解:两者目标都是共识,差异主要在可理解性与工程实现。
  • 误区:掌握 Raft 就不需要了解共识基础;正解:多数派、任期、日志顺序等概念仍是理解关键。

追问

  • Q:etcd 为什么选 Raft? A:实现与运维可理解性好,便于工程落地(官方选型理由以项目文档为准)。
  • Q:Multi-Raft 解决什么? A:多分片各自跑 Raft 以水平扩展,etcd 单集群分片能力以版本为准。