罗罗编程学习记录
本页内容 展开查看

08.3.1.2 集群部署与成员变更

所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.3 etcd / 08.3.1 etcd

命令前提:本机是否安装 etcd/etcdctl 未验证;以下命令与参数按官方语义描述,版本相关字段以官方文档为准。

08.3.1.2-001 一个 etcd 集群由哪些节点组成?

一句话结论

生产集群由 3 或 5 个对等成员节点组成,各自持有数据副本,通过 Raft 选举 Leader;对外是统一 KV 入口,内部按角色复制。

概念解释

  • 成员:peer 节点,参与投票与复制。
  • 对等:节点结构相同,角色由选举产生。
  • 副本:每个成员持有全量状态。

原理流程

  1. 启动时按成员列表组成集群。
  2. Raft 选出 Leader。
  3. 写经 Leader 复制多数,读按一致性级别访问。

代码 / 图示

etcd-1 ─ peer ─ etcd-2 ─ peer ─ etcd-3
统一 client 入口 → 任意成员 → Leader 处理写

常见误区

  • 误区:Follower 是只读从库;正解:成员对等,Follower 参与投票与复制。
  • 误区:集群存多份独立数据;正解:副本是同一份状态的冗余拷贝。

追问

  • Q:为什么不用主从异步复制? A:异步主从有数据丢失窗口,etcd 用多数派 Raft 保证已提交数据不丢。
  • Q:节点上哪些进程参与集群? A:每个成员一个 etcd 进程,K8s 场景常由静态 Pod 或托管组件运行。

08.3.1.2-002 静态启动配置 initial-cluster 如何写?

一句话结论

集群首次启动用 --initial-cluster 列出各成员名称与 peer 地址,配合 --initial-cluster-token 与 --initial-advertise-peer-urls 形成初始成员拓扑。

概念解释

  • initial-cluster:初始成员名与 peer URL 列表。
  • token:隔离不同集群初始状态。
  • advertise-peer:对外通告的 peer 地址。

原理流程

  1. 各节点配置成员名与地址。
  2. 首次启动按列表互相发现。
  3. 形成 Raft 集群后加入运行态。

代码 / 示例

etcd --name etcd-1 \
  --initial-advertise-peer-urls https://10.0.0.1:2380 \
  --listen-peer-urls https://10.0.0.1:2380 \
  --advertise-client-urls https://10.0.0.1:2379 \
  --listen-client-urls https://10.0.0.1:2379 \
  --initial-cluster "etcd-1=https://10.0.0.1:2380,etcd-2=https://10.0.0.2:2380,etcd-3=https://10.0.0.3:2380" \
  --initial-cluster-token k8s-etcd

常见误区

  • 误区:initial-cluster 运行后还能随意改;正解:它只用于首次初始化,后续变更走成员管理命令。
  • 误区:peer 地址用 localhost 跨节点通信;正解:通告地址必须是其他成员可达的真实地址。

追问

  • Q:client 与 peer 端口分别是哪个? A:client 通常 2379,peer 通常 2380(默认值,以实际配置为准)。
  • Q:initial-cluster-token 作用? A:避免不同集群节点误用同一数据目录加入同一集群。

08.3.1.2-003 集群 TLS 证书涉及哪些对象?

一句话结论

etcd 用证书分别保护 client 通信与 peer 复制通信,包含 CA、服务端证书、客户端证书;K8s 场景证书由集群生命周期管理。

概念解释

  • CA:签发与校验信任链。
  • server cert:节点服务端身份。
  • client cert:访问客户端身份认证。

原理流程

  1. 生成 CA 与各成员/客户端证书。
  2. 启动参数指定证书路径。
  3. 双向校验建立加密连接。

代码 / 示例

--cert-file / --key-file          client 服务端证书
--client-cert-auth                校验客户端证书
--peer-cert-file / --peer-key-file peer 证书
--peer-client-cert-auth           peer 双向校验
--trusted-ca-file / --peer-trusted-ca-file

常见误区

  • 误区:只加密 client 通道就够了;正解:peer 复制通道也应配置 TLS 与双向认证。
  • 误区:证书过期不影响运行中的连接;正解:证书到期会导致节点间与客户端连接失败,需纳入到期监控。

追问

  • Q:K8s 静态 Pod 式 etcd 证书在哪管理? A:由集群引导流程生成,路径与轮换机制以发行版文档为准。
  • Q:证书轮换要注意什么? A:滚动更新证书后确认 peer 与 client 连接重建成功。

08.3.1.2-004 数据目录里 WAL 与 snapshot 是怎么布局的?

一句话结论

数据目录下 WAL 目录记录追加写日志,snapshot 目录存状态快照,bolt 状态文件与元数据落盘;磁盘性能直接决定 etcd 写延迟与稳定性。

概念解释

  • WAL:预写日志,顺序追加。
  • snapshot:状态机快照。
  • 目录:data-dir 下分模块组织。

原理流程

  1. 写先追加 WAL 并 fsync。
  2. 周期性生成 snapshot。
  3. 状态数据持久化在数据目录。

代码 / 图示

data-dir/
  member/
    wal/       # 预写日志
    snap/      # 状态快照
    db/        # MVCC 状态库(目录/文件名以版本为准)

常见误区

  • 误区:内存里有数据就不依赖磁盘;正解:提交前提是 WAL 持久化,磁盘慢直接拖垮写路径。
  • 误区:快照目录可以随意清空;正解:删除运行数据目录文件会破坏集群状态,清理必须走官方流程。

追问

  • Q:WAL 为什么要顺序写? A:顺序追加 fsync 性能高,随机写磁盘会显著放大延迟。
  • Q:数据目录放网络盘可以吗? A:etcd 对 fsync 延迟敏感,网络盘抖动易引发写超时与 leader 切换,生产建议本地高速盘。

08.3.1.2-005 单节点集群有什么用途与风险?

一句话结论

单节点无冗余,仅适合开发测试;生产必须多节点集群,单节点故障即数据与服务单点,不能提供高可用。

概念解释

  • 无副本:故障即丢失单点状态。
  • 用途:本地验证、测试环境。
  • 风险:无多数派容错。

原理流程

  1. 单节点自行提交。
  2. 进程/磁盘故障即不可用。
  3. 无副本可切换恢复。

代码 / 对照

形态 容错 适用
单节点 0 开发测试
3 节点 1 台故障 生产常见
5 节点 2 台故障 高可用/跨机房

常见误区

  • 误区:单节点挂了能从 Follower 恢复;正解:单节点没有副本。
  • 误区:生产用单节点加定时备份就等价高可用;正解:备份是恢复兜底,不是在线冗余。

追问

  • Q:单节点转集群怎么做? A:不能直接扩成集群,通常按成员变更/新建集群迁移流程处理,具体以官方文档为准。
  • Q:测试环境要不要开 TLS? A:视安全要求,生产必须,内网测试可简化但不照搬生产配置。

08.3.1.2-006 如何向集群添加一个成员?

一句话结论

成员添加通过成员管理命令把新节点加入列表,新节点从快照/日志追平后成为正式成员;添加后确认其健康与复制状态再继续下一步。

概念解释

  • 成员列表:集群视角的 peer 集合。
  • 追平:新节点加载快照复制增量。
  • 健康:加入后参与投票与复制。

原理流程

  1. 现有集群成员列表确认可加。
  2. 执行 member add 登记新节点。
  3. 新节点用给出的启动参数启动并追平。
  4. 验证成员状态与健康指标。

代码 / 示例

etcdctl member add <new-member-name> --peer-urls <https://new-peer:2380>
# 按命令输出的初始集群参数启动新成员
etcdctl endpoint status --write-out table

常见误区

  • 误区:直接启动新节点就自动入集群;正解:必须先登记成员,再启动追平。
  • 误区:加成员后立即改变容错数;正解:新成员未追平前不承担多数派确认能力。

追问

  • Q:add 后新节点数据从哪来? A:从 Leader 快照与增量日志复制追平。
  • Q:成员名与 peer 地址冲突会怎样? A:需先清理旧成员记录,避免地址/身份冲突。

08.3.1.2-007 如何移除一个成员?

一句话结论

先确认被移除节点已离线或可下线,执行 member remove 从成员列表摘除;摘除后多数派重新计算,旧节点数据目录不应再直接重启加入。

概念解释

  • 摘除:成员列表移除。
  • 多数派:移除后剩余节点需仍满足 quorum。
  • 旧目录:避免离线旧节点误重新入群。

原理流程

  1. 确认集群当前多数派健康。
  2. member remove 目标成员。
  3. 剩余成员继续 Raft 复制。
  4. 旧节点数据目录隔离,不再启动回群。

代码 / 示例

etcdctl member list
etcdctl member remove <member-id>
etcdctl endpoint status --write-out table

常见误区

  • 误区:直接关机等于移除成员;正解:关机的离线成员仍占成员列表,需显式 remove 才释放席位。
  • 误区:移除后把旧数据目录拷回新节点;正解:身份与数据目录需按成员变更流程处理。

追问

  • Q:移除节点后多数派够吗? A:移除前确认存活数仍满足 quorum,否则集群不可写。
  • Q:成员 remove 失败常见原因? A:连接不到集群、成员 ID 错误或命令权限/证书问题。

08.3.1.2-008 节点迁移或替换怎么做?

一句话结论

替换节点等价于「加新成员追平 → 移除旧成员」,保证替换过程中多数派始终存活;先加后减,避免一次性减员导致 quorum 丢失。

概念解释

  • 顺序:先扩容后缩容。
  • 多数派:过程中保持 quorum。
  • 数据:新成员追平后再下线旧节点。

原理流程

  1. 新节点 member add 并追平。
  2. 确认新成员健康、参与复制。
  3. member remove 旧节点。
  4. 验证剩余集群健康。

代码 / 图示

加新成员(追平) → 健康确认 → 移除旧成员 → 验证 quorum

常见误区

  • 误区:先删旧节点再加新节点;正解:3 节点先删一台剩 2 台仍可,但追平期间无容错,推荐先加后减。
  • 误区:迁移只换机器不用动成员身份;正解:新 peer 地址/身份需走成员变更流程。

追问

  • Q:跨机房迁移成员注意什么? A:控制副本跨故障域分布,避免迁移期间单机房故障丢 quorum。
  • Q:替换期间写会不会中断? A:多数派保持在线时写不中断,过程需监控延迟与复制状态。

08.3.1.2-009 成员变更为什么强调一次只改一个成员?

一句话结论

Raft 成员变更在单节点变更下最容易保证配置一致性;同时增删多个成员会让新旧配置交集与多数派计算复杂,出错风险高,官方推荐串行变更。

概念解释

  • 配置变更:成员集合更新。
  • 交集:新旧配置都认可的多数派。
  • 串行:一次一步完成再下一步。

原理流程

  1. 完成一次 add/remove 并稳定。
  2. 确认成员追平、健康。
  3. 再执行下一次变更。

代码 / 图示

变更1(完成/稳定) → 变更2(完成/稳定)
避免:add 与 remove 同时进行导致配置交错

常见误区

  • 误区:批量同时换节点效率更高;正解:并行成员变更提升 quorum 丢失与配置不一致风险。
  • 误区:变更后无需观察即可继续;正解:每步确认健康与复制进度。

追问

  • Q:什么是联合成员变更(joint consensus)? A:Raft 中新旧配置共存过渡的机制;etcd 具体变更实现以官方文档为准,此处标注待确认细节。
  • Q:成员变更期间 Leader 切换影响? A:可能出现短暂选举与延迟上升,需在低峰期操作并监控。

08.3.1.2-010 备份怎么做?

一句话结论

备份通过在线快照(snapshot)导出当前状态一致性副本,保留备份文件并定期校验可恢复性;备份不替代集群冗余,但用于灾难恢复。

概念解释

  • 在线快照:不停止集群导出一致性点。
  • 备份文件:含快照与元数据。
  • 校验:定期演练恢复。

原理流程

  1. 在运行集群上执行 snapshot save。
  2. 备份文件落到安全存储。
  3. 定期校验备份可恢复。

代码 / 示例

etcdctl snapshot save <backup.db> --endpoints <member>
etcdctl snapshot status <backup.db> --write-out table

常见误区

  • 误区:直接拷贝数据目录文件就是可靠备份;正解:运行中直接拷目录可能不一致,应走 snapshot 导出。
  • 误区:备份放集群本机磁盘即可;正解:备份需异地/独立存储,节点损毁时才能取回。

追问

  • Q:备份频率怎么定? A:按 RPO 要求与写速率评估,定期全量快照,具体周期按业务容忍度。
  • Q:备份包含证书吗? A:快照主要含 KV 状态,证书与配置需单独备份记录。

08.3.1.2-011 从备份恢复的基本流程是什么?

一句话结论

恢复基于快照新建集群:清空/指定新数据目录,用 snapshot restore 初始化成员,按恢复后的拓扑启动,再校验数据与成员状态。

概念解释

  • restore:快照重建状态。
  • 新目录:避免与旧数据混用。
  • 拓扑:恢复时重新声明成员。

原理流程

  1. 准备空数据目录与恢复参数。
  2. snapshot restore 生成初始状态。
  3. 启动成员组成恢复集群。
  4. 校验 revision、数据与健康。

代码 / 示例

etcdctl snapshot restore <backup.db> \
  --data-dir <new-data-dir> \
  --initial-cluster ... --initial-advertise-peer-urls ...
# 随后按恢复拓扑启动 etcd

常见误区

  • 误区:把快照放回原数据目录直接启动即可;正解:restore 需按参数重建集群拓扑,覆盖默认初始化流程。
  • 误区:恢复后客户端无感重连;正解:恢复期间集群不可用,需确认 endpoints 与证书配置。

追问

  • Q:恢复后 revision 连续吗? A:从快照点恢复,快照之后的写入不在备份中,属于丢失窗口。
  • Q:恢复演练要验证什么? A:数据完整性、成员健康、客户端连通与关键对象可查询。

08.3.1.2-012 compact 与 defrag 分别做什么?

一句话结论

compact 回收早于指定 revision 的 MVCC 历史版本;defrag(碎片整理)把压缩后释放的空间归还给文件系统,两者配合控制磁盘占用。

概念解释

  • compact:逻辑历史版本回收。
  • defrag:物理文件空间整理。
  • 顺序:先 compact,必要时再 defrag。

原理流程

  1. 按当前或指定 revision 执行 compact。
  2. 旧版本标记回收。
  3. defrag 整理数据库文件空间并返回磁盘。

代码 / 示例

etcdctl compact <revision>
etcdctl defrag --endpoints <member>

常见误区

  • 误区:compact 后磁盘空间立刻释放;正解:MVCC 回收后还需 defrag 才归还文件系统空间。
  • 误区:defrag 可以在所有节点同时做;正解:碎片整理有 IO/短时影响,通常逐成员操作并观察健康。

追问

  • Q:compact revision 怎么选? A:取当前最新 revision 或按保留窗口设定,早于它的历史不再可读。
  • Q:defrag 期间服务可用吗? A:节点级整理有性能开销,需滚动进行,具体影响以官方文档为准。

08.3.1.2-013 集群版本升级要注意什么?

一句话结论

etcd 升级按官方支持的版本路径逐版本推进,先备份、滚动升级成员,每步验证健康与数据;跨多版本跳跃可能不被支持。

概念解释

  • 版本路径:支持的升级顺序。
  • 滚动:逐成员替换。
  • 备份:升级前兜底。

原理流程

  1. 升级前快照备份。
  2. 按顺序逐成员升级二进制。
  3. 每步检查成员状态与复制。
  4. 全部升级后验证集群。

代码 / 图示

备份 → 逐成员升级 → 健康/复制校验 → 下一成员 → 全量验证

常见误区

  • 误区:所有节点同时换版本最省事;正解:滚动升级便于发现兼容问题,同时升级风险集中。
  • 误区:可以跨多个大版本直接升级;正解:版本跳跃路径受官方支持矩阵约束,需先核对文档。

追问

  • Q:升级前为什么要备份? A:升级异常可回退到快照恢复。
  • Q:K8s 内置 etcd 升级由谁管? A:随集群发行版升级流程推进,不要单独脱离集群升级。

08.3.1.2-014 节点时间不同步会有什么影响?

一句话结论

etcd 依赖时钟做证书有效期判断与部分观测口径,节点时钟漂移会导致 TLS 校验失败、证书误判过期;集群应配置 NTP 时间同步。

概念解释

  • 证书校验:依赖当前时间有效性。
  • 监控:指标时间戳一致性。
  • 同步:NTP/chrony 等系统级同步。

原理流程

  1. 节点配置时间同步。
  2. 连接握手校验证书有效期。
  3. 漂移超阈值导致校验失败或告警误判。

代码 / 图示

节点时钟漂移 → 证书时间窗误判 → peer/client 连接失败

常见误区

  • 误区:Raft 一致性依赖节点本地时钟;正解:Raft 顺序由日志与 term 决定,时钟主要影响证书与观测。
  • 误区:时间漂移只影响监控截图;正解:可直接导致 TLS 握手失败。

追问

  • Q:如何检查节点时间同步? A:对比系统时间与 NTP 源偏差,纳入节点基础检查项。
  • Q:证书有效期与时钟关系? A:当前时间不在证书有效区间内则校验拒绝。

08.3.1.2-015 client 与 peer 端口分别承担什么流量?

一句话结论

client 端口承接客户端(含 apiserver)读写与 watch 连接;peer 端口承接成员间复制、选举与心跳流量,两者应分别规划监听与安全规则。

概念解释

  • client:2379 类端口。
  • peer:2380 类端口。
  • 隔离:网络策略分别放行。

原理流程

  1. 客户端连接 client 端口。
  2. 成员间走 peer 端口复制。
  3. 防火墙/安全组按端口区分放行。

代码 / 对照

端口用途 默认端口 流量
client 2379 读写、watch、客户端认证
peer 2380 复制、选举、心跳

常见误区

  • 误区:两个端口可以复用同一服务;正解:监听地址与证书用途不同,需分别配置。
  • 误区:peer 端口可暴露给任意客户端;正解:peer 通道仅限集群成员互通,应做网络隔离。

追问

  • Q:advertise 地址为什么重要? A:客户端/其他成员按通告地址连接,必须网络可达且与监听地址匹配。
  • Q:端口被占用怎么排查? A:检查本地监听端口与进程占用,避免残留旧实例占用。

08.3.1.2-016 主机名或 peer 地址变更有什么风险?

一句话结论

成员身份与 peer 地址绑定在集群成员记录中;直接改主机名/IP 会导致其他成员无法按记录连接,需按成员变更流程摘除旧身份、以新地址重新加入。

概念解释

  • 成员记录:名称 + peer URL。
  • 绑定:集群内引用该记录。
  • 变更:走 remove/add,而非本地改配置。

原理流程

  1. 旧成员按流程移除。
  2. 新地址成员重新 add。
  3. 数据追平后替换完成。

代码 / 图示

改 IP/主机名 → 成员记录对不上 → peer 连接失败
正解:member remove 旧 → member add 新(新地址)

常见误区

  • 误区:改了启动参数里的地址重启就生效;正解:成员列表仍记旧地址,需同步变更成员记录。
  • 误区:多网卡随便选一个地址通告;正解:通告地址必须被所有成员稳定可达。

追问

  • Q:IP 固定方案有哪些? A:静态 IP、固定地址池或由编排平台保证成员地址稳定,具体按部署方式。
  • Q:地址变更期间如何避免脑裂? A:保持多数派在线,串行完成变更并验证连接。

08.3.1.2-017 备份策略与 RPO 如何规划?

一句话结论

按业务可接受的数据丢失窗口定备份频率与保留周期,结合快照备份、异地存放与定期恢复演练;etcd 冗余防节点故障,备份防逻辑误删与灾难。

概念解释

  • RPO:最大可容忍丢失时间窗。
  • 冗余:在线节点故障容错。
  • 备份:误删/损坏/灾难恢复。

原理流程

  1. 评估 RPO/RTO 目标。
  2. 按频率生成快照并异地留存。
  3. 定期演练恢复,校验备份有效。

代码 / 图示

节点故障 → 集群冗余兜底
误删/灾难 → 快照备份恢复
备份频率 ≈ RPO;恢复演练验证 RTO

常见误区

  • 误区:有 3 节点集群就不需要备份;正解:多副本防硬件故障,防误删与集群级损坏仍需备份。
  • 误区:备份生成后无需验证;正解:未演练的备份可能在恢复时才发现不可用。

追问

  • Q:K8s 误删对象靠什么恢复? A:靠 etcd 快照恢复到备份点,期间新增/变更对象不在备份内。
  • Q:备份保留多久? A:按合规与回滚窗口设定,结合磁盘容量评估。

08.3.1.2-018 成员变更常见失败场景有哪些?

一句话结论

常见失败:多数派不足导致命令超时、证书/网络不通连不上成员、成员 ID 与地址不匹配、新节点无法追平、旧实例残留占用数据目录。

概念解释

  • quorum:变更命令需连通多数派。
  • 网络证书:peer/client 可达与校验。
  • 残留:旧进程/目录冲突。

原理流程

  1. 变更命令先确认集群健康与连通。
  2. 核对成员 ID、地址、证书。
  3. 新节点追平后再确认下一步。

代码 / 图示

变更失败 → 命令连通性 → 成员 ID/地址 → 证书 → 新节点复制进度 → 残留进程/目录

常见误区

  • 误区:成员命令失败是 etcd 数据损坏;正解:多数是连通、证书或参数问题,先排查命令链路。
  • 误区:新节点追慢一点无所谓;正解:未追平成员不计有效多数,提前继续变更有风险。

追问

  • Q:如何查看成员列表与健康? A:member list 与 endpoint status/health 类命令,具体子命令以版本为准。
  • Q:变更卡住怎么办? A:先停止后续变更,保留现场,检查网络/证书/磁盘与复制滞后,恢复稳定后再继续。