08.3.1.2 集群部署与成员变更
所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.3 etcd / 08.3.1 etcd
命令前提:本机是否安装 etcd/etcdctl 未验证;以下命令与参数按官方语义描述,版本相关字段以官方文档为准。
08.3.1.2-001 一个 etcd 集群由哪些节点组成?
一句话结论
生产集群由 3 或 5 个对等成员节点组成,各自持有数据副本,通过 Raft 选举 Leader;对外是统一 KV 入口,内部按角色复制。
概念解释
- 成员:peer 节点,参与投票与复制。
- 对等:节点结构相同,角色由选举产生。
- 副本:每个成员持有全量状态。
原理流程
- 启动时按成员列表组成集群。
- Raft 选出 Leader。
- 写经 Leader 复制多数,读按一致性级别访问。
代码 / 图示
etcd-1 ─ peer ─ etcd-2 ─ peer ─ etcd-3
统一 client 入口 → 任意成员 → Leader 处理写
常见误区
- 误区:Follower 是只读从库;正解:成员对等,Follower 参与投票与复制。
- 误区:集群存多份独立数据;正解:副本是同一份状态的冗余拷贝。
追问
- Q:为什么不用主从异步复制? A:异步主从有数据丢失窗口,etcd 用多数派 Raft 保证已提交数据不丢。
- Q:节点上哪些进程参与集群? A:每个成员一个 etcd 进程,K8s 场景常由静态 Pod 或托管组件运行。
08.3.1.2-002 静态启动配置 initial-cluster 如何写?
一句话结论
集群首次启动用 --initial-cluster 列出各成员名称与 peer 地址,配合 --initial-cluster-token 与 --initial-advertise-peer-urls 形成初始成员拓扑。
概念解释
- initial-cluster:初始成员名与 peer URL 列表。
- token:隔离不同集群初始状态。
- advertise-peer:对外通告的 peer 地址。
原理流程
- 各节点配置成员名与地址。
- 首次启动按列表互相发现。
- 形成 Raft 集群后加入运行态。
代码 / 示例
etcd --name etcd-1 \
--initial-advertise-peer-urls https://10.0.0.1:2380 \
--listen-peer-urls https://10.0.0.1:2380 \
--advertise-client-urls https://10.0.0.1:2379 \
--listen-client-urls https://10.0.0.1:2379 \
--initial-cluster "etcd-1=https://10.0.0.1:2380,etcd-2=https://10.0.0.2:2380,etcd-3=https://10.0.0.3:2380" \
--initial-cluster-token k8s-etcd
常见误区
- 误区:initial-cluster 运行后还能随意改;正解:它只用于首次初始化,后续变更走成员管理命令。
- 误区:peer 地址用 localhost 跨节点通信;正解:通告地址必须是其他成员可达的真实地址。
追问
- Q:client 与 peer 端口分别是哪个? A:client 通常 2379,peer 通常 2380(默认值,以实际配置为准)。
- Q:initial-cluster-token 作用? A:避免不同集群节点误用同一数据目录加入同一集群。
08.3.1.2-003 集群 TLS 证书涉及哪些对象?
一句话结论
etcd 用证书分别保护 client 通信与 peer 复制通信,包含 CA、服务端证书、客户端证书;K8s 场景证书由集群生命周期管理。
概念解释
- CA:签发与校验信任链。
- server cert:节点服务端身份。
- client cert:访问客户端身份认证。
原理流程
- 生成 CA 与各成员/客户端证书。
- 启动参数指定证书路径。
- 双向校验建立加密连接。
代码 / 示例
--cert-file / --key-file client 服务端证书
--client-cert-auth 校验客户端证书
--peer-cert-file / --peer-key-file peer 证书
--peer-client-cert-auth peer 双向校验
--trusted-ca-file / --peer-trusted-ca-file
常见误区
- 误区:只加密 client 通道就够了;正解:peer 复制通道也应配置 TLS 与双向认证。
- 误区:证书过期不影响运行中的连接;正解:证书到期会导致节点间与客户端连接失败,需纳入到期监控。
追问
- Q:K8s 静态 Pod 式 etcd 证书在哪管理? A:由集群引导流程生成,路径与轮换机制以发行版文档为准。
- Q:证书轮换要注意什么? A:滚动更新证书后确认 peer 与 client 连接重建成功。
08.3.1.2-004 数据目录里 WAL 与 snapshot 是怎么布局的?
一句话结论
数据目录下 WAL 目录记录追加写日志,snapshot 目录存状态快照,bolt 状态文件与元数据落盘;磁盘性能直接决定 etcd 写延迟与稳定性。
概念解释
- WAL:预写日志,顺序追加。
- snapshot:状态机快照。
- 目录:data-dir 下分模块组织。
原理流程
- 写先追加 WAL 并 fsync。
- 周期性生成 snapshot。
- 状态数据持久化在数据目录。
代码 / 图示
data-dir/
member/
wal/ # 预写日志
snap/ # 状态快照
db/ # MVCC 状态库(目录/文件名以版本为准)
常见误区
- 误区:内存里有数据就不依赖磁盘;正解:提交前提是 WAL 持久化,磁盘慢直接拖垮写路径。
- 误区:快照目录可以随意清空;正解:删除运行数据目录文件会破坏集群状态,清理必须走官方流程。
追问
- Q:WAL 为什么要顺序写? A:顺序追加 fsync 性能高,随机写磁盘会显著放大延迟。
- Q:数据目录放网络盘可以吗? A:etcd 对 fsync 延迟敏感,网络盘抖动易引发写超时与 leader 切换,生产建议本地高速盘。
08.3.1.2-005 单节点集群有什么用途与风险?
一句话结论
单节点无冗余,仅适合开发测试;生产必须多节点集群,单节点故障即数据与服务单点,不能提供高可用。
概念解释
- 无副本:故障即丢失单点状态。
- 用途:本地验证、测试环境。
- 风险:无多数派容错。
原理流程
- 单节点自行提交。
- 进程/磁盘故障即不可用。
- 无副本可切换恢复。
代码 / 对照
| 形态 | 容错 | 适用 |
|---|---|---|
| 单节点 | 0 | 开发测试 |
| 3 节点 | 1 台故障 | 生产常见 |
| 5 节点 | 2 台故障 | 高可用/跨机房 |
常见误区
- 误区:单节点挂了能从 Follower 恢复;正解:单节点没有副本。
- 误区:生产用单节点加定时备份就等价高可用;正解:备份是恢复兜底,不是在线冗余。
追问
- Q:单节点转集群怎么做? A:不能直接扩成集群,通常按成员变更/新建集群迁移流程处理,具体以官方文档为准。
- Q:测试环境要不要开 TLS? A:视安全要求,生产必须,内网测试可简化但不照搬生产配置。
08.3.1.2-006 如何向集群添加一个成员?
一句话结论
成员添加通过成员管理命令把新节点加入列表,新节点从快照/日志追平后成为正式成员;添加后确认其健康与复制状态再继续下一步。
概念解释
- 成员列表:集群视角的 peer 集合。
- 追平:新节点加载快照复制增量。
- 健康:加入后参与投票与复制。
原理流程
- 现有集群成员列表确认可加。
- 执行 member add 登记新节点。
- 新节点用给出的启动参数启动并追平。
- 验证成员状态与健康指标。
代码 / 示例
etcdctl member add <new-member-name> --peer-urls <https://new-peer:2380>
# 按命令输出的初始集群参数启动新成员
etcdctl endpoint status --write-out table
常见误区
- 误区:直接启动新节点就自动入集群;正解:必须先登记成员,再启动追平。
- 误区:加成员后立即改变容错数;正解:新成员未追平前不承担多数派确认能力。
追问
- Q:add 后新节点数据从哪来? A:从 Leader 快照与增量日志复制追平。
- Q:成员名与 peer 地址冲突会怎样? A:需先清理旧成员记录,避免地址/身份冲突。
08.3.1.2-007 如何移除一个成员?
一句话结论
先确认被移除节点已离线或可下线,执行 member remove 从成员列表摘除;摘除后多数派重新计算,旧节点数据目录不应再直接重启加入。
概念解释
- 摘除:成员列表移除。
- 多数派:移除后剩余节点需仍满足 quorum。
- 旧目录:避免离线旧节点误重新入群。
原理流程
- 确认集群当前多数派健康。
- member remove 目标成员。
- 剩余成员继续 Raft 复制。
- 旧节点数据目录隔离,不再启动回群。
代码 / 示例
etcdctl member list
etcdctl member remove <member-id>
etcdctl endpoint status --write-out table
常见误区
- 误区:直接关机等于移除成员;正解:关机的离线成员仍占成员列表,需显式 remove 才释放席位。
- 误区:移除后把旧数据目录拷回新节点;正解:身份与数据目录需按成员变更流程处理。
追问
- Q:移除节点后多数派够吗? A:移除前确认存活数仍满足 quorum,否则集群不可写。
- Q:成员 remove 失败常见原因? A:连接不到集群、成员 ID 错误或命令权限/证书问题。
08.3.1.2-008 节点迁移或替换怎么做?
一句话结论
替换节点等价于「加新成员追平 → 移除旧成员」,保证替换过程中多数派始终存活;先加后减,避免一次性减员导致 quorum 丢失。
概念解释
- 顺序:先扩容后缩容。
- 多数派:过程中保持 quorum。
- 数据:新成员追平后再下线旧节点。
原理流程
- 新节点 member add 并追平。
- 确认新成员健康、参与复制。
- member remove 旧节点。
- 验证剩余集群健康。
代码 / 图示
加新成员(追平) → 健康确认 → 移除旧成员 → 验证 quorum
常见误区
- 误区:先删旧节点再加新节点;正解:3 节点先删一台剩 2 台仍可,但追平期间无容错,推荐先加后减。
- 误区:迁移只换机器不用动成员身份;正解:新 peer 地址/身份需走成员变更流程。
追问
- Q:跨机房迁移成员注意什么? A:控制副本跨故障域分布,避免迁移期间单机房故障丢 quorum。
- Q:替换期间写会不会中断? A:多数派保持在线时写不中断,过程需监控延迟与复制状态。
08.3.1.2-009 成员变更为什么强调一次只改一个成员?
一句话结论
Raft 成员变更在单节点变更下最容易保证配置一致性;同时增删多个成员会让新旧配置交集与多数派计算复杂,出错风险高,官方推荐串行变更。
概念解释
- 配置变更:成员集合更新。
- 交集:新旧配置都认可的多数派。
- 串行:一次一步完成再下一步。
原理流程
- 完成一次 add/remove 并稳定。
- 确认成员追平、健康。
- 再执行下一次变更。
代码 / 图示
变更1(完成/稳定) → 变更2(完成/稳定)
避免:add 与 remove 同时进行导致配置交错
常见误区
- 误区:批量同时换节点效率更高;正解:并行成员变更提升 quorum 丢失与配置不一致风险。
- 误区:变更后无需观察即可继续;正解:每步确认健康与复制进度。
追问
- Q:什么是联合成员变更(joint consensus)? A:Raft 中新旧配置共存过渡的机制;etcd 具体变更实现以官方文档为准,此处标注待确认细节。
- Q:成员变更期间 Leader 切换影响? A:可能出现短暂选举与延迟上升,需在低峰期操作并监控。
08.3.1.2-010 备份怎么做?
一句话结论
备份通过在线快照(snapshot)导出当前状态一致性副本,保留备份文件并定期校验可恢复性;备份不替代集群冗余,但用于灾难恢复。
概念解释
- 在线快照:不停止集群导出一致性点。
- 备份文件:含快照与元数据。
- 校验:定期演练恢复。
原理流程
- 在运行集群上执行 snapshot save。
- 备份文件落到安全存储。
- 定期校验备份可恢复。
代码 / 示例
etcdctl snapshot save <backup.db> --endpoints <member>
etcdctl snapshot status <backup.db> --write-out table
常见误区
- 误区:直接拷贝数据目录文件就是可靠备份;正解:运行中直接拷目录可能不一致,应走 snapshot 导出。
- 误区:备份放集群本机磁盘即可;正解:备份需异地/独立存储,节点损毁时才能取回。
追问
- Q:备份频率怎么定? A:按 RPO 要求与写速率评估,定期全量快照,具体周期按业务容忍度。
- Q:备份包含证书吗? A:快照主要含 KV 状态,证书与配置需单独备份记录。
08.3.1.2-011 从备份恢复的基本流程是什么?
一句话结论
恢复基于快照新建集群:清空/指定新数据目录,用 snapshot restore 初始化成员,按恢复后的拓扑启动,再校验数据与成员状态。
概念解释
- restore:快照重建状态。
- 新目录:避免与旧数据混用。
- 拓扑:恢复时重新声明成员。
原理流程
- 准备空数据目录与恢复参数。
- snapshot restore 生成初始状态。
- 启动成员组成恢复集群。
- 校验 revision、数据与健康。
代码 / 示例
etcdctl snapshot restore <backup.db> \
--data-dir <new-data-dir> \
--initial-cluster ... --initial-advertise-peer-urls ...
# 随后按恢复拓扑启动 etcd
常见误区
- 误区:把快照放回原数据目录直接启动即可;正解:restore 需按参数重建集群拓扑,覆盖默认初始化流程。
- 误区:恢复后客户端无感重连;正解:恢复期间集群不可用,需确认 endpoints 与证书配置。
追问
- Q:恢复后 revision 连续吗? A:从快照点恢复,快照之后的写入不在备份中,属于丢失窗口。
- Q:恢复演练要验证什么? A:数据完整性、成员健康、客户端连通与关键对象可查询。
08.3.1.2-012 compact 与 defrag 分别做什么?
一句话结论
compact 回收早于指定 revision 的 MVCC 历史版本;defrag(碎片整理)把压缩后释放的空间归还给文件系统,两者配合控制磁盘占用。
概念解释
- compact:逻辑历史版本回收。
- defrag:物理文件空间整理。
- 顺序:先 compact,必要时再 defrag。
原理流程
- 按当前或指定 revision 执行 compact。
- 旧版本标记回收。
- defrag 整理数据库文件空间并返回磁盘。
代码 / 示例
etcdctl compact <revision>
etcdctl defrag --endpoints <member>
常见误区
- 误区:compact 后磁盘空间立刻释放;正解:MVCC 回收后还需 defrag 才归还文件系统空间。
- 误区:defrag 可以在所有节点同时做;正解:碎片整理有 IO/短时影响,通常逐成员操作并观察健康。
追问
- Q:compact revision 怎么选? A:取当前最新 revision 或按保留窗口设定,早于它的历史不再可读。
- Q:defrag 期间服务可用吗? A:节点级整理有性能开销,需滚动进行,具体影响以官方文档为准。
08.3.1.2-013 集群版本升级要注意什么?
一句话结论
etcd 升级按官方支持的版本路径逐版本推进,先备份、滚动升级成员,每步验证健康与数据;跨多版本跳跃可能不被支持。
概念解释
- 版本路径:支持的升级顺序。
- 滚动:逐成员替换。
- 备份:升级前兜底。
原理流程
- 升级前快照备份。
- 按顺序逐成员升级二进制。
- 每步检查成员状态与复制。
- 全部升级后验证集群。
代码 / 图示
备份 → 逐成员升级 → 健康/复制校验 → 下一成员 → 全量验证
常见误区
- 误区:所有节点同时换版本最省事;正解:滚动升级便于发现兼容问题,同时升级风险集中。
- 误区:可以跨多个大版本直接升级;正解:版本跳跃路径受官方支持矩阵约束,需先核对文档。
追问
- Q:升级前为什么要备份? A:升级异常可回退到快照恢复。
- Q:K8s 内置 etcd 升级由谁管? A:随集群发行版升级流程推进,不要单独脱离集群升级。
08.3.1.2-014 节点时间不同步会有什么影响?
一句话结论
etcd 依赖时钟做证书有效期判断与部分观测口径,节点时钟漂移会导致 TLS 校验失败、证书误判过期;集群应配置 NTP 时间同步。
概念解释
- 证书校验:依赖当前时间有效性。
- 监控:指标时间戳一致性。
- 同步:NTP/chrony 等系统级同步。
原理流程
- 节点配置时间同步。
- 连接握手校验证书有效期。
- 漂移超阈值导致校验失败或告警误判。
代码 / 图示
节点时钟漂移 → 证书时间窗误判 → peer/client 连接失败
常见误区
- 误区:Raft 一致性依赖节点本地时钟;正解:Raft 顺序由日志与 term 决定,时钟主要影响证书与观测。
- 误区:时间漂移只影响监控截图;正解:可直接导致 TLS 握手失败。
追问
- Q:如何检查节点时间同步? A:对比系统时间与 NTP 源偏差,纳入节点基础检查项。
- Q:证书有效期与时钟关系? A:当前时间不在证书有效区间内则校验拒绝。
08.3.1.2-015 client 与 peer 端口分别承担什么流量?
一句话结论
client 端口承接客户端(含 apiserver)读写与 watch 连接;peer 端口承接成员间复制、选举与心跳流量,两者应分别规划监听与安全规则。
概念解释
- client:2379 类端口。
- peer:2380 类端口。
- 隔离:网络策略分别放行。
原理流程
- 客户端连接 client 端口。
- 成员间走 peer 端口复制。
- 防火墙/安全组按端口区分放行。
代码 / 对照
| 端口用途 | 默认端口 | 流量 |
|---|---|---|
| client | 2379 | 读写、watch、客户端认证 |
| peer | 2380 | 复制、选举、心跳 |
常见误区
- 误区:两个端口可以复用同一服务;正解:监听地址与证书用途不同,需分别配置。
- 误区:peer 端口可暴露给任意客户端;正解:peer 通道仅限集群成员互通,应做网络隔离。
追问
- Q:advertise 地址为什么重要? A:客户端/其他成员按通告地址连接,必须网络可达且与监听地址匹配。
- Q:端口被占用怎么排查? A:检查本地监听端口与进程占用,避免残留旧实例占用。
08.3.1.2-016 主机名或 peer 地址变更有什么风险?
一句话结论
成员身份与 peer 地址绑定在集群成员记录中;直接改主机名/IP 会导致其他成员无法按记录连接,需按成员变更流程摘除旧身份、以新地址重新加入。
概念解释
- 成员记录:名称 + peer URL。
- 绑定:集群内引用该记录。
- 变更:走 remove/add,而非本地改配置。
原理流程
- 旧成员按流程移除。
- 新地址成员重新 add。
- 数据追平后替换完成。
代码 / 图示
改 IP/主机名 → 成员记录对不上 → peer 连接失败
正解:member remove 旧 → member add 新(新地址)
常见误区
- 误区:改了启动参数里的地址重启就生效;正解:成员列表仍记旧地址,需同步变更成员记录。
- 误区:多网卡随便选一个地址通告;正解:通告地址必须被所有成员稳定可达。
追问
- Q:IP 固定方案有哪些? A:静态 IP、固定地址池或由编排平台保证成员地址稳定,具体按部署方式。
- Q:地址变更期间如何避免脑裂? A:保持多数派在线,串行完成变更并验证连接。
08.3.1.2-017 备份策略与 RPO 如何规划?
一句话结论
按业务可接受的数据丢失窗口定备份频率与保留周期,结合快照备份、异地存放与定期恢复演练;etcd 冗余防节点故障,备份防逻辑误删与灾难。
概念解释
- RPO:最大可容忍丢失时间窗。
- 冗余:在线节点故障容错。
- 备份:误删/损坏/灾难恢复。
原理流程
- 评估 RPO/RTO 目标。
- 按频率生成快照并异地留存。
- 定期演练恢复,校验备份有效。
代码 / 图示
节点故障 → 集群冗余兜底
误删/灾难 → 快照备份恢复
备份频率 ≈ RPO;恢复演练验证 RTO
常见误区
- 误区:有 3 节点集群就不需要备份;正解:多副本防硬件故障,防误删与集群级损坏仍需备份。
- 误区:备份生成后无需验证;正解:未演练的备份可能在恢复时才发现不可用。
追问
- Q:K8s 误删对象靠什么恢复? A:靠 etcd 快照恢复到备份点,期间新增/变更对象不在备份内。
- Q:备份保留多久? A:按合规与回滚窗口设定,结合磁盘容量评估。
08.3.1.2-018 成员变更常见失败场景有哪些?
一句话结论
常见失败:多数派不足导致命令超时、证书/网络不通连不上成员、成员 ID 与地址不匹配、新节点无法追平、旧实例残留占用数据目录。
概念解释
- quorum:变更命令需连通多数派。
- 网络证书:peer/client 可达与校验。
- 残留:旧进程/目录冲突。
原理流程
- 变更命令先确认集群健康与连通。
- 核对成员 ID、地址、证书。
- 新节点追平后再确认下一步。
代码 / 图示
变更失败 → 命令连通性 → 成员 ID/地址 → 证书 → 新节点复制进度 → 残留进程/目录
常见误区
- 误区:成员命令失败是 etcd 数据损坏;正解:多数是连通、证书或参数问题,先排查命令链路。
- 误区:新节点追慢一点无所谓;正解:未追平成员不计有效多数,提前继续变更有风险。
追问
- Q:如何查看成员列表与健康? A:
member list与endpoint status/health类命令,具体子命令以版本为准。 - Q:变更卡住怎么办? A:先停止后续变更,保留现场,检查网络/证书/磁盘与复制滞后,恢复稳定后再继续。