罗罗编程学习记录
本页内容 展开查看

08.3.1.4 性能容量与故障演练

所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.3 etcd / 08.3.1 etcd

命令前提:本机是否安装 etcdctl 未验证;指标阈值与版本行为以官方文档和真实集群监控为准,未在本机实测。

08.3.1.4-001 etcd 性能主要瓶颈在哪里?

一句话结论

写路径受磁盘 fsync 与多数派复制制约,读路径受 Leader 处理能力与一致性级别制约;磁盘 IO 慢是最常见的稳定性与延迟瓶颈。

概念解释

  • 写:WAL fsync + 复制多数。
  • 读:Leader 状态读取与确认开销。
  • 资源:磁盘、网络、CPU、内存。

原理流程

  1. 写请求落 WAL 并 fsync。
  2. 复制到多数节点。
  3. 读按一致性级别访问 Leader 状态。

代码 / 图示

写延迟 ≈ 本地 fsync + 多数派复制往返
读延迟 ≈ 一致性确认开销 + 本地状态读取

常见误区

  • 误区:加 CPU 就能显著提升 etcd 吞吐;正解:写瓶颈常在磁盘 fsync 与复制往返,CPU 不是唯一因素。
  • 误区:读压力可以靠加节点线性扩展;正解:强一致读仍受 Leader 约束。

追问

  • Q:如何判断瓶颈在磁盘? A:观察 fsync 延迟、磁盘 IO 利用率与写延迟相关性。
  • Q:网络对写延迟影响? A:多数派复制往返依赖成员间网络,跨机房 RTT 会抬高写延迟。

08.3.1.4-002 写延迟为什么和磁盘 fsync 强相关?

一句话结论

提交前 WAL 必须持久化到磁盘(fsync),fsync 等待时间直接计入写延迟;磁盘随机写慢或 IO 拥塞会拉长提交链路。

概念解释

  • WAL:预写日志先落盘。
  • fsync:刷盘确认持久化。
  • 阻塞:提交等待刷盘完成。

原理流程

  1. 写请求追加 WAL。
  2. 调用 fsync 等待落盘。
  3. 持久化后再复制提交。

代码 / 图示

写 → 追加 WAL → fsync 等待 → 复制多数 → commit
fsync 慢 → 写排队 → 延迟上升 → 可能触发 leader 不稳定

常见误区

  • 误区:WAL 写内存就算持久化;正解:必须 fsync 落盘才计入持久化确认。
  • 误区:用机械盘和 SSD 对 etcd 差别不大;正解:fsync 延迟差异直接体现在写延迟上。

追问

  • Q:fsync 延迟高看哪些指标? A:磁盘刷盘耗时、IO 等待、写队列深度,结合 etcd 写延迟趋势。
  • Q:网络盘 fsync 抖动风险? A:网络存储 IO 延迟不稳定,易造成写超时与选举问题,生产建议本地 SSD。

08.3.1.4-003 读延迟受哪些因素影响?

一句话结论

读延迟包含一致性确认开销(线性读需领导权确认)、本地状态读取与网络往返;一致性级别越高、Leader 负载越重,读延迟越高。

概念解释

  • 确认:线性读的领导权校验。
  • 本地读:状态机查询。
  • 往返:客户端到服务端 RTT。

原理流程

  1. 请求到服务端。
  2. 按一致性级别做确认或直接读。
  3. 返回结果,含网络往返。

代码 / 对照

读级别 额外确认 相对延迟
线性一致 领导权确认 较高
串行读 无额外确认 较低
陈旧读 副本本地返回 低(可能过期)

常见误区

  • 误区:读不写盘所以永远快;正解:一致性确认与 Leader 负载仍构成延迟。
  • 误区:读慢一定是数据库查询慢;正解:KV 状态读取本身轻量,更多受网络与确认开销影响。

追问

  • Q:Leader 负载高读会怎样? A:读请求排队,延迟上升,必要时评估读口径与容量。
  • Q:如何区分网络延迟与服务端处理延迟? A:对比客户端 RTT 与服务端处理耗时指标。

08.3.1.4-004 吞吐受什么限制,写放大来自哪里?

一句话结论

吞吐受 fsync 批次、复制扇出、事件推送与状态机写入限制;MVCC 多版本、watch 扇出与历史累积构成额外开销。

概念解释

  • 批次:fsync 合并写。
  • 扇出:复制与 watch 推送。
  • 版本:多版本树维护成本。

原理流程

  1. 写进入 WAL 与复制。
  2. 状态机更新 MVCC。
  3. 事件扇出到 watcher。

代码 / 图示

一次写 → WAL/复制 → MVCC 更新 → watch 扇出
历史版本越多、watcher 越多 → 单位写成本越高

常见误区

  • 误区:吞吐只看每秒请求数;正解:还需结合 value 大小、事件扇出与历史增长评估。
  • 误区:批量写和单条写成本相同;正解:批量减少往返与 fsync 次数,但单次请求体积更大。

追问

  • Q:高频小对象写与低频大对象写哪个压力大? A:小对象高频写放大 fsync 次数与事件量;大对象占用内存/网络,需分别评估。
  • Q:如何观察吞吐瓶颈? A:看写/读 QPS、延迟分布与资源利用率的对应关系。

08.3.1.4-005 磁盘选型与 IO 有什么要求?

一句话结论

etcd 对磁盘 fsync 延迟敏感,生产推荐本地 SSD 类高速盘,避免网络盘与机械盘;磁盘需预留空间并监控 IO 利用率与延迟。

概念解释

  • 顺序写:WAL 追加。
  • 延迟:fsync 稳定性比峰值带宽更关键。
  • 空间:数据目录预留增长余量。

原理流程

  1. 部署时选择本地高速存储。
  2. 监控 IO 延迟与空间。
  3. 避免磁盘满与 IO 拥塞。

代码 / 图示

推荐:本地 SSD,低且稳定的 fsync 延迟
规避:机械盘、抖动大的网络盘、空间打满的磁盘

常见误区

  • 误区:磁盘容量够就行;正解:fsync 延迟稳定性比容量更影响写路径。
  • 误区:磁盘满只影响新写入;正解:空间耗尽可能导致 WAL/快照异常,需提前告警。

追问

  • Q:如何检查磁盘 IO 延迟? A:系统级 IO 延迟/等待指标结合 etcd 写延迟趋势判断。
  • Q:数据目录和快照目录能否分盘? A:可按部署规划分离以分散 IO,具体以官方部署建议为准。

08.3.1.4-006 碎片整理如何控制磁盘占用?

一句话结论

compact 回收 MVCC 历史后,数据库文件可能仍保留空闲空间,defrag 整理把空间归还文件系统;需按空间增长节奏滚动执行。

概念解释

  • 逻辑回收:compact 清历史。
  • 物理归还:defrag 整理文件。
  • 滚动:逐成员操作避免同时影响。

原理流程

  1. 监控数据目录大小与历史版本量。
  2. 执行 compact 回收旧版本。
  3. 必要时逐成员 defrag 归还空间。

代码 / 示例

etcdctl compact <revision>
etcdctl defrag --endpoints <member>

常见误区

  • 误区:defrag 可以替代 compact;正解:先 compact 回收历史,defrag 才整理出可归还空间。
  • 误区:所有节点同时 defrag;正解:整理有 IO 与短时开销,应逐成员观察健康后继续。

追问

  • Q:defrag 期间节点还能服务吗? A:有性能开销,具体服务影响以官方文档为准,建议低峰滚动执行。
  • Q:空间增长过快先查什么? A:历史版本保留策略、大 value 数量与未压缩的历史窗口。

08.3.1.4-007 compact 策略如何设定?

一句话结论

compact 按保留历史窗口设定 revision 阈值:既要给 watch 续接留足窗口,又不能让历史无限累积;结合断连恢复时长与磁盘容量评估。

概念解释

  • 窗口:可回看的历史范围。
  • 平衡:续接需求 vs 空间占用。
  • 周期:按写速率与容量定期执行。

原理流程

  1. 评估最长可接受断连恢复时长。
  2. 按写速率换算保留 revision 窗口。
  3. 定期 compact 并观察空间。

代码 / 图示

保留窗口 ≥ 最长重连恢复时间内产生的 revision
compact 阈值 = 当前 rev - 保留窗口

常见误区

  • 误区:compact 越频繁越好;正解:过紧窗口会导致正常断连续接失败,被迫全量重建。
  • 误区:compact 只影响磁盘不影响读;正解:历史读与旧 revision watch 同时受窗口限制。

追问

  • Q:compact 后当前数据会丢吗? A:不丢当前最新值,只回收历史版本。
  • Q:如何查看当前 compact revision? A:通过 endpoint/status 类命令查看,具体字段以版本为准。

08.3.1.4-008 容量规划要估算哪些维度?

一句话结论

容量规划估算 key 数量、平均 value 大小、历史版本增长、watch 连接数与磁盘/内存余量;按集群规模与写速率推算并留冗余。

概念解释

  • 数据量:对象数量 × 平均大小。
  • 历史:MVCC 版本累积。
  • 连接:watcher 与客户端连接。

原理流程

  1. 统计对象数量与 value 大小。
  2. 估算历史版本与增长速率。
  3. 结合内存、磁盘、连接数留冗余。

代码 / 对照

维度 估算依据
key 数量 集群对象规模
value 大小 平均对象序列化体积
历史增长 写速率 × 保留窗口
连接 watcher/客户端并发数

常见误区

  • 误区:只按当前数据量估磁盘;正解:历史版本与增长速率才是长期占用主因。
  • 误区:内存占用只看当前 key;正解:历史版本、缓存与连接缓冲都占内存。

追问

  • Q:K8s 集群规模如何映射 etcd 容量? A:按对象总数、单对象大小与变更频率评估,官方有容量建议参考(以版本文档为准)。
  • Q:容量超预期先扩什么? A:先定位是数据量、历史版本还是连接/watcher 导致,再针对性处理。

08.3.1.4-009 大 value 有什么风险?

一句话结论

单 key value 过大会放大单次读写、复制与内存占用,影响 Raft 复制效率与整体延迟;etcd 面向小体量元数据,不应存大对象。

概念解释

  • 复制:大 value 随日志复制。
  • 内存:加载与缓存占用。
  • 延迟:单次操作体积大。

原理流程

  1. 大 value 写入进入 WAL 与日志。
  2. 复制到多数节点。
  3. 状态机与内存维护大体积版本。

代码 / 图示

大 value → 单次写/复制/内存放大 → 拖慢整体提交与读
大对象应存对象存储/文件服务,etcd 只存引用

常见误区

  • 误区:etcd 可以存配置文件/镜像层;正解:大体积数据应放专用存储,etcd 存元数据与引用。
  • 误区:value 大小限制可以忽略;正解:超限会被拒绝或显著影响性能,具体上限以官方文档为准。

追问

  • Q:配置里的大段二进制放哪? A:放对象存储或配置服务,etcd 存路径/引用。
  • Q:如何发现大 key? A:按 key 范围统计 value 大小,工具与命令以版本为准。

08.3.1.4-010 慢节点有哪些表现,怎么定位?

一句话结论

慢节点表现为复制滞后、心跳超时、被标记不健康;通过成员状态对比 commit/index、延迟指标与节点磁盘/网络资源定位。

概念解释

  • 滞后:日志 index 落后 Leader。
  • 超时:心跳/复制响应慢。
  • 资源:磁盘、网络、CPU 瓶颈。

原理流程

  1. 对比各成员 status 的 index/延迟。
  2. 检查慢节点磁盘 IO、网络、CPU/内存。
  3. 定位瓶颈后修复或替换节点。

代码 / 示例

etcdctl endpoint status --write-out table
# 关注各成员 commit/index、延迟与错误计数(字段以版本为准)

常见误区

  • 误区:慢节点直接重启就能恢复;正解:先定位磁盘/网络根因,重启可能只是暂时缓解。
  • 误区:单个慢节点不影响集群;正解:它拖累多数派确认速度,严重时触发选举不稳定。

追问

  • Q:复制滞后怎么量化? A:对比 Leader 与 Follower 的日志 index 差值与复制延迟指标。
  • Q:慢节点长期不恢复怎么办? A:按成员变更流程替换节点(见 08.3.1.2-008)。

08.3.1.4-011 leader 切换会带来什么影响?

一句话结论

Leader 故障或被驱逐后触发重新选举,选举期间写不可用、读受一致性级别影响;切换完成后新 Leader 继续服务,期间有短暂中断窗口。

概念解释

  • 选举:超时后重新竞选。
  • 中断:选举窗口内写阻塞。
  • 恢复:新 Leader 提交复制。

原理流程

  1. Leader 异常,心跳超时。
  2. 节点发起选举选出新 Leader。
  3. 新 Leader 确认领导权后恢复写服务。

代码 / 图示

Leader 异常 → 选举超时 → 重新选举 → 新 Leader → 恢复提交
期间:写阻塞;强一致读等待领导权确认

常见误区

  • 误区:leader 切换对业务完全无感;正解:选举窗口内写请求失败/超时,客户端需重试。
  • 误区:频繁切换是网络问题唯一表现;正解:磁盘慢、节点负载高也会导致心跳超时与反复切换。

追问

  • Q:如何判断 leader 切换频繁? A:监控 leadership 变更次数与 term 增长趋势。
  • Q:切换期间客户端怎么办? A:请求重试并退避,等待新 Leader 就绪后恢复。

08.3.1.4-012 集群失去多数派时行为如何降级?

一句话结论

存活节点不足多数派时无法选出有效 Leader、无法提交写,集群进入只读/不可写降级状态;恢复多数派连通后才能继续提交。

概念解释

  • quorum:多数派存活。
  • 不可写:无法提交提案。
  • 恢复:网络恢复或节点补齐。

原理流程

  1. 故障/分区导致存活不足多数。
  2. 无法形成有效领导权与提交。
  3. 多数派恢复后重新服务。

代码 / 图示

3 节点挂 2 → 剩 1 < 2 多数 → 不可写
5 节点挂 3 → 剩 2 < 3 多数 → 不可写
恢复多数派 → 重新选举/提交

常见误区

  • 误区:少数派节点仍能正常写;正解:凑不齐多数无法提交写。
  • 误区:降级后本地读都不可用;正解:读口径取决于一致性级别,强一致读同样受领导权约束。

追问

  • Q:apiserver 连不上 etcd 会怎样? A:集群状态读写受阻,K8s 控制面能力下降,具体表现以 K8s 行为为准。
  • Q:如何避免 quorum 丢失? A:按故障域分布节点,监控成员健康与网络分区。

08.3.1.4-013 应监控哪些 etcd 关键指标?

一句话结论

核心监控:读写延迟与吞吐、Leader 与 term 变更、成员健康与复制滞后、磁盘 fsync 延迟与空间、watch/连接数;用于提前发现慢节点与容量风险。

概念解释

  • 延迟吞吐:服务质量。
  • 领导权:稳定性。
  • 资源:磁盘/内存/连接。

原理流程

  1. 采集 etcd 暴露的指标。
  2. 按延迟、错误、滞后、资源分类看板。
  3. 异常阈值触发告警。

代码 / 对照

类别 指标方向
读写 请求延迟分布、QPS、错误率
领导权 leader 变更次数、term
复制 成员 index 滞后、健康状态
资源 fsync 延迟、磁盘空间、内存、连接数

常见误区

  • 误区:只监控进程存活就够了;正解:进程在但慢节点/滞后/空间耗尽仍会出问题。
  • 误区:watch 连接数不需要监控;正解:连接与积压影响服务端资源,应纳入观测。

追问

  • Q:指标来源是什么? A:etcd 暴露监控指标端点,由监控系统采集(具体端口/路径以部署为准)。
  • Q:告警阈值怎么定? A:基于基线延迟与容量水位设定,避免过紧造成告警疲劳。

08.3.1.4-014 快照与压缩对 IO 有什么影响?

一句话结论

快照生成与 compact/defrag 都会产生磁盘 IO 与 CPU 开销,高峰时段执行可能叠加业务写压力;应低峰滚动执行并观察延迟。

概念解释

  • 快照:全量状态落盘。
  • compact:历史回收。
  • defrag:文件整理重写。

原理流程

  1. 快照周期生成全量副本。
  2. compact 清理历史版本。
  3. defrag 重写数据库文件。

代码 / 图示

快照/defrag → 磁盘读写放大 → 与业务写叠加 → 延迟上升
安排低峰 + 逐成员执行

常见误区

  • 误区:快照生成完全不占 IO;正解:全量状态落盘占用磁盘带宽。
  • 误区:defrag 只是标记空闲;正解:文件整理涉及重写,有实际 IO 开销。

追问

  • Q:快照频率与磁盘空间关系? A:快照保留策略影响占用空间,需结合容量规划。
  • Q:整理期间出现延迟尖峰怎么办? A:暂停后续整理,观察是否恢复,必要时错峰再执行。

08.3.1.4-015 内存占用由什么构成?

一句话结论

内存包含当前状态数据、MVCC 历史版本、缓存与连接/watch 缓冲;历史累积与大 value 会推高内存,需结合 compact 与容量控制。

概念解释

  • 当前状态:最新版本数据。
  • 历史:未回收多版本。
  • 缓冲:连接、事件队列。

原理流程

  1. 写入产生新版本占用内存。
  2. 历史版本未 compact 前保留。
  3. 连接与 watcher 占用缓冲资源。

代码 / 图示

内存 ≈ 当前状态 + 历史版本 + 缓存 + 连接/事件缓冲
历史越长、value 越大、watcher 越多 → 内存越高

常见误区

  • 误区:compact 后内存立即全部释放;正解:内存回收与文件整理有时序,defrag/进程回收行为以实现为准。
  • 误区:内存高就是数据量太大;正解:也可能是历史版本积压或大 key 占用。

追问

  • Q:内存接近上限怎么办? A:先查历史版本与大 key,执行 compact/整理,必要时扩容内存。
  • Q:内存超限会怎样? A:可能触发 OOM 或 GC/性能抖动,严重时影响节点稳定(以系统 OOM 行为为准)。

08.3.1.4-016 故障演练:杀节点、断网、磁盘满分别验证什么?

一句话结论

演练分别验证单点故障下的多数派容错、网络分区后的降级与恢复、磁盘满时的告警与保护;目标是验证 RTO/RPO 与告警链路,而非追求破坏性结果。

概念解释

  • 杀节点:成员宕机容错。
  • 断网:分区降级与恢复。
  • 磁盘满:空间告警与处置。

原理流程

  1. 受控环境预置基线与监控。
  2. 逐项注入故障并观察行为。
  3. 记录恢复时间、告警与数据一致性。

代码 / 图示

杀 1 成员 → 多数派仍在,写不中断
断网分区 → 少数侧不可写,恢复后追平
磁盘写满 → 告警/写受阻,清理后恢复

常见误区

  • 误区:演练在生产集群直接做;正解:在隔离测试集群按受控方案演练。
  • 误区:只看服务是否恢复;正解:还要核对数据一致性、告警是否触发与恢复时长。

追问

  • Q:演练前要准备什么? A:备份、基线指标、回退方案与值班联系人。
  • Q:磁盘满演练注意什么? A:避免损坏真实数据,在测试环境验证告警阈值与处置流程。

08.3.1.4-017 备份恢复演练要验证哪些点?

一句话结论

演练验证快照可恢复、数据完整、成员拓扑可重建、客户端可重连;同时记录 RTO 与备份有效性,避免生产时才发现备份不可用。

概念解释

  • 可恢复:快照能 restore 成功。
  • 完整性:关键对象与 revision 核对。
  • 连通:证书/端点配置可用。

原理流程

  1. 从快照恢复到隔离环境。
  2. 启动集群核对数据。
  3. 验证客户端连接与关键查询。
  4. 记录恢复耗时与问题。

代码 / 图示

快照 → restore → 启动 → 数据核对 → 客户端连通验证 → RTO 记录

常见误区

  • 误区:备份文件存在就算备份成功;正解:必须演练恢复才证明可用。
  • 误区:恢复后无需核对数据;正解:需抽查关键对象数量与内容,确认备份完整。

追问

  • Q:恢复演练频率? A:按合规与变更风险定期进行,至少覆盖备份流程变更后。
  • Q:恢复到备份点后缺口怎么办? A:备份点之后的写入无法找回,需在 RPO 内接受该损失。

08.3.1.4-018 性能调优有哪些常见手段与边界?

一句话结论

常见手段:使用高速本地盘、控制大 value 与历史窗口、合理 compact/defrag、降低 watcher 与宽前缀订阅、按容量规划扩容;调优不能突破 Raft 多数派复制与 fsync 的基本约束。

概念解释

  • 存储:改善 fsync 延迟。
  • 数据:减小体积与历史。
  • 订阅:降低扇出压力。

原理流程

  1. 先定位瓶颈类别(磁盘/网络/数据/连接)。
  2. 针对性调整配置与数据模型。
  3. 观察基线指标变化,避免盲目调参。

代码 / 图示

磁盘:本地 SSD,监控 fsync
数据:去大 key,控制历史窗口
订阅:收窄前缀,减少宽 watch
扩容:加节点只提容错,强一致读扩展有限

常见误区

  • 误区:调参数可以绕过多数派提交约束;正解:Raft 提交与持久化要求不变,调优只改善资源利用。
  • 误区:加成员就能线性提升吞吐;正解:成员增多抬高复制成本,吞吐不随节点数线性增长。

追问

  • Q:调优前为什么要先有基线? A:没有延迟/吞吐/资源基线就无法判断调整是否有效。
  • Q:哪些参数调整需谨慎? A:版本相关阈值与运行参数以官方文档为准,不确定项标注待确认,不在生产盲目改。