08.3.1.4 性能容量与故障演练
所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.3 etcd / 08.3.1 etcd
命令前提:本机是否安装 etcdctl 未验证;指标阈值与版本行为以官方文档和真实集群监控为准,未在本机实测。
08.3.1.4-001 etcd 性能主要瓶颈在哪里?
一句话结论
写路径受磁盘 fsync 与多数派复制制约,读路径受 Leader 处理能力与一致性级别制约;磁盘 IO 慢是最常见的稳定性与延迟瓶颈。
概念解释
- 写:WAL fsync + 复制多数。
- 读:Leader 状态读取与确认开销。
- 资源:磁盘、网络、CPU、内存。
原理流程
- 写请求落 WAL 并 fsync。
- 复制到多数节点。
- 读按一致性级别访问 Leader 状态。
代码 / 图示
写延迟 ≈ 本地 fsync + 多数派复制往返
读延迟 ≈ 一致性确认开销 + 本地状态读取
常见误区
- 误区:加 CPU 就能显著提升 etcd 吞吐;正解:写瓶颈常在磁盘 fsync 与复制往返,CPU 不是唯一因素。
- 误区:读压力可以靠加节点线性扩展;正解:强一致读仍受 Leader 约束。
追问
- Q:如何判断瓶颈在磁盘? A:观察 fsync 延迟、磁盘 IO 利用率与写延迟相关性。
- Q:网络对写延迟影响? A:多数派复制往返依赖成员间网络,跨机房 RTT 会抬高写延迟。
08.3.1.4-002 写延迟为什么和磁盘 fsync 强相关?
一句话结论
提交前 WAL 必须持久化到磁盘(fsync),fsync 等待时间直接计入写延迟;磁盘随机写慢或 IO 拥塞会拉长提交链路。
概念解释
- WAL:预写日志先落盘。
- fsync:刷盘确认持久化。
- 阻塞:提交等待刷盘完成。
原理流程
- 写请求追加 WAL。
- 调用 fsync 等待落盘。
- 持久化后再复制提交。
代码 / 图示
写 → 追加 WAL → fsync 等待 → 复制多数 → commit
fsync 慢 → 写排队 → 延迟上升 → 可能触发 leader 不稳定
常见误区
- 误区:WAL 写内存就算持久化;正解:必须 fsync 落盘才计入持久化确认。
- 误区:用机械盘和 SSD 对 etcd 差别不大;正解:fsync 延迟差异直接体现在写延迟上。
追问
- Q:fsync 延迟高看哪些指标? A:磁盘刷盘耗时、IO 等待、写队列深度,结合 etcd 写延迟趋势。
- Q:网络盘 fsync 抖动风险? A:网络存储 IO 延迟不稳定,易造成写超时与选举问题,生产建议本地 SSD。
08.3.1.4-003 读延迟受哪些因素影响?
一句话结论
读延迟包含一致性确认开销(线性读需领导权确认)、本地状态读取与网络往返;一致性级别越高、Leader 负载越重,读延迟越高。
概念解释
- 确认:线性读的领导权校验。
- 本地读:状态机查询。
- 往返:客户端到服务端 RTT。
原理流程
- 请求到服务端。
- 按一致性级别做确认或直接读。
- 返回结果,含网络往返。
代码 / 对照
| 读级别 | 额外确认 | 相对延迟 |
|---|---|---|
| 线性一致 | 领导权确认 | 较高 |
| 串行读 | 无额外确认 | 较低 |
| 陈旧读 | 副本本地返回 | 低(可能过期) |
常见误区
- 误区:读不写盘所以永远快;正解:一致性确认与 Leader 负载仍构成延迟。
- 误区:读慢一定是数据库查询慢;正解:KV 状态读取本身轻量,更多受网络与确认开销影响。
追问
- Q:Leader 负载高读会怎样? A:读请求排队,延迟上升,必要时评估读口径与容量。
- Q:如何区分网络延迟与服务端处理延迟? A:对比客户端 RTT 与服务端处理耗时指标。
08.3.1.4-004 吞吐受什么限制,写放大来自哪里?
一句话结论
吞吐受 fsync 批次、复制扇出、事件推送与状态机写入限制;MVCC 多版本、watch 扇出与历史累积构成额外开销。
概念解释
- 批次:fsync 合并写。
- 扇出:复制与 watch 推送。
- 版本:多版本树维护成本。
原理流程
- 写进入 WAL 与复制。
- 状态机更新 MVCC。
- 事件扇出到 watcher。
代码 / 图示
一次写 → WAL/复制 → MVCC 更新 → watch 扇出
历史版本越多、watcher 越多 → 单位写成本越高
常见误区
- 误区:吞吐只看每秒请求数;正解:还需结合 value 大小、事件扇出与历史增长评估。
- 误区:批量写和单条写成本相同;正解:批量减少往返与 fsync 次数,但单次请求体积更大。
追问
- Q:高频小对象写与低频大对象写哪个压力大? A:小对象高频写放大 fsync 次数与事件量;大对象占用内存/网络,需分别评估。
- Q:如何观察吞吐瓶颈? A:看写/读 QPS、延迟分布与资源利用率的对应关系。
08.3.1.4-005 磁盘选型与 IO 有什么要求?
一句话结论
etcd 对磁盘 fsync 延迟敏感,生产推荐本地 SSD 类高速盘,避免网络盘与机械盘;磁盘需预留空间并监控 IO 利用率与延迟。
概念解释
- 顺序写:WAL 追加。
- 延迟:fsync 稳定性比峰值带宽更关键。
- 空间:数据目录预留增长余量。
原理流程
- 部署时选择本地高速存储。
- 监控 IO 延迟与空间。
- 避免磁盘满与 IO 拥塞。
代码 / 图示
推荐:本地 SSD,低且稳定的 fsync 延迟
规避:机械盘、抖动大的网络盘、空间打满的磁盘
常见误区
- 误区:磁盘容量够就行;正解:fsync 延迟稳定性比容量更影响写路径。
- 误区:磁盘满只影响新写入;正解:空间耗尽可能导致 WAL/快照异常,需提前告警。
追问
- Q:如何检查磁盘 IO 延迟? A:系统级 IO 延迟/等待指标结合 etcd 写延迟趋势判断。
- Q:数据目录和快照目录能否分盘? A:可按部署规划分离以分散 IO,具体以官方部署建议为准。
08.3.1.4-006 碎片整理如何控制磁盘占用?
一句话结论
compact 回收 MVCC 历史后,数据库文件可能仍保留空闲空间,defrag 整理把空间归还文件系统;需按空间增长节奏滚动执行。
概念解释
- 逻辑回收:compact 清历史。
- 物理归还:defrag 整理文件。
- 滚动:逐成员操作避免同时影响。
原理流程
- 监控数据目录大小与历史版本量。
- 执行 compact 回收旧版本。
- 必要时逐成员 defrag 归还空间。
代码 / 示例
etcdctl compact <revision>
etcdctl defrag --endpoints <member>
常见误区
- 误区:defrag 可以替代 compact;正解:先 compact 回收历史,defrag 才整理出可归还空间。
- 误区:所有节点同时 defrag;正解:整理有 IO 与短时开销,应逐成员观察健康后继续。
追问
- Q:defrag 期间节点还能服务吗? A:有性能开销,具体服务影响以官方文档为准,建议低峰滚动执行。
- Q:空间增长过快先查什么? A:历史版本保留策略、大 value 数量与未压缩的历史窗口。
08.3.1.4-007 compact 策略如何设定?
一句话结论
compact 按保留历史窗口设定 revision 阈值:既要给 watch 续接留足窗口,又不能让历史无限累积;结合断连恢复时长与磁盘容量评估。
概念解释
- 窗口:可回看的历史范围。
- 平衡:续接需求 vs 空间占用。
- 周期:按写速率与容量定期执行。
原理流程
- 评估最长可接受断连恢复时长。
- 按写速率换算保留 revision 窗口。
- 定期 compact 并观察空间。
代码 / 图示
保留窗口 ≥ 最长重连恢复时间内产生的 revision
compact 阈值 = 当前 rev - 保留窗口
常见误区
- 误区:compact 越频繁越好;正解:过紧窗口会导致正常断连续接失败,被迫全量重建。
- 误区:compact 只影响磁盘不影响读;正解:历史读与旧 revision watch 同时受窗口限制。
追问
- Q:compact 后当前数据会丢吗? A:不丢当前最新值,只回收历史版本。
- Q:如何查看当前 compact revision? A:通过 endpoint/status 类命令查看,具体字段以版本为准。
08.3.1.4-008 容量规划要估算哪些维度?
一句话结论
容量规划估算 key 数量、平均 value 大小、历史版本增长、watch 连接数与磁盘/内存余量;按集群规模与写速率推算并留冗余。
概念解释
- 数据量:对象数量 × 平均大小。
- 历史:MVCC 版本累积。
- 连接:watcher 与客户端连接。
原理流程
- 统计对象数量与 value 大小。
- 估算历史版本与增长速率。
- 结合内存、磁盘、连接数留冗余。
代码 / 对照
| 维度 | 估算依据 |
|---|---|
| key 数量 | 集群对象规模 |
| value 大小 | 平均对象序列化体积 |
| 历史增长 | 写速率 × 保留窗口 |
| 连接 | watcher/客户端并发数 |
常见误区
- 误区:只按当前数据量估磁盘;正解:历史版本与增长速率才是长期占用主因。
- 误区:内存占用只看当前 key;正解:历史版本、缓存与连接缓冲都占内存。
追问
- Q:K8s 集群规模如何映射 etcd 容量? A:按对象总数、单对象大小与变更频率评估,官方有容量建议参考(以版本文档为准)。
- Q:容量超预期先扩什么? A:先定位是数据量、历史版本还是连接/watcher 导致,再针对性处理。
08.3.1.4-009 大 value 有什么风险?
一句话结论
单 key value 过大会放大单次读写、复制与内存占用,影响 Raft 复制效率与整体延迟;etcd 面向小体量元数据,不应存大对象。
概念解释
- 复制:大 value 随日志复制。
- 内存:加载与缓存占用。
- 延迟:单次操作体积大。
原理流程
- 大 value 写入进入 WAL 与日志。
- 复制到多数节点。
- 状态机与内存维护大体积版本。
代码 / 图示
大 value → 单次写/复制/内存放大 → 拖慢整体提交与读
大对象应存对象存储/文件服务,etcd 只存引用
常见误区
- 误区:etcd 可以存配置文件/镜像层;正解:大体积数据应放专用存储,etcd 存元数据与引用。
- 误区:value 大小限制可以忽略;正解:超限会被拒绝或显著影响性能,具体上限以官方文档为准。
追问
- Q:配置里的大段二进制放哪? A:放对象存储或配置服务,etcd 存路径/引用。
- Q:如何发现大 key? A:按 key 范围统计 value 大小,工具与命令以版本为准。
08.3.1.4-010 慢节点有哪些表现,怎么定位?
一句话结论
慢节点表现为复制滞后、心跳超时、被标记不健康;通过成员状态对比 commit/index、延迟指标与节点磁盘/网络资源定位。
概念解释
- 滞后:日志 index 落后 Leader。
- 超时:心跳/复制响应慢。
- 资源:磁盘、网络、CPU 瓶颈。
原理流程
- 对比各成员 status 的 index/延迟。
- 检查慢节点磁盘 IO、网络、CPU/内存。
- 定位瓶颈后修复或替换节点。
代码 / 示例
etcdctl endpoint status --write-out table
# 关注各成员 commit/index、延迟与错误计数(字段以版本为准)
常见误区
- 误区:慢节点直接重启就能恢复;正解:先定位磁盘/网络根因,重启可能只是暂时缓解。
- 误区:单个慢节点不影响集群;正解:它拖累多数派确认速度,严重时触发选举不稳定。
追问
- Q:复制滞后怎么量化? A:对比 Leader 与 Follower 的日志 index 差值与复制延迟指标。
- Q:慢节点长期不恢复怎么办? A:按成员变更流程替换节点(见 08.3.1.2-008)。
08.3.1.4-011 leader 切换会带来什么影响?
一句话结论
Leader 故障或被驱逐后触发重新选举,选举期间写不可用、读受一致性级别影响;切换完成后新 Leader 继续服务,期间有短暂中断窗口。
概念解释
- 选举:超时后重新竞选。
- 中断:选举窗口内写阻塞。
- 恢复:新 Leader 提交复制。
原理流程
- Leader 异常,心跳超时。
- 节点发起选举选出新 Leader。
- 新 Leader 确认领导权后恢复写服务。
代码 / 图示
Leader 异常 → 选举超时 → 重新选举 → 新 Leader → 恢复提交
期间:写阻塞;强一致读等待领导权确认
常见误区
- 误区:leader 切换对业务完全无感;正解:选举窗口内写请求失败/超时,客户端需重试。
- 误区:频繁切换是网络问题唯一表现;正解:磁盘慢、节点负载高也会导致心跳超时与反复切换。
追问
- Q:如何判断 leader 切换频繁? A:监控 leadership 变更次数与 term 增长趋势。
- Q:切换期间客户端怎么办? A:请求重试并退避,等待新 Leader 就绪后恢复。
08.3.1.4-012 集群失去多数派时行为如何降级?
一句话结论
存活节点不足多数派时无法选出有效 Leader、无法提交写,集群进入只读/不可写降级状态;恢复多数派连通后才能继续提交。
概念解释
- quorum:多数派存活。
- 不可写:无法提交提案。
- 恢复:网络恢复或节点补齐。
原理流程
- 故障/分区导致存活不足多数。
- 无法形成有效领导权与提交。
- 多数派恢复后重新服务。
代码 / 图示
3 节点挂 2 → 剩 1 < 2 多数 → 不可写
5 节点挂 3 → 剩 2 < 3 多数 → 不可写
恢复多数派 → 重新选举/提交
常见误区
- 误区:少数派节点仍能正常写;正解:凑不齐多数无法提交写。
- 误区:降级后本地读都不可用;正解:读口径取决于一致性级别,强一致读同样受领导权约束。
追问
- Q:apiserver 连不上 etcd 会怎样? A:集群状态读写受阻,K8s 控制面能力下降,具体表现以 K8s 行为为准。
- Q:如何避免 quorum 丢失? A:按故障域分布节点,监控成员健康与网络分区。
08.3.1.4-013 应监控哪些 etcd 关键指标?
一句话结论
核心监控:读写延迟与吞吐、Leader 与 term 变更、成员健康与复制滞后、磁盘 fsync 延迟与空间、watch/连接数;用于提前发现慢节点与容量风险。
概念解释
- 延迟吞吐:服务质量。
- 领导权:稳定性。
- 资源:磁盘/内存/连接。
原理流程
- 采集 etcd 暴露的指标。
- 按延迟、错误、滞后、资源分类看板。
- 异常阈值触发告警。
代码 / 对照
| 类别 | 指标方向 |
|---|---|
| 读写 | 请求延迟分布、QPS、错误率 |
| 领导权 | leader 变更次数、term |
| 复制 | 成员 index 滞后、健康状态 |
| 资源 | fsync 延迟、磁盘空间、内存、连接数 |
常见误区
- 误区:只监控进程存活就够了;正解:进程在但慢节点/滞后/空间耗尽仍会出问题。
- 误区:watch 连接数不需要监控;正解:连接与积压影响服务端资源,应纳入观测。
追问
- Q:指标来源是什么? A:etcd 暴露监控指标端点,由监控系统采集(具体端口/路径以部署为准)。
- Q:告警阈值怎么定? A:基于基线延迟与容量水位设定,避免过紧造成告警疲劳。
08.3.1.4-014 快照与压缩对 IO 有什么影响?
一句话结论
快照生成与 compact/defrag 都会产生磁盘 IO 与 CPU 开销,高峰时段执行可能叠加业务写压力;应低峰滚动执行并观察延迟。
概念解释
- 快照:全量状态落盘。
- compact:历史回收。
- defrag:文件整理重写。
原理流程
- 快照周期生成全量副本。
- compact 清理历史版本。
- defrag 重写数据库文件。
代码 / 图示
快照/defrag → 磁盘读写放大 → 与业务写叠加 → 延迟上升
安排低峰 + 逐成员执行
常见误区
- 误区:快照生成完全不占 IO;正解:全量状态落盘占用磁盘带宽。
- 误区:defrag 只是标记空闲;正解:文件整理涉及重写,有实际 IO 开销。
追问
- Q:快照频率与磁盘空间关系? A:快照保留策略影响占用空间,需结合容量规划。
- Q:整理期间出现延迟尖峰怎么办? A:暂停后续整理,观察是否恢复,必要时错峰再执行。
08.3.1.4-015 内存占用由什么构成?
一句话结论
内存包含当前状态数据、MVCC 历史版本、缓存与连接/watch 缓冲;历史累积与大 value 会推高内存,需结合 compact 与容量控制。
概念解释
- 当前状态:最新版本数据。
- 历史:未回收多版本。
- 缓冲:连接、事件队列。
原理流程
- 写入产生新版本占用内存。
- 历史版本未 compact 前保留。
- 连接与 watcher 占用缓冲资源。
代码 / 图示
内存 ≈ 当前状态 + 历史版本 + 缓存 + 连接/事件缓冲
历史越长、value 越大、watcher 越多 → 内存越高
常见误区
- 误区:compact 后内存立即全部释放;正解:内存回收与文件整理有时序,defrag/进程回收行为以实现为准。
- 误区:内存高就是数据量太大;正解:也可能是历史版本积压或大 key 占用。
追问
- Q:内存接近上限怎么办? A:先查历史版本与大 key,执行 compact/整理,必要时扩容内存。
- Q:内存超限会怎样? A:可能触发 OOM 或 GC/性能抖动,严重时影响节点稳定(以系统 OOM 行为为准)。
08.3.1.4-016 故障演练:杀节点、断网、磁盘满分别验证什么?
一句话结论
演练分别验证单点故障下的多数派容错、网络分区后的降级与恢复、磁盘满时的告警与保护;目标是验证 RTO/RPO 与告警链路,而非追求破坏性结果。
概念解释
- 杀节点:成员宕机容错。
- 断网:分区降级与恢复。
- 磁盘满:空间告警与处置。
原理流程
- 受控环境预置基线与监控。
- 逐项注入故障并观察行为。
- 记录恢复时间、告警与数据一致性。
代码 / 图示
杀 1 成员 → 多数派仍在,写不中断
断网分区 → 少数侧不可写,恢复后追平
磁盘写满 → 告警/写受阻,清理后恢复
常见误区
- 误区:演练在生产集群直接做;正解:在隔离测试集群按受控方案演练。
- 误区:只看服务是否恢复;正解:还要核对数据一致性、告警是否触发与恢复时长。
追问
- Q:演练前要准备什么? A:备份、基线指标、回退方案与值班联系人。
- Q:磁盘满演练注意什么? A:避免损坏真实数据,在测试环境验证告警阈值与处置流程。
08.3.1.4-017 备份恢复演练要验证哪些点?
一句话结论
演练验证快照可恢复、数据完整、成员拓扑可重建、客户端可重连;同时记录 RTO 与备份有效性,避免生产时才发现备份不可用。
概念解释
- 可恢复:快照能 restore 成功。
- 完整性:关键对象与 revision 核对。
- 连通:证书/端点配置可用。
原理流程
- 从快照恢复到隔离环境。
- 启动集群核对数据。
- 验证客户端连接与关键查询。
- 记录恢复耗时与问题。
代码 / 图示
快照 → restore → 启动 → 数据核对 → 客户端连通验证 → RTO 记录
常见误区
- 误区:备份文件存在就算备份成功;正解:必须演练恢复才证明可用。
- 误区:恢复后无需核对数据;正解:需抽查关键对象数量与内容,确认备份完整。
追问
- Q:恢复演练频率? A:按合规与变更风险定期进行,至少覆盖备份流程变更后。
- Q:恢复到备份点后缺口怎么办? A:备份点之后的写入无法找回,需在 RPO 内接受该损失。
08.3.1.4-018 性能调优有哪些常见手段与边界?
一句话结论
常见手段:使用高速本地盘、控制大 value 与历史窗口、合理 compact/defrag、降低 watcher 与宽前缀订阅、按容量规划扩容;调优不能突破 Raft 多数派复制与 fsync 的基本约束。
概念解释
- 存储:改善 fsync 延迟。
- 数据:减小体积与历史。
- 订阅:降低扇出压力。
原理流程
- 先定位瓶颈类别(磁盘/网络/数据/连接)。
- 针对性调整配置与数据模型。
- 观察基线指标变化,避免盲目调参。
代码 / 图示
磁盘:本地 SSD,监控 fsync
数据:去大 key,控制历史窗口
订阅:收窄前缀,减少宽 watch
扩容:加节点只提容错,强一致读扩展有限
常见误区
- 误区:调参数可以绕过多数派提交约束;正解:Raft 提交与持久化要求不变,调优只改善资源利用。
- 误区:加成员就能线性提升吞吐;正解:成员增多抬高复制成本,吞吐不随节点数线性增长。
追问
- Q:调优前为什么要先有基线? A:没有延迟/吞吐/资源基线就无法判断调整是否有效。
- Q:哪些参数调整需谨慎? A:版本相关阈值与运行参数以官方文档为准,不确定项标注待确认,不在生产盲目改。