罗罗编程学习记录
本页内容 展开查看

05.5.2.4 Elasticsearch 分片副本与集群运维

所属:全栈开发面试题库 / 05 数据库与存储 / 05.5 NoSQL 与专用存储 / 05.5.2 文档、搜索与向量存储

覆盖范围

  • 主分片与副本分片:路由、高可用与读扩展
  • 分片数规划、分片大小、节点角色与集群健康
  • 段合并、扩容重平衡、投票与磁盘水位
  • 监控指标、快照备份、ILM 分层、副本一致性与跨集群复制
  • 运维事故、分片机制对照与选型边界

集群结构

Index → 主分片 P0..Pn + 副本分片 R
节点持有部分分片;主分片故障时副本提升为主
文档按 _id 哈希路由到主分片 → 同步到其副本

高频题速览

编号 题目 难度 频率
05.5.2.4-001 分片与副本作用 基础 ★★★★☆
05.5.2.4-002 主分片数不可改 进阶 ★★★★☆
05.5.2.4-003 分片大小经验值 进阶 ★★★★☆
05.5.2.4-005 集群健康 green/yellow/red 基础 ★★★★★
05.5.2.4-010 磁盘水位线 进阶 ★★★★☆
05.5.2.4-012 快照备份 进阶 ★★★☆☆
05.5.2.4-013 ILM 分层 高级 ★★★☆☆
05.5.2.4-017 分片机制对照 高级 ★★☆☆☆

05.5.2.4-001 主分片和副本分片分别起什么作用?

频率 ★★★★☆ | 难度 基础

一句话结论

主分片把数据水平拆分并行检索;副本分片是主分片的拷贝,提供高可用与读扩展,主分片故障时副本提升为主。

概念解释

  • 主分片(primary):数据分片单元,写入先到主分片。
  • 副本(replica):主分片拷贝,容错与分担读。
  • 副本不增加主分片容量:数据仍在主分片拆分维度内。

原理流程

文档 → 路由到主分片 → 同步写副本
主分片节点故障 → 副本提升为主
读请求 → 主或副本均可

代码 / 命令

GET /_cluster/health
GET /products/_settings

常见误区

  • 误区:副本分片扩大了可存数据容量。正解:容量由主分片决定,副本是冗余。
  • 误区:副本可以与主分片放在同一节点。正解:同节点副本不提供容错,分片分配会错开。

追问

  • 问:副本数越多读性能越高吗?答:可分担读,但写需同步所有副本,写成本上升。
  • 问:一个主分片最少几个副本?答:0 副本可运行,但无节点故障容错。

05.5.2.4-002 主分片数量为什么建索引后不能改?

频率 ★★★★☆ | 难度 进阶

一句话结论

主分片数决定文档哈希路由的分片空间,索引创建后固定;要改分片数需新建索引并 reindex 迁移数据。

概念解释

  • 路由依据:_id/路由值哈希到固定主分片。
  • 不可变:已存在的分片边界不能在线拆分。
  • 扩容方式:建新索引(新分片数)→ reindex → 别名切换。

原理流程

旧索引 N 主分片 → 新建 M 主分片索引 → reindex 复制 → 别名指向新索引 → 删旧索引

代码 / 命令

// 新索引带目标分片数
PUT /products-v2
{ "settings": { "number_of_shards": 6 }, "mappings": { ... } }

POST /_reindex
{ "source": { "index": "products" }, "dest": { "index": "products-v2" } }

常见误区

  • 误区:在线调整 number_of_shards 即可扩分片。正解:该参数对已存在索引不可改。
  • 误区:reindex 期间业务无需停机。正解:靠别名切换实现平滑,需处理双写/增量。

追问

  • 问:副本数能在线改吗?答:number_of_replicas 可动态调整。
  • 问:分片数规划过大有什么代价?答:分片多开销大、集群元数据与查询归并成本上升。

05.5.2.4-003 单个分片大小有什么经验值?

频率 ★★★★☆ | 难度 进阶

一句话结论

常规检索索引单分片建议控制在几十 GB 量级(经验范围按场景核对),过大影响恢复与查询,过小则分片数量膨胀。

概念解释

  • 过大:分片恢复慢、段合并与查询压力集中。
  • 过小:分片数过多,集群元数据、内存与归并开销上升。
  • 评估:数据量、文档数、查询模式与节点容量综合确定。

原理流程

预估总数据量 ÷ 目标分片大小 ≈ 主分片数

代码 / 命令

GET /_cat/shards/products?v
GET /_cat/indices/products?v

常见误区

  • 误区:分片越小并行度越高越好。正解:分片数量有上限与开销,过小反而降低集群效率。
  • 误区:日志类大索引不用控制分片大小。正解:冷日志分片过大同样影响恢复与查询。

追问

  • 问:如何按分片大小选分片数?答:先估总量与单分片目标大小,留增长余量。
  • 问:分片过大如何拆分?答:reindex 到更多分片的新索引。

05.5.2.4-004 文档怎么路由到分片?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

默认按 _id(或自定义 routing 值)哈希到主分片;同一 routing 值的文档落在同一分片,可避免跨片。

概念解释

  • 默认 routing:_id 哈希。
  • 自定义 routing:写入/查询指定 routing 值,使相关文档同片。
  • 作用:定向查询减少 scatter-gather。

原理流程

shard = hash(routing) % number_of_primary_shards

代码 / 命令

POST /orders/_doc?routing=user1001
{ "userId": "user1001", "amount": 99 }

GET /orders/_search?routing=user1001
{ "query": { "match_all": {} } }

常见误区

  • 误区:不指定 routing 也能定向到单分片。正解:无 routing 时查询可能广播多片。
  • 误区:routing 值可以随意改。正解:routing 决定分片,变更需按新 routing 重建。

追问

  • 问:自定义 routing 有什么风险?答:值分布不均导致分片热点。
  • 问:同一用户订单怎么保证同片?答:用 userId 作 routing。

05.5.2.4-005 集群健康 green、yellow、red 分别是什么意思?

频率 ★★★★★ | 难度 基础

一句话结论

green 所有主副分片正常;yellow 主分片正常但有副本未分配;red 存在主分片不可用,部分数据不可检索。

概念解释

  • green:全部分片(主+副)已分配正常。
  • yellow:主分片在线,副本缺失/未分配,数据可查但容错不足。
  • red:有主分片未分配,对应分片数据缺失。

原理流程

检查每个分片 → 主在?副本齐?
齐 → green;主在副本缺 → yellow;主缺 → red

代码 / 命令

GET /_cluster/health
GET /_cluster/allocation/explain

常见误区

  • 误区:yellow 表示数据丢失。正解:yellow 主分片在,数据可查,只是副本冗余不足。
  • 误区:red 可以先观察不处理。正解:red 有主分片不可用,需立即排查分配失败原因。

追问

  • 问:副本未分配常见原因?答:磁盘水位、节点不足、分片分配规则、快照恢复中。
  • 问:怎么定位未分配分片?答:_cluster/allocation/explain 查看原因。

05.5.2.4-006 节点有哪些角色?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

节点分 master-eligible、data、ingest、coordinating 等角色;专用部署时拆分主管理、数据与协调节点,避免互相争抢资源。

概念解释

  • master-eligible:参与选举,维护集群元数据。
  • data:存分片数据、执行读写查询。
  • ingest:预处理文档(ingest pipeline)。
  • coordinating:纯路由归并节点。

原理流程

集群选举 master → data 节点持分片 → coordinating 接收归并 → ingest 预处理

代码 / 命令

GET /_cat/nodes?v

常见误区

  • 误区:master 节点存业务数据。正解:master 负责元数据与集群状态,数据在 data 节点。
  • 误区:单节点可以长期生产运行。正解:单节点无容错,角色也无法拆分。

追问

  • 问:为什么专用 master 不存数据?答:避免管理操作受数据负载影响,保证集群稳定。
  • 问:协调节点加硬件提升什么?答:归并/聚合计算能力,不增加存储。

05.5.2.4-007 段合并怎么管理?force merge 什么时候用?

频率 ★★☆☆☆ | 难度 高级

一句话结论

后台自动 merge 合并小段并清理墓碑;forcemerge 手动压缩到指定段数,只适合只读/冷索引,在线热索引避免频繁执行。

概念解释

  • 自动 merge:按段大小/数量策略后台合并。
  • forcemerge:强制合并段,IO/CPU 开销大。
  • 适用:不再写入的归档索引整理段数。

原理流程

小段增多 → 自动合并 → 大段 + 清理墓碑
只读索引 → forcemerge 压到少段

代码 / 命令

POST /logs-2026-10/_forcemerge?max_num_segments=1

常见误区

  • 误区:forcemerge 后还会继续自动拆段。正解:只读索引不再写入,段数稳定;热索引写入后又会产生新段。
  • 误区:forcemerge 能释放所有删除空间。正解:合并清理墓碑,但空间回收受段结构影响。

追问

  • 问:merge 对查询性能影响?答:合并期 IO/CPU 上升,需错峰。
  • 问:怎么看段数量?答:_cat/segments 或索引 stats。

05.5.2.4-008 扩容节点后怎么重平衡分片?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

新节点加入后,集群自动把部分分片迁移到新节点实现重平衡;可通过分配感知、分片配额与迁移速度控制均衡节奏。

概念解释

  • 重平衡(rebalance):分片在节点间迁移使负载均衡。
  • 迁移成本:拷贝分片数据、网络 IO。
  • 控制:平衡阈值、并发迁移数、磁盘感知。

原理流程

新节点加入 → 集群评估分片分布 → 迁移分片 → 元数据更新

代码 / 命令

GET /_cat/allocation?v
PUT /_cluster/settings
{ "transient": { "cluster.routing.allocation.cluster_concurrent_rebalance": 2 } }

常见误区

  • 误区:加节点后数据自动立即平均。正解:迁移需要时间,期间旧节点仍承载旧分片。
  • 误区:重平衡不影响在线查询。正解:迁移占用网络/磁盘,需限速错峰。

追问

  • 问:分片为什么迁不过去?答:磁盘水位、角色限制、分配规则或节点资源不足。
  • 问:怎么限制迁移带宽?答:分片恢复/迁移速度相关配置,按版本参数核对。

05.5.2.4-009 集群怎么防脑裂?投票机制是什么?

频率 ★★☆☆☆ | 难度 高级

一句话结论

master 选举基于多数派投票,master-eligible 节点需奇数部署;分区时少数派一侧无法选出有效 master,避免双主。

概念解释

  • 多数派:合格 master 节点过半投票才成立。
  • 奇数节点:避免平票。
  • 脑裂防护:失去多数派的分区不能成为合法主。

原理流程

master 失联 → master-eligible 候选 → 收集多数票 → 新 master
少数派分区 → 凑不齐多数 → 不产生主

代码 / 命令

GET /_cat/master?v
GET /_cluster/state/master_node

常见误区

  • 误区:两个 master 节点就能高可用选举。正解:需奇数多数派,三 master-eligible 常见。
  • 误区:脑裂后两边各自写入能自动合并。正解:分裂期写冲突需人工按恢复流程处理。

追问

  • 问:专用 master 节点几个合适?答:3 个奇数,避免单点与平票。
  • 问:master 选举期间集群可读吗?答:数据读写由 data 节点承载,元数据操作受选举影响。

05.5.2.4-010 磁盘水位线(watermark)有哪些级别?

频率 ★★★★☆ | 难度 进阶

一句话结论

磁盘水位线分低(low)、高(high)、洪水(flood_stage);超过阈值后分片逐步拒绝分配/迁移,洪水阶段只读索引。

概念解释

  • low:超过后分片开始向其他节点迁移。
  • high:新分片不再分配到该节点。
  • flood_stage:索引转为只读,阻止继续写入。

原理流程

磁盘占用上升 → 超 low:迁出分片
→ 超 high:不分配新分片
→ 超 flood_stage:索引只读

代码 / 命令

PUT /_cluster/settings
{
  "transient": {
    "cluster.routing.allocation.disk.watermark.low": "85%",
    "cluster.routing.allocation.disk.watermark.high": "90%",
    "cluster.routing.allocation.disk.watermark.flood_stage": "95%"
  }
}

常见误区

  • 误区:磁盘满了 ES 才拒绝写入。正解:到 flood_stage 即只读,需提前按水位预警。
  • 误区:水位线只看绝对磁盘容量。正解:可按百分比或绝对值配置。

追问

  • 问:索引被置只读怎么恢复?答:清理空间后解除 index.blocks.read_only_allow_delete。
  • 问:单节点多盘怎么分配?答:分配感知按磁盘/路径均衡,避免单盘打满。

05.5.2.4-011 集群主要监控哪些指标?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

监控集群健康、分片分配、磁盘水位、JVM 堆/GC、读写延迟与队列、段数与 merge、副本延迟;异常水位与延迟提前告警。

概念解释

  • 健康:green/yellow/red、未分配分片。
  • 资源:CPU、内存、JVM GC、磁盘。
  • 负载:查询/写入耗时、线程池队列、拒绝数。

原理流程

周期采集节点/索引指标 → 对比阈值 → 水位/GC/延迟/拒绝异常 → 告警处置

代码 / 命令

GET /_cluster/health
GET /_nodes/stats/jvm
GET /_cat/indices?v

常见误区

  • 误区:只看集群健康不看 JVM。正解:堆压力与 GC 停顿常是查询变慢主因。
  • 误区:写入成功就代表无排队。正解:需看写队列与拒绝次数。

追问

  • 问:JVM 堆怎么设?答:按官方建议比例设置,避免过大堆导致 GC 停顿(具体数值按版本文档核对)。
  • 问:查询慢看什么?答:慢查询日志、分片数、段合并与 CPU/GC。

05.5.2.4-012 快照备份怎么做?

频率 ★★★☆☆ | 难度 进阶

一句话结论

先注册快照仓库(共享文件系统/对象存储),再对索引做快照;快照增量备份,恢复时从仓库还原索引。

概念解释

  • repository:快照存储位置注册。
  • snapshot:索引/集群状态时点副本,增量只备份变化段。
  • 恢复:从快照 restore 到集群。

原理流程

注册仓库 → 周期快照 → 故障 → restore 快照 → 重建索引

代码 / 命令

PUT /_snapshot/backup_repo
{ "type": "fs", "settings": { "location": "/snapshots" } }

PUT /_snapshot/backup_repo/snap_20261118?wait_for_completion=true
{ "indices": "products" }

常见误区

  • 误区:副本就是备份。正解:副本防节点故障,误删/损坏需快照恢复。
  • 误区:快照是全量拷贝所有段。正解:基于上次快照增量存储变化文件。

追问

  • 问:快照期间能写入吗?答:快照时点一致,期间写入不影响快照基线。
  • 问:快照仓库怎么备份?答:仓库自身(共享存储/对象存储)需持久化与冗余。

05.5.2.4-013 ILM 冷热分层是什么?

频率 ★★★☆☆ | 难度 高级

一句话结论

ILM(索引生命周期管理)按索引年龄/大小在 hot/warm/cold/frozen 阶段间迁移:热层写入检索,冷层降低副本/转只读,冻结减少开销。

概念解释

  • hot:近期数据,可写可查,高性能节点。
  • warm:只读,副本/硬件降配。
  • cold:更少内存占用,仍可查询。
  • frozen:极低开销,按需加载。

原理流程

索引创建 → hot 写入 → 达条件转 warm(只读/减副本)→ cold → frozen/删除

代码 / 命令

PUT /_ilm/policy/logs_policy
{
  "policy": {
    "phases": {
      "hot":  { "actions": { "rollover": { "max_age": "7d", "max_size": "50gb" } } },
      "warm": { "min_age": "30d", "actions": { "set_priority": 50 } },
      "delete": { "min_age": "90d", "actions": { "delete": {} } }
    }
  }
}

常见误区

  • 误区:ILM 自动把冷数据存到便宜磁盘无需配置。正解:需节点属性/角色与 allocation 规则配合。
  • 误区:rollover 就是删旧索引。正解:rollover 是按条件新建写索引,旧索引进入后续阶段。

追问

  • 问:时间序列索引怎么配合 ILM?答:按日期建索引 + rollover + 分层策略自动流转。
  • 问:frozen 索引查询有何代价?答:按需加载,查询延迟更高。

05.5.2.4-014 副本之间怎么保证一致性?

频率 ★★☆☆☆ | 难度 高级

一句话结论

写入先到主分片,再复制到副本;副本失败主分片标记异常并重新分配;副本追平期间可能短暂落后,读副本需容忍旧值。

概念解释

  • 复制顺序:主分片写成功后同步副本。
  • 副本故障:脱离同步,恢复后追 oplog/段。
  • 读副本:可能读到滞后版本。

原理流程

写主 → 复制副本 → 全部/部分确认
副本落后 → 追平前读副本可能旧值

代码 / 命令

GET /_cat/replication?v

常见误区

  • 误区:读副本一定读到最新。正解:复制延迟窗口内为旧值。
  • 误区:副本和主分片实时强一致。正解:异步复制为主,按写确认配置核对。

追问

  • 问:副本落后怎么看?答:_cat/replication 的同步滞后指标。
  • 问:主分片写失败对副本影响?答:主分片不可用时副本提升,按集群健康判断。

05.5.2.4-015 跨集群复制(CCR)是做什么的?

频率 ★★☆☆☆ | 难度 高级

一句话结论

CCR 把一个集群的索引持续复制到另一个集群,用于异地容灾、就近读取与跨区域分发;主集群写入,跟随集群复制。

概念解释

  • leader/follower:主集群 leader 索引,远程 follower 复制。
  • 用途:灾备、地域就近、隔离读写。
  • 方向:通常单向复制,冲突处理按机制设计。

原理流程

leader 写入 → 变更拉取到 follower → follower 提供本地读

代码 / 命令

// follower 跟随远程 leader(跨集群连接先配置)
PUT /follower-products/_ccr/follow
{ "remote_cluster": "remote-one", "leader_index": "products" }

常见误区

  • 误区:CCR 就是普通快照备份。正解:它是持续增量复制,用于热备与就近读。
  • 误区:双向复制无冲突。正解:双向写入需避免冲突,通常单向为主。

追问

  • 问:CCR 与快照区别?答:快照是时点备份;CCR 持续同步近实时副本。
  • 问:跨地域复制延迟受什么影响?答:网络 RTT 与带宽、写入量。

05.5.2.4-016 常见 ES 运维事故有哪些?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

常见事故:分片 red/未分配、磁盘打满转只读、JVM GC 停顿、批量导入压垮集群、分片数过多、误删索引与副本不足。

概念解释

  • 分配故障:水位/规则/节点不足导致分片落不了地。
  • 资源事故:堆压力、GC、磁盘满。
  • 操作事故:误删索引、未控批量写入。

原理流程

监控告警 → 定位健康/水位/GC/队列 → 处置分配/清理/限流 → 验证恢复

代码 / 命令

GET /_cluster/allocation/explain
GET /_cat/indices?v

常见误区

  • 误区:事故后直接重启节点即可。正解:先定位未分配原因与水位,盲目重启可能加剧。
  • 误区:批量导入不限制并发。正解:bulk 失控会打满写队列与堆。

追问

  • 问:索引被误删怎么恢复?答:有快照则 restore;无快照只能从业务库重建。
  • 问:怎么预防分片过多?答:规划分片数、合并小索引、监控分片总量。

05.5.2.4-017 ES 分片与 MongoDB/MySQL 分片机制怎么对照?

频率 ★★☆☆☆ | 难度 高级

一句话结论

ES 分片是搜索并行与冗余单元,创建时固定;MongoDB 分片按片键 chunk 自动迁移;MySQL 分库分表多依赖外部规则与迁移工具。

概念解释

维度 ES MongoDB MySQL 分库分表
单元 主/副分片 chunk 分库/分表
路由 文档哈希/routing mongos + 片键 中间件/应用规则
迁移 reindex balancer 搬 chunk 工具/人工
副本 分片副本 副本集 主从

原理流程

数据增长 → 各自分片路由 → 查询定向/归并

代码 / 命令

GET /_cat/shards?v

常见误区

  • 误区:ES 分片可在线自动拆分。正解:分片数固定,扩容靠 reindex。
  • 误区:三者副本机制相同。正解:ES 副本是分片拷贝;MongoDB 副本集是节点复制。

追问

  • 问:ES 为什么分片不可在线拆?答:路由哈希基于固定主分片数。
  • 问:数据层分片与搜索层分片怎么配合?答:业务库分片后同步到 ES 索引,两套路由独立。

05.5.2.4-018 ES 选型边界在哪里?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

ES 适合全文检索、日志分析、聚合搜索与分布式近实时查询;不适合强事务主存、高频单行更新与超低成本存储。

概念解释

  • 适合:全文搜索、日志/指标分析、宽聚合、海量文档检索。
  • 不适合:账务事务、高频点写更新、权威数据源。
  • 权衡:资源开销、近实时一致性、运维复杂度。

原理流程

检索/分析需求 + 数据可重建 → ES
强事务/单行更新 → 关系库/其他存储

代码 / 命令

GET /_cluster/health

常见误区

  • 误区:ES 能存所有业务数据。正解:作为检索/分析派生层更合适。
  • 误区:ES 集群越小越省钱。正解:分片与副本需满足容错与查询并行,过小会 red/慢查询。

追问

  • 问:日志场景为什么常用 ES?答:倒排检索 + 聚合 + 水平扩展,适配日志规模。
  • 问:ES 与向量库怎么配合?答:BM25 检索 + 向量语义检索混合,详见 05.5.2.5。

参考来源