05.5.2.4 Elasticsearch 分片副本与集群运维
所属:全栈开发面试题库 / 05 数据库与存储 / 05.5 NoSQL 与专用存储 / 05.5.2 文档、搜索与向量存储
覆盖范围
- 主分片与副本分片:路由、高可用与读扩展
- 分片数规划、分片大小、节点角色与集群健康
- 段合并、扩容重平衡、投票与磁盘水位
- 监控指标、快照备份、ILM 分层、副本一致性与跨集群复制
- 运维事故、分片机制对照与选型边界
集群结构
Index → 主分片 P0..Pn + 副本分片 R
节点持有部分分片;主分片故障时副本提升为主
文档按 _id 哈希路由到主分片 → 同步到其副本
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.5.2.4-001 | 分片与副本作用 | 基础 | ★★★★☆ |
| 05.5.2.4-002 | 主分片数不可改 | 进阶 | ★★★★☆ |
| 05.5.2.4-003 | 分片大小经验值 | 进阶 | ★★★★☆ |
| 05.5.2.4-005 | 集群健康 green/yellow/red | 基础 | ★★★★★ |
| 05.5.2.4-010 | 磁盘水位线 | 进阶 | ★★★★☆ |
| 05.5.2.4-012 | 快照备份 | 进阶 | ★★★☆☆ |
| 05.5.2.4-013 | ILM 分层 | 高级 | ★★★☆☆ |
| 05.5.2.4-017 | 分片机制对照 | 高级 | ★★☆☆☆ |
05.5.2.4-001 主分片和副本分片分别起什么作用?
频率 ★★★★☆ | 难度 基础
一句话结论
主分片把数据水平拆分并行检索;副本分片是主分片的拷贝,提供高可用与读扩展,主分片故障时副本提升为主。
概念解释
- 主分片(primary):数据分片单元,写入先到主分片。
- 副本(replica):主分片拷贝,容错与分担读。
- 副本不增加主分片容量:数据仍在主分片拆分维度内。
原理流程
文档 → 路由到主分片 → 同步写副本
主分片节点故障 → 副本提升为主
读请求 → 主或副本均可
代码 / 命令
GET /_cluster/health
GET /products/_settings
常见误区
- 误区:副本分片扩大了可存数据容量。正解:容量由主分片决定,副本是冗余。
- 误区:副本可以与主分片放在同一节点。正解:同节点副本不提供容错,分片分配会错开。
追问
- 问:副本数越多读性能越高吗?答:可分担读,但写需同步所有副本,写成本上升。
- 问:一个主分片最少几个副本?答:0 副本可运行,但无节点故障容错。
05.5.2.4-002 主分片数量为什么建索引后不能改?
频率 ★★★★☆ | 难度 进阶
一句话结论
主分片数决定文档哈希路由的分片空间,索引创建后固定;要改分片数需新建索引并 reindex 迁移数据。
概念解释
- 路由依据:
_id/路由值哈希到固定主分片。 - 不可变:已存在的分片边界不能在线拆分。
- 扩容方式:建新索引(新分片数)→ reindex → 别名切换。
原理流程
旧索引 N 主分片 → 新建 M 主分片索引 → reindex 复制 → 别名指向新索引 → 删旧索引
代码 / 命令
// 新索引带目标分片数
PUT /products-v2
{ "settings": { "number_of_shards": 6 }, "mappings": { ... } }
POST /_reindex
{ "source": { "index": "products" }, "dest": { "index": "products-v2" } }
常见误区
- 误区:在线调整
number_of_shards即可扩分片。正解:该参数对已存在索引不可改。 - 误区:reindex 期间业务无需停机。正解:靠别名切换实现平滑,需处理双写/增量。
追问
- 问:副本数能在线改吗?答:
number_of_replicas可动态调整。 - 问:分片数规划过大有什么代价?答:分片多开销大、集群元数据与查询归并成本上升。
05.5.2.4-003 单个分片大小有什么经验值?
频率 ★★★★☆ | 难度 进阶
一句话结论
常规检索索引单分片建议控制在几十 GB 量级(经验范围按场景核对),过大影响恢复与查询,过小则分片数量膨胀。
概念解释
- 过大:分片恢复慢、段合并与查询压力集中。
- 过小:分片数过多,集群元数据、内存与归并开销上升。
- 评估:数据量、文档数、查询模式与节点容量综合确定。
原理流程
预估总数据量 ÷ 目标分片大小 ≈ 主分片数
代码 / 命令
GET /_cat/shards/products?v
GET /_cat/indices/products?v
常见误区
- 误区:分片越小并行度越高越好。正解:分片数量有上限与开销,过小反而降低集群效率。
- 误区:日志类大索引不用控制分片大小。正解:冷日志分片过大同样影响恢复与查询。
追问
- 问:如何按分片大小选分片数?答:先估总量与单分片目标大小,留增长余量。
- 问:分片过大如何拆分?答:reindex 到更多分片的新索引。
05.5.2.4-004 文档怎么路由到分片?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
默认按 _id(或自定义 routing 值)哈希到主分片;同一 routing 值的文档落在同一分片,可避免跨片。
概念解释
- 默认 routing:
_id哈希。 - 自定义 routing:写入/查询指定 routing 值,使相关文档同片。
- 作用:定向查询减少 scatter-gather。
原理流程
shard = hash(routing) % number_of_primary_shards
代码 / 命令
POST /orders/_doc?routing=user1001
{ "userId": "user1001", "amount": 99 }
GET /orders/_search?routing=user1001
{ "query": { "match_all": {} } }
常见误区
- 误区:不指定 routing 也能定向到单分片。正解:无 routing 时查询可能广播多片。
- 误区:routing 值可以随意改。正解:routing 决定分片,变更需按新 routing 重建。
追问
- 问:自定义 routing 有什么风险?答:值分布不均导致分片热点。
- 问:同一用户订单怎么保证同片?答:用 userId 作 routing。
05.5.2.4-005 集群健康 green、yellow、red 分别是什么意思?
频率 ★★★★★ | 难度 基础
一句话结论
green 所有主副分片正常;yellow 主分片正常但有副本未分配;red 存在主分片不可用,部分数据不可检索。
概念解释
- green:全部分片(主+副)已分配正常。
- yellow:主分片在线,副本缺失/未分配,数据可查但容错不足。
- red:有主分片未分配,对应分片数据缺失。
原理流程
检查每个分片 → 主在?副本齐?
齐 → green;主在副本缺 → yellow;主缺 → red
代码 / 命令
GET /_cluster/health
GET /_cluster/allocation/explain
常见误区
- 误区:yellow 表示数据丢失。正解:yellow 主分片在,数据可查,只是副本冗余不足。
- 误区:red 可以先观察不处理。正解:red 有主分片不可用,需立即排查分配失败原因。
追问
- 问:副本未分配常见原因?答:磁盘水位、节点不足、分片分配规则、快照恢复中。
- 问:怎么定位未分配分片?答:
_cluster/allocation/explain查看原因。
05.5.2.4-006 节点有哪些角色?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
节点分 master-eligible、data、ingest、coordinating 等角色;专用部署时拆分主管理、数据与协调节点,避免互相争抢资源。
概念解释
- master-eligible:参与选举,维护集群元数据。
- data:存分片数据、执行读写查询。
- ingest:预处理文档(ingest pipeline)。
- coordinating:纯路由归并节点。
原理流程
集群选举 master → data 节点持分片 → coordinating 接收归并 → ingest 预处理
代码 / 命令
GET /_cat/nodes?v
常见误区
- 误区:master 节点存业务数据。正解:master 负责元数据与集群状态,数据在 data 节点。
- 误区:单节点可以长期生产运行。正解:单节点无容错,角色也无法拆分。
追问
- 问:为什么专用 master 不存数据?答:避免管理操作受数据负载影响,保证集群稳定。
- 问:协调节点加硬件提升什么?答:归并/聚合计算能力,不增加存储。
05.5.2.4-007 段合并怎么管理?force merge 什么时候用?
频率 ★★☆☆☆ | 难度 高级
一句话结论
后台自动 merge 合并小段并清理墓碑;forcemerge 手动压缩到指定段数,只适合只读/冷索引,在线热索引避免频繁执行。
概念解释
- 自动 merge:按段大小/数量策略后台合并。
- forcemerge:强制合并段,IO/CPU 开销大。
- 适用:不再写入的归档索引整理段数。
原理流程
小段增多 → 自动合并 → 大段 + 清理墓碑
只读索引 → forcemerge 压到少段
代码 / 命令
POST /logs-2026-10/_forcemerge?max_num_segments=1
常见误区
- 误区:forcemerge 后还会继续自动拆段。正解:只读索引不再写入,段数稳定;热索引写入后又会产生新段。
- 误区:forcemerge 能释放所有删除空间。正解:合并清理墓碑,但空间回收受段结构影响。
追问
- 问:merge 对查询性能影响?答:合并期 IO/CPU 上升,需错峰。
- 问:怎么看段数量?答:
_cat/segments或索引 stats。
05.5.2.4-008 扩容节点后怎么重平衡分片?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
新节点加入后,集群自动把部分分片迁移到新节点实现重平衡;可通过分配感知、分片配额与迁移速度控制均衡节奏。
概念解释
- 重平衡(rebalance):分片在节点间迁移使负载均衡。
- 迁移成本:拷贝分片数据、网络 IO。
- 控制:平衡阈值、并发迁移数、磁盘感知。
原理流程
新节点加入 → 集群评估分片分布 → 迁移分片 → 元数据更新
代码 / 命令
GET /_cat/allocation?v
PUT /_cluster/settings
{ "transient": { "cluster.routing.allocation.cluster_concurrent_rebalance": 2 } }
常见误区
- 误区:加节点后数据自动立即平均。正解:迁移需要时间,期间旧节点仍承载旧分片。
- 误区:重平衡不影响在线查询。正解:迁移占用网络/磁盘,需限速错峰。
追问
- 问:分片为什么迁不过去?答:磁盘水位、角色限制、分配规则或节点资源不足。
- 问:怎么限制迁移带宽?答:分片恢复/迁移速度相关配置,按版本参数核对。
05.5.2.4-009 集群怎么防脑裂?投票机制是什么?
频率 ★★☆☆☆ | 难度 高级
一句话结论
master 选举基于多数派投票,master-eligible 节点需奇数部署;分区时少数派一侧无法选出有效 master,避免双主。
概念解释
- 多数派:合格 master 节点过半投票才成立。
- 奇数节点:避免平票。
- 脑裂防护:失去多数派的分区不能成为合法主。
原理流程
master 失联 → master-eligible 候选 → 收集多数票 → 新 master
少数派分区 → 凑不齐多数 → 不产生主
代码 / 命令
GET /_cat/master?v
GET /_cluster/state/master_node
常见误区
- 误区:两个 master 节点就能高可用选举。正解:需奇数多数派,三 master-eligible 常见。
- 误区:脑裂后两边各自写入能自动合并。正解:分裂期写冲突需人工按恢复流程处理。
追问
- 问:专用 master 节点几个合适?答:3 个奇数,避免单点与平票。
- 问:master 选举期间集群可读吗?答:数据读写由 data 节点承载,元数据操作受选举影响。
05.5.2.4-010 磁盘水位线(watermark)有哪些级别?
频率 ★★★★☆ | 难度 进阶
一句话结论
磁盘水位线分低(low)、高(high)、洪水(flood_stage);超过阈值后分片逐步拒绝分配/迁移,洪水阶段只读索引。
概念解释
- low:超过后分片开始向其他节点迁移。
- high:新分片不再分配到该节点。
- flood_stage:索引转为只读,阻止继续写入。
原理流程
磁盘占用上升 → 超 low:迁出分片
→ 超 high:不分配新分片
→ 超 flood_stage:索引只读
代码 / 命令
PUT /_cluster/settings
{
"transient": {
"cluster.routing.allocation.disk.watermark.low": "85%",
"cluster.routing.allocation.disk.watermark.high": "90%",
"cluster.routing.allocation.disk.watermark.flood_stage": "95%"
}
}
常见误区
- 误区:磁盘满了 ES 才拒绝写入。正解:到 flood_stage 即只读,需提前按水位预警。
- 误区:水位线只看绝对磁盘容量。正解:可按百分比或绝对值配置。
追问
- 问:索引被置只读怎么恢复?答:清理空间后解除
index.blocks.read_only_allow_delete。 - 问:单节点多盘怎么分配?答:分配感知按磁盘/路径均衡,避免单盘打满。
05.5.2.4-011 集群主要监控哪些指标?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
监控集群健康、分片分配、磁盘水位、JVM 堆/GC、读写延迟与队列、段数与 merge、副本延迟;异常水位与延迟提前告警。
概念解释
- 健康:green/yellow/red、未分配分片。
- 资源:CPU、内存、JVM GC、磁盘。
- 负载:查询/写入耗时、线程池队列、拒绝数。
原理流程
周期采集节点/索引指标 → 对比阈值 → 水位/GC/延迟/拒绝异常 → 告警处置
代码 / 命令
GET /_cluster/health
GET /_nodes/stats/jvm
GET /_cat/indices?v
常见误区
- 误区:只看集群健康不看 JVM。正解:堆压力与 GC 停顿常是查询变慢主因。
- 误区:写入成功就代表无排队。正解:需看写队列与拒绝次数。
追问
- 问:JVM 堆怎么设?答:按官方建议比例设置,避免过大堆导致 GC 停顿(具体数值按版本文档核对)。
- 问:查询慢看什么?答:慢查询日志、分片数、段合并与 CPU/GC。
05.5.2.4-012 快照备份怎么做?
频率 ★★★☆☆ | 难度 进阶
一句话结论
先注册快照仓库(共享文件系统/对象存储),再对索引做快照;快照增量备份,恢复时从仓库还原索引。
概念解释
- repository:快照存储位置注册。
- snapshot:索引/集群状态时点副本,增量只备份变化段。
- 恢复:从快照 restore 到集群。
原理流程
注册仓库 → 周期快照 → 故障 → restore 快照 → 重建索引
代码 / 命令
PUT /_snapshot/backup_repo
{ "type": "fs", "settings": { "location": "/snapshots" } }
PUT /_snapshot/backup_repo/snap_20261118?wait_for_completion=true
{ "indices": "products" }
常见误区
- 误区:副本就是备份。正解:副本防节点故障,误删/损坏需快照恢复。
- 误区:快照是全量拷贝所有段。正解:基于上次快照增量存储变化文件。
追问
- 问:快照期间能写入吗?答:快照时点一致,期间写入不影响快照基线。
- 问:快照仓库怎么备份?答:仓库自身(共享存储/对象存储)需持久化与冗余。
05.5.2.4-013 ILM 冷热分层是什么?
频率 ★★★☆☆ | 难度 高级
一句话结论
ILM(索引生命周期管理)按索引年龄/大小在 hot/warm/cold/frozen 阶段间迁移:热层写入检索,冷层降低副本/转只读,冻结减少开销。
概念解释
- hot:近期数据,可写可查,高性能节点。
- warm:只读,副本/硬件降配。
- cold:更少内存占用,仍可查询。
- frozen:极低开销,按需加载。
原理流程
索引创建 → hot 写入 → 达条件转 warm(只读/减副本)→ cold → frozen/删除
代码 / 命令
PUT /_ilm/policy/logs_policy
{
"policy": {
"phases": {
"hot": { "actions": { "rollover": { "max_age": "7d", "max_size": "50gb" } } },
"warm": { "min_age": "30d", "actions": { "set_priority": 50 } },
"delete": { "min_age": "90d", "actions": { "delete": {} } }
}
}
}
常见误区
- 误区:ILM 自动把冷数据存到便宜磁盘无需配置。正解:需节点属性/角色与 allocation 规则配合。
- 误区:rollover 就是删旧索引。正解:rollover 是按条件新建写索引,旧索引进入后续阶段。
追问
- 问:时间序列索引怎么配合 ILM?答:按日期建索引 + rollover + 分层策略自动流转。
- 问:frozen 索引查询有何代价?答:按需加载,查询延迟更高。
05.5.2.4-014 副本之间怎么保证一致性?
频率 ★★☆☆☆ | 难度 高级
一句话结论
写入先到主分片,再复制到副本;副本失败主分片标记异常并重新分配;副本追平期间可能短暂落后,读副本需容忍旧值。
概念解释
- 复制顺序:主分片写成功后同步副本。
- 副本故障:脱离同步,恢复后追 oplog/段。
- 读副本:可能读到滞后版本。
原理流程
写主 → 复制副本 → 全部/部分确认
副本落后 → 追平前读副本可能旧值
代码 / 命令
GET /_cat/replication?v
常见误区
- 误区:读副本一定读到最新。正解:复制延迟窗口内为旧值。
- 误区:副本和主分片实时强一致。正解:异步复制为主,按写确认配置核对。
追问
- 问:副本落后怎么看?答:
_cat/replication的同步滞后指标。 - 问:主分片写失败对副本影响?答:主分片不可用时副本提升,按集群健康判断。
05.5.2.4-015 跨集群复制(CCR)是做什么的?
频率 ★★☆☆☆ | 难度 高级
一句话结论
CCR 把一个集群的索引持续复制到另一个集群,用于异地容灾、就近读取与跨区域分发;主集群写入,跟随集群复制。
概念解释
- leader/follower:主集群 leader 索引,远程 follower 复制。
- 用途:灾备、地域就近、隔离读写。
- 方向:通常单向复制,冲突处理按机制设计。
原理流程
leader 写入 → 变更拉取到 follower → follower 提供本地读
代码 / 命令
// follower 跟随远程 leader(跨集群连接先配置)
PUT /follower-products/_ccr/follow
{ "remote_cluster": "remote-one", "leader_index": "products" }
常见误区
- 误区:CCR 就是普通快照备份。正解:它是持续增量复制,用于热备与就近读。
- 误区:双向复制无冲突。正解:双向写入需避免冲突,通常单向为主。
追问
- 问:CCR 与快照区别?答:快照是时点备份;CCR 持续同步近实时副本。
- 问:跨地域复制延迟受什么影响?答:网络 RTT 与带宽、写入量。
05.5.2.4-016 常见 ES 运维事故有哪些?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
常见事故:分片 red/未分配、磁盘打满转只读、JVM GC 停顿、批量导入压垮集群、分片数过多、误删索引与副本不足。
概念解释
- 分配故障:水位/规则/节点不足导致分片落不了地。
- 资源事故:堆压力、GC、磁盘满。
- 操作事故:误删索引、未控批量写入。
原理流程
监控告警 → 定位健康/水位/GC/队列 → 处置分配/清理/限流 → 验证恢复
代码 / 命令
GET /_cluster/allocation/explain
GET /_cat/indices?v
常见误区
- 误区:事故后直接重启节点即可。正解:先定位未分配原因与水位,盲目重启可能加剧。
- 误区:批量导入不限制并发。正解:bulk 失控会打满写队列与堆。
追问
- 问:索引被误删怎么恢复?答:有快照则 restore;无快照只能从业务库重建。
- 问:怎么预防分片过多?答:规划分片数、合并小索引、监控分片总量。
05.5.2.4-017 ES 分片与 MongoDB/MySQL 分片机制怎么对照?
频率 ★★☆☆☆ | 难度 高级
一句话结论
ES 分片是搜索并行与冗余单元,创建时固定;MongoDB 分片按片键 chunk 自动迁移;MySQL 分库分表多依赖外部规则与迁移工具。
概念解释
| 维度 | ES | MongoDB | MySQL 分库分表 |
|---|---|---|---|
| 单元 | 主/副分片 | chunk | 分库/分表 |
| 路由 | 文档哈希/routing | mongos + 片键 | 中间件/应用规则 |
| 迁移 | reindex | balancer 搬 chunk | 工具/人工 |
| 副本 | 分片副本 | 副本集 | 主从 |
原理流程
数据增长 → 各自分片路由 → 查询定向/归并
代码 / 命令
GET /_cat/shards?v
常见误区
- 误区:ES 分片可在线自动拆分。正解:分片数固定,扩容靠 reindex。
- 误区:三者副本机制相同。正解:ES 副本是分片拷贝;MongoDB 副本集是节点复制。
追问
- 问:ES 为什么分片不可在线拆?答:路由哈希基于固定主分片数。
- 问:数据层分片与搜索层分片怎么配合?答:业务库分片后同步到 ES 索引,两套路由独立。
05.5.2.4-018 ES 选型边界在哪里?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
ES 适合全文检索、日志分析、聚合搜索与分布式近实时查询;不适合强事务主存、高频单行更新与超低成本存储。
概念解释
- 适合:全文搜索、日志/指标分析、宽聚合、海量文档检索。
- 不适合:账务事务、高频点写更新、权威数据源。
- 权衡:资源开销、近实时一致性、运维复杂度。
原理流程
检索/分析需求 + 数据可重建 → ES
强事务/单行更新 → 关系库/其他存储
代码 / 命令
GET /_cluster/health
常见误区
- 误区:ES 能存所有业务数据。正解:作为检索/分析派生层更合适。
- 误区:ES 集群越小越省钱。正解:分片与副本需满足容错与查询并行,过小会 red/慢查询。
追问
- 问:日志场景为什么常用 ES?答:倒排检索 + 聚合 + 水平扩展,适配日志规模。
- 问:ES 与向量库怎么配合?答:BM25 检索 + 向量语义检索混合,详见 05.5.2.5。
参考来源
- Elasticsearch 官方文档:分片与副本:https://www.elastic.co/guide/en/elasticsearch/reference/current/scalability.html
- Elasticsearch 文档:磁盘水位与分配:https://www.elastic.co/guide/en/elasticsearch/reference/current/disk-based-shard-allocation.html
- Elasticsearch 文档:快照与 ILM:https://www.elastic.co/guide/en/elasticsearch/reference/current/index-lifecycle-management.html
- Elasticsearch 文档:跨集群复制:https://www.elastic.co/guide/en/elasticsearch/reference/current/ccr-overview.html