罗罗编程学习记录
本页内容 展开查看

05.5.2.2 MongoDB 副本集与分片

所属:全栈开发面试题库 / 05 数据库与存储 / 05.5 NoSQL 与专用存储 / 05.5.2 文档、搜索与向量存储

覆盖范围

  • 副本集:成员角色、选举、oplog、写关注与读偏好
  • 故障转移、延迟/隐藏节点
  • 分片集群:mongos、config server、shard、片键、范围/哈希分片
  • chunk、balancer、zone、scatter-gather 与 targeted 查询
  • 备份恢复、监控、事务限制、热点片键与分库分表对照

两级扩展结构

副本集(高可用 + 读扩展):Primary + Secondary(+Arbiter),oplog 异步/同步复制
分片集群(水平扩展):mongos 路由 + config server 元数据 + 多个分片(副本集)

高频题速览

编号 题目 难度 频率
05.5.2.2-001 副本集成员与选举 进阶 ★★★★☆
05.5.2.2-002 oplog 与回滚窗口 高级 ★★★★☆
05.5.2.2-003 writeConcern majority 进阶 ★★★★☆
05.5.2.2-007 分片组件 进阶 ★★★★☆
05.5.2.2-008 片键选择 高级 ★★★★★
05.5.2.2-009 范围 vs 哈希分片 进阶 ★★★★☆
05.5.2.2-012 scatter-gather vs targeted 高级 ★★★☆☆
05.5.2.2-017 热点/跳跃片键 高级 ★★★★☆

05.5.2.2-001 副本集有哪些成员角色?怎么选举主节点?

频率 ★★★★☆ | 难度 进阶

一句话结论

副本集由 Primary、Secondary 与可选 Arbiter 组成;主故障时符合条件的副本按选票与优先级选举新主,多数派达成才成立。

概念解释

  • Primary:接收写,产生 oplog。
  • Secondary:复制 oplog 并可承担读。
  • Arbiter:只投票不存数据,用于凑多数派。
  • 选举:心跳超时触发,比较数据新鲜度、优先级与票数。

原理流程

主失联 → 副本发起选举 → 收集多数派选票 → 数据足够新 → 成为 Primary

代码 / 命令

rs.status();
rs.isMaster();

常见误区

  • 误区:任意 Secondary 都能升主。正解:数据落后过多的成员不满足当选条件。
  • 误区:Arbiter 存副本数据。正解:它只参与投票,不持数据。

追问

  • 问:副本集最少几个成员?答:投票成员需奇数以形成多数派;两数据节点 + 一 Arbiter 常见。
  • 问:选举时写入怎么办?答:选举期间集群无主,写不可用直到新主选出。

05.5.2.2-002 oplog 是什么?回滚窗口怎么理解?

频率 ★★★★☆ | 难度 高级

一句话结论

oplog 是主节点记录所有写操作的固定大小 capped collection;副本靠它复制,落后副本在主切换时超出 oplog 窗口的写需回滚。

概念解释

  • capped:固定大小循环覆盖,旧操作被挤出。
  • 复制:副本按 oplog 时间戳回放。
  • 回滚(rollback):旧主重新加入新主后,其未被新主继承的写需回滚。

原理流程

主写 → 记 oplog → 副本回放
副本长期落后 → oplog 被覆盖 → 重连后部分写需回滚

代码 / 命令

rs.printReplicationInfo();
rs.printSecondaryReplicationInfo();

常见误区

  • 误区:oplog 是无限增长日志。正解:固定集合,满了覆盖最旧操作。
  • 误区:副本落后只会变慢不会丢写。正解:超出 oplog 窗口的写在切换时回滚。

追问

  • 问:oplog 大小怎么定?答:按故障切换可容忍落后时长与写入量估算。
  • 问:回滚数据在哪查看?答:回滚目录中的记录,需人工确认后处理。

05.5.2.2-003 writeConcern majority 是什么?

频率 ★★★★☆ | 难度 进阶

一句话结论

写关注要求写入传播到多数派成员才确认成功;majority 提升数据持久性,降低故障丢写风险,代价是等待延迟。

概念解释

  • w:1:仅主确认。
  • w:majority:多数副本确认。
  • journal:是否等待落 journal。
  • j:持久化到磁盘日志。

原理流程

写主 → 同步副本 → 多数派确认 → 返回成功
未达多数 → 客户端等待或超时

代码 / 命令

db.orders.insertOne(doc, { writeConcern: { w: "majority", j: true } });

常见误区

  • 误区:majority 保证所有副本一致。正解:只保证多数派,落后副本最终追平。
  • 误区:写关注越高越好无成本。正解:等待副本确认增加写延迟。

追问

  • 问:多数派怎么算?答:投票成员数的过半,Arbiter 计入投票不计数据。
  • 问:w:majority 与读偏好怎么配合?答:写多数派 + 读主/多数派读可降低旧值风险。

05.5.2.2-004 readPreference 有哪些模式?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

读偏好决定读打到哪个成员:primary、primaryPreferred、secondary、secondaryPreferred、nearest。

概念解释

  • primary:只读主。
  • secondary:读副本(可能旧值)。
  • nearest:按网络延迟选最近成员。
  • 标签:可配合 tag 定向特定节点。

原理流程

读请求 → 按 readPreference 选成员 → 可能读到滞后数据

代码 / 命令

db.orders.find().readPref("secondaryPreferred");

常见误区

  • 误区:读副本一定读到最新。正解:复制延迟窗口内返回旧值。
  • 误区:nearest 按数据新鲜度选。正解:它按网络延迟选,不保证最新。

追问

  • 问:写后立即读怎么保证?答:读打 primary,或结合写关注与一致性要求。
  • 问:副本读扩展适合什么?答:报表、读多写少、可容忍短暂旧值的场景。

05.5.2.2-005 故障转移的流程是什么?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

主失联被检测后,合格副本发起选举,多数派投票选出新主,客户端驱动识别新主并重连,原主恢复后成为副本。

概念解释

  • 检测:心跳超时。
  • 选举:新鲜度 + 优先级 + 票数。
  • 客户端:驱动跟随副本集拓扑自动刷新。

原理流程

心跳超时 → 选举 → 新主确认 → 驱动更新拓扑 → 业务重连
旧主恢复 → 同步新主 → 成为 Secondary

代码 / 命令

rs.status();

常见误区

  • 误区:故障转移完全无写中断。正解:选举窗口内写不可用。
  • 误区:客户端需手工改连接地址。正解:驱动按副本集种子地址自动发现拓扑。

追问

  • 问:选举耗时由什么决定?答:心跳/选举超时配置与节点响应速度。
  • 问:脑裂怎么避免?答:多数派选举,少数派一侧不能成为合法主。

05.5.2.2-006 延迟节点和隐藏节点有什么用?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

延迟副本故意滞后一段时间用于恢复误删/误改;隐藏副本对客户端不可见,可跑备份/分析等不影响在线读的任务。

概念解释

  • 延迟节点:slaveDelay 滞后固定时长,保留旧版本数据。
  • 隐藏节点:hidden,不被读偏好选中,仍参与投票(按配置)。
  • 用途:备份、报表、误操作回滚缓冲。

原理流程

延迟副本:回放滞后 N 小时 → 误删后从延迟副本取旧值
隐藏副本:不接业务读 → 跑备份/批处理

代码 / 命令

// 成员配置示例(参数按 rs.conf 结构核对)
rs.conf().members;

常见误区

  • 误区:延迟节点能实时读。正解:它故意滞后,不适合在线读。
  • 误区:隐藏节点不参与选举投票。正解:是否投票由 votes 配置决定,hidden 与 votes 独立。

追问

  • 问:误删数据多久内可从延迟副本恢复?答:取决于延迟时长与数据保留窗口。
  • 问:备份跑在主还是副本?答:优先隐藏/延迟副本,避免影响在线业务。

05.5.2.2-007 分片集群由哪些组件组成?

频率 ★★★★☆ | 难度 进阶

一句话结论

分片集群由 mongos 路由、config server 存元数据、多个 shard(每个是副本集)存数据三部分组成。

概念解释

  • mongos:查询路由,接收请求并转发到目标分片。
  • config server:存片键范围、chunk 分布等元数据。
  • shard:数据分片,内部为副本集保证高可用。

原理流程

客户端 → mongos → 查 config 元数据定位分片 → 转发查询 → 归并返回

代码 / 命令

sh.status();

常见误区

  • 误区:分片集群每个 shard 是单节点。正解:生产 shard 本身是副本集。
  • 误区:mongos 存业务数据。正解:它是无状态路由,元数据在 config server。

追问

  • 问:mongos 可以部署多个吗?答:可以多实例分担路由,无状态。
  • 问:config server 故障影响什么?答:元数据不可用,集群路由与迁移受影响。

05.5.2.2-008 怎么选择片键?

频率 ★★★★★ | 难度 高级

一句话结论

好片键要高基数、分布均匀、覆盖常用查询,避免热点与频繁跨片;常见选择:哈希高基数字段、复合片键、含时间维度的组合。

概念解释

  • 高基数:取值多,数据能均匀分散。
  • 均匀分布:避免集中写某分片。
  • 查询友好:常用条件含片键,可 targeted 路由。
  • 避免:单调递增字段导致尾部热点。

原理流程

分析查询模式 + 数据分布 → 选片键 → 评估均匀性与定向查询

代码 / 命令

sh.shardCollection("db.products", { userId: "hashed" });

常见误区

  • 误区:选自增 _id 做范围片键最省事。正解:单调递增导致新数据集中尾部分片热点。
  • 误区:片键选定后可随意改。正解:改片键需换集合/迁移,成本高,设计期定好。

追问

  • 问:片键基数低会怎样?答:取值少无法分散,部分分片过热。
  • 问:常用查询不带片键怎么办?答:只能 scatter-gather,性能差,需调整建模/片键。

05.5.2.2-009 范围分片和哈希分片有什么区别?

频率 ★★★★☆ | 难度 进阶

一句话结论

范围分片按键值区间分布,支持范围查询定向,但可能热点;哈希分片打散均匀,写入分散,但范围查询需跨片。

概念解释

  • 范围(ranged):键排序区间映射分片,适合范围扫描。
  • 哈希(hashed):键哈希后分布,均匀打散,范围查询不友好。
  • 复合:组合字段兼顾分散与查询。

原理流程

范围:key ∈ [min,max) → 对应分片;相邻值同片
哈希:hash(key) → 均匀落到各片;范围查询跨片

代码 / 命令

sh.shardCollection("db.logs", { createdAt: 1 });              // 范围
sh.shardCollection("db.users", { userId: "hashed" });         // 哈希

常见误区

  • 误区:哈希分片也能高效做时间范围查询。正解:哈希打散后时间值不相邻,范围查询跨多片。
  • 误区:范围分片一定有热点。正解:分布均匀的离散字段范围分片也可平衡。

追问

  • 问:时间序列数据怎么分片?答:按时间范围需防尾部热点,可复合片键或哈希打散。
  • 问:两种方式能混用吗?答:单集合片键方式固定,按主键类型选择。

05.5.2.2-010 chunk、balancer 和迁移是怎么回事?

频率 ★★☆☆☆ | 难度 高级

一句话结论

chunk 是片键区间的数据块;balancer 在分片间自动平衡 chunk 分布;chunk 过大或不均时分裂与迁移数据。

概念解释

  • chunk:分片内数据块,有片键区间。
  • balancer:后台进程检测分片 chunk 数量差,发起迁移。
  • 迁移:chunk 内文档从源分片搬到目标分片。

原理流程

chunk 增长超阈值 → 分裂
分片间 chunk 不均 → balancer 迁移 chunk → 元数据更新

代码 / 命令

sh.status();
db.settings.find({ _id: "balancer" });

常见误区

  • 误区:balancer 迁移的是整个分片。正解:以 chunk 为单位搬数据。
  • 误区:迁移对在线查询无影响。正解:迁移期间有 IO/网络开销,大 chunk 影响明显。

追问

  • 问:chunk 大小可配吗?答:默认块大小可按集群配置调整(数值以版本为准)。
  • 问:balancer 什么时候关闭?答:维护窗口可临时关闭,避免迁移干扰。

05.5.2.2-011 zone(分片区)是什么?

频率 ★★☆☆☆ | 难度 高级

一句话结论

zone 把指定片键区间绑定到指定分片组,使特定数据落到指定节点,用于地域隔离、冷热分层或合规分布。

概念解释

  • 区间绑定:片键范围 → zone → 分片。
  • 用途:地域就近、数据分级、专用硬件。
  • 平衡约束:balancer 按 zone 规则放置 chunk。

原理流程

定义 zone 范围 → 绑定分片 → 新 chunk 按规则落入对应分片

代码 / 命令

sh.addTagRange("db.products", { region: "CN" }, { region: "CN∞" }, "cn-zone");

常见误区

  • 误区:zone 只是给分片起名。正解:它约束数据放置位置。
  • 误区:zone 内数据自动跨 zone 迁移。正解:迁移受 zone 规则限制。

追问

  • 问:跨地域部署怎么用 zone?答:按地域片键区间绑定本地分片,实现数据就近落盘。
  • 问:zone 与 balancer 冲突吗?答:balancer 在 zone 规则内平衡。

05.5.2.2-012 什么是 targeted 查询和 scatter-gather?

频率 ★★★☆☆ | 难度 高级

一句话结论

查询条件带片键时 mongos 定向到相关分片(targeted);不含片键则广播所有分片再归并(scatter-gather),后者成本高。

概念解释

  • targeted:片键条件匹配,路由到单/少数分片。
  • scatter-gather:广播全部分片,各片执行后归并排序。
  • 成本:跨片查询放大到所有分片,并发与归并开销大。

原理流程

带片键 → 定位分片 → 单/少片查询
不带片键 → 全片扫描 → mongos 归并

代码 / 命令

// 带片键 userId → targeted
db.users.find({ userId: 1001 });
// 不带片键 → scatter-gather
db.users.find({ name: "ann" });

常见误区

  • 误区:分片后所有查询都自动变快。正解:不带片键的查询反而跨片放大。
  • 误区:归并在分片本地完成。正解:排序/限制常需 mongos 汇聚后处理。

追问

  • 问:怎么识别查询是否定向?答:explain 看路由分片数量与 mongos 阶段。
  • 问:高频查询应怎么设计片键?答:让常用过滤条件包含片键。

05.5.2.2-013 副本集和分片集群是什么关系?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

分片解决水平容量扩展,每个 shard 内部仍是副本集保证高可用;副本集是分片的基础单元,二者叠加而非互斥。

概念解释

  • 副本集:高可用 + 读扩展,数据单份主集。
  • 分片:数据水平切分到多个副本集。
  • 层级:mongos → 多个 shard 副本集 → 各副本集内部主从。

原理流程

容量增长 → 分片;每个分片故障转移 → 靠副本集机制

代码 / 命令

sh.status();
rs.status();

常见误区

  • 误区:分片替代副本集。正解:分片解决容量,副本集解决可用性。
  • 误区:小数据量也必须分片。正解:副本集满足容量时无需分片复杂度。

追问

  • 问:什么时候从副本集升级分片?答:单机容量/内存接近上限,垂直扩容不足。
  • 问:分片迁移期间副本集还能故障转移吗?答:可以,分片内副本集独立运行。

05.5.2.2-014 mongodump / mongorestore 怎么备份恢复?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

mongodump 导出 BSON 格式数据与元数据,mongorestore 导入恢复;可按集合/查询过滤,大库应低峰并配合 oplog 时间点恢复。

概念解释

  • mongodump:逻辑备份,导出文档与索引定义。
  • mongorestore:从导出文件重建。
  • oplog 备份:配合实现时间点恢复(按版本工具支持核对)。

原理流程

mongodump → 导出 BSON + 元数据
故障 → mongorestore 导入 → 回放 oplog 到目标时点

代码 / 命令

mongodump --uri="mongodb://localhost:27017" --db=shop --out=/backup/shop
mongorestore --uri="mongodb://localhost:27017" --dir=/backup/shop

常见误区

  • 误区:mongodump 是物理快照。正解:逻辑导出,恢复需重建索引,大库耗时。
  • 误区:备份可替代副本集高可用。正解:备份防误删/灾难,副本集防单点故障。

追问

  • 问:备份跑在哪个节点?答:隐藏/延迟副本,避免影响主库性能。
  • 问:备份一致性怎么保证?答:按工具一致性选项与 oplog 时点核对。

05.5.2.2-015 集群要看哪些监控指标?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

关注复制延迟、 oplog 窗口、连接数、读写队列、chunk 分布、 balancer 状态与存储水位;异常延迟与倾斜及时告警。

概念解释

  • 复制:副本滞后秒数、oplog 剩余窗口。
  • 负载:连接、读写排队、CPU/内存/磁盘。
  • 分片:各分片 chunk/数据量均衡度、迁移状态。

原理流程

周期采集 → 对比阈值 → 延迟/倾斜/水位异常 → 告警处置

代码 / 命令

rs.printSecondaryReplicationInfo();
sh.status();
db.serverStatus().connections;

常见误区

  • 误区:只看主库指标。正解:副本延迟与分片倾斜同样影响服务。
  • 误区:chunk 数量均衡就代表数据量均衡。正解:chunk 大小不一,需看实际存储量。

追问

  • 问:复制延迟持续增大说明什么?答:副本回放慢、大操作或网络/资源瓶颈。
  • 问:分片不均怎么发现?答:对比各 shard 数据量与 chunk 数。

05.5.2.2-016 分片集群上分布式事务有哪些限制?

频率 ★★☆☆☆ | 难度 高级

一句话结论

跨片事务可支持但成本高,参与分片需持有事务会话;跨片提交协调增加延迟与失败面,应尽量建模减少跨片事务。

概念解释

  • 跨片事务:操作涉及多个分片时由协调方管理。
  • 代价:锁、两阶段类提交协调、超时回滚。
  • 建议:按片键把相关数据放同片,避免跨片事务。

原理流程

事务跨片 → 各片准备 → 协调提交/中止

代码 / 命令

const session = db.getMongo().startSession();
session.startTransaction();
// 跨集合/跨片操作(需片键设计配合)
session.commitTransaction();

常见误区

  • 误区:分片后事务和单库一样轻量。正解:跨片事务协调成本显著上升。
  • 误区:所有写都能包跨片事务。正解:受版本、片键与事务限制约束。

追问

  • 问:怎么减少跨片事务?答:相关实体按片键聚合到同片,事务内操作带片键。
  • 问:跨片事务失败影响?答:整体回滚,重试需幂等。

05.5.2.2-017 什么是热点片键和跳跃片键?

频率 ★★★★☆ | 难度 高级

一句话结论

热点片键让写集中到单个分片;跳跃片键使数据在分片间大幅跳动、分布不均;常见于单调递增键与低基数/复合设计不当。

概念解释

  • 热点:新写全部落尾部分片,其他分片空闲。
  • 跳跃:片键值分布不规则,chunk 在分片间频繁迁移。
  • 对策:哈希打散、复合片键、盐值/前缀,监控分片均衡。

原理流程

单调递增 → 尾部 chunk 持续增长 → 热点
分布不均 → balancer 反复迁移 → 跳跃

代码 / 命令

sh.status();
// 对比各 shard 数据量与 chunk 数

常见误区

  • 误区:用哈希片键就不会有热点。正解:哈希字段本身低基数或热点实体集中时仍需评估。
  • 误区:balancer 自动消除所有热点。正解:片键设计问题需重建/改键解决。

追问

  • 问:时间序列写怎么防尾部热点?答:片键复合哈希/盐值打散,或按周期分片策略。
  • 问:热点分片表现?答:单分片 CPU/写入/连接突出,查询跨片等待。

05.5.2.2-018 与 MySQL 分库分表、ES 分片怎么对照?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

MongoDB 分片由集群自动管理 chunk 与路由;MySQL 分库分表常需中间件/应用规则;ES 分片是搜索计算单元,副本分担读与高可用。

概念解释

维度 MongoDB 分片 MySQL 分库分表 ES 分片
路由 mongos + 片键/元数据 中间件/应用分片规则 分片键哈希路由
迁移 balancer 自动搬 chunk 需工具/人工迁移 重建 reindex
定位 数据水平扩展 数据水平扩展 并行搜索与冗余
跨分片 scatter-gather 跨库聚合成本高 协调节点归并

原理流程

数据增长 → 分片路由 → 定向/广播查询 → 归并

代码 / 命令

sh.status();

常见误区

  • 误区:三者分片概念完全等价。正解:数据分片与搜索分片目的与机制不同。
  • 误区:MySQL 分片也有自动 balancer。正解:多数方案依赖外部中间件迁移数据。

追问

  • 问:ES 分片能在线迁移吗?答:主要靠 reindex 到新索引,详见 05.5.2.4。
  • 问:MongoDB 分片与 MySQL 分片查询差异?答:前者由 mongos 归并,后者跨库聚合常在应用/中间件层。

参考来源