05.9.1 HDFS 架构与读写流程
所属:全栈开发面试题库 / 05 数据库与存储 / 05.9 数据湖与大数据存储
覆盖范围
- HDFS 主从架构:NameNode/DataNode/SecondaryNameNode
- Block 块大小与副本放置
- 文件读写流程
- 小文件问题与 Federation
- HDFS 与对象存储的差异
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.9.1-001 | HDFS 架构由哪些角色组成 | 基础 | ★★★★★ |
| 05.9.1-002 | 写文件流程是怎样的 | 进阶 | ★★★★ |
| 05.9.1-003 | 副本放置策略 | 进阶 | ★★★★ |
| 05.9.1-004 | 小文件为什么是问题 | 进阶 | ★★★★ |
| 05.9.1-005 | HDFS 为什么块大 | 进阶 | ★★★ |
| 05.9.1-006 | HDFS 和对象存储怎么选 | 基础 | ★★★ |
05.9.1-001 HDFS 架构由哪些角色组成?
频率 ★★★★★ | 难度 基础
一句话结论
HDFS 是主从架构:NameNode 管元数据(文件目录树、块位置),DataNode 存实际数据块,SecondaryNameNode 定期合并 fsimage 和 editlog(不是热备);HDFS HA 用两个 NameNode + JournalNode 做故障切换。
概念解释
- NameNode:元数据全在内存,是单点瓶颈。
- DataNode:按块存储,定期上报心跳和块报告。
- SecondaryNameNode:定期合并镜像,不是热备。
常见误区
- 误区:SecondaryNameNode 是 NameNode 的热备。正解:它只是定期合并 fsimage,不能无缝接管;HA 需 NN 主备 + JournalNode。
- 误区:NameNode 把数据存盘。正解:元数据在内存,editlog 持久化,重启时重放。
05.9.1-002 写文件流程是怎样的?
频率 ★★★★ | 难度 进阶
一句话结论
客户端向 NameNode 申请建文件,NameNode 返回可写 DataNode 列表;客户端把数据切成 packet 写入 pipeline(第一台 DN → 第二台 → 第三台),逐级确认后返回。
原理流程
- 客户端调用 create(),NameNode 检查权限和路径。
- 客户端切分文件为 block,向 NN 申请第一个 block。
- NN 返回三个 DN 组成 pipeline。
- 客户端按 packet 流式写,pipeline 逐级 ack。
- block 写完申请下一个 block,直到结束。
常见误区
- 误区:客户端直连三个 DN。正解:pipeline 链式写入,客户端只连第一个。
05.9.1-003 副本放置策略是怎样的?
频率 ★★★★ | 难度 进阶
一句话结论
HDFS 默认 3 副本:第一副本在客户端同节点(或随机),第二副本在不同机架,第三副本在第二副本同机架不同节点;兼顾容错和机架内带宽。
常见误区
- 误区:三个副本在不同机架。正解:第三副本与第二副本同机架,减少跨机架带宽。
05.9.1-004 小文件为什么是问题?
频率 ★★★★ | 难度 进阶
一句话结论
每个文件/块在 NameNode 内存中占约 150 字节元数据,亿级小文件撑爆 NameNode 内存;MapReduce 每个小文件起一个 map,调度开销远大于计算;解决方案:SequenceFile、Har 归档、合并小文件、用 Iceberg/Hudi 管理。
常见误区
- 误区:小文件只占磁盘小。正解:主要问题是 NameNode 内存和计算调度开销。
05.9.1-005 HDFS 为什么块这么大(默认 128MB)?
频率 ★★★ | 难度 进阶
一句话结论
块大是为了减少寻道时间和 NameNode 元数据开销,让顺序传输时间远大于定位时间;HDFS 针对大文件顺序读设计,小文件随机读不适用。
常见误区
- 误区:块越大越好。正解:块太大,Map 任务并行度下降,一般 128/256MB。
05.9.1-006 HDFS 和对象存储怎么选?
频率 ★★★ | 难度 基础
一句话结论
HDFS 适合高吞吐大文件、低延迟随机写和计算本地性;对象存储(S3/OSS)弹性、无元数据瓶颈、适合冷数据和湖仓,但不支持随机写和 rename,延迟高。新数据湖基本用对象存储替代 HDFS。
05.9.1-007 HDFS HA 怎么实现?
频率 ★★ | 难度 进阶
一句话结论
两个 NameNode(主备)通过 JournalNode 组同步 editlog,ZKFC 监控并自动切换;主备切换期间客户端重试。
05.9.1-008 Erasure Coding 是什么?
频率 ★★ | 难度 进阶
一句话结论
纠删码(如 3+2)把数据切成块编码,比 3 副本省空间(1.5 倍 vs 3 倍),但恢复计算量大;冷数据用 EC,热数据用副本。
05.9.1-009 HDFS 短路读是什么?
频率 ★ | 难度 高级
一句话结论
客户端和 DataNode 同节点时直接读本地文件,不走 TCP,提升本地读性能。
05.9.1-010 现在还在用 HDFS 吗?
频率 ★★ | 难度 基础
一句话结论
新数据湖基本用对象存储(S3/OSS/MinIO)替代 HDFS;存量 HDFS 集群仍在运行,但新项目选对象存储。
典型场景与代码示例
HDFS 写流程
1. 客户端调用 create(),NameNode 检查权限和路径
2. NameNode 返回可写 DataNode 列表
3. 客户端切分文件为 block(默认 128MB)
4. 建立 pipeline:DN1 -> DN2 -> DN3
5. 数据按 packet(64KB)流式写入
6. DN 逐级 ack,全部成功后返回
7. block 写完申请下一个 block
HDFS 读流程
1. 客户端向 NameNode 请求文件位置
2. NameNode 返回 block 对应的 DataNode 列表(按距离排序)
3. 客户端就近连接 DN 读取 block
4. 读完一个 block 连接下一个 DN
副本放置策略
默认 3 副本:
副本 1:客户端同节点(或随机节点)
副本 2:不同机架
副本 3:与副本 2 同机架不同节点
目的:
- 机架故障不丢数据
- 减少跨机架带宽
面试高频追问
问:SecondaryNameNode 是热备吗?
答:不是。它只是定期合并 fsimage 和 editlog;HA 需主备 NN + JournalNode。
问:小文件为什么是问题?
答:每个文件在 NameNode 内存占约 150 字节元数据,亿级小文件撑爆内存;MapReduce 每个小文件起一个 map,调度开销大。
问:HDFS 块为什么这么大?
答:块大减少寻道时间和 NameNode 元数据开销,让顺序传输远大于定位;默认 128MB。
问:HDFS 和对象存储怎么选?
答:新数据湖用对象存储替代 HDFS;存量 HDFS 仍在运行,但新项目选 S3/OSS/MinIO。
核心要点速记
| 角色 | 职责 |
|---|---|
| NameNode | 元数据、目录树、块位置 |
| DataNode | 存实际数据块 |
| SecondaryNameNode | 定期合并镜像(非热备) |
| JournalNode | HA 同步 editlog |
小文件问题:NameNode 内存撑爆 + MapReduce 调度开销大。
一句话记忆:HDFS 主从架构;块大减少寻道;小文件是头号问题。
相关概念辨析
HDFS vs 对象存储
| 维度 | HDFS | 对象存储(S3/OSS) |
|---|---|---|
| 架构 | NameNode/DataNode | 扁平 KV |
| 小文件 | 差 | 好 |
| 随机写 | 不支持 | 不支持 |
| 运维 | 复杂 | 托管 |
| 适合 | 离线计算 | 通用存储 |
副本 vs 纠删码
- 副本:3 副本,空间利用率 33%,恢复快。
- 纠删码:N+M,空间利用率 80%+,恢复慢。
- 选择:热数据用副本;冷数据用纠删码。
05.9.1-009 HDFS 小文件治理有哪些具体手段?
频率 ★★★★ | 难度 进阶
一句话结论
小文件占 NameNode 内存(每个约 150 字节),治理手段:1)写入端攒批;2)定期合并(HAR/SequenceFile);3)使用列式文件格式;4)冷热分离到对象存储。
概念解释
- 小文件:小于 HDFS 块大小(128MB)的文件。
- NameNode 内存:每个文件占约 150 字节元数据,亿级小文件撑爆 NameNode。
- 治理目标:减少文件数,降低 NameNode 压力。
原理流程
- 写入端:Spark/Hive 作业设置 coalesce 或 repartition,减少输出文件数。
- 合并:HAR(Hadoop Archive)把小文件打包成大文件。
- 列式格式:Parquet/ORC 按 Row Group 写入,减少文件数。
- 冷热分离:冷数据迁移到对象存储(S3/OSS)。
代码 / 示例
-- Hive 设置合并小文件
SET hive.merge.mapfiles=true;
SET hive.merge.mapredfiles=true;
SET hive.merge.size.per.task=256000000;
SET hive.merge.smallfiles.avgsize=16000000;
-- Spark coalesce 减少输出
df.coalesce(10).write.parquet("hdfs://path");
常见误区
- 误区:小文件只是占空间。正解:小文件主要占 NameNode 内存,不是磁盘空间。
追问延伸
- HAR 限制:HAR 内文件不可直接追加,要解压。
- 对象存储:S3/OSS 对小文件友好,不需要 NameNode。
05.9.1-010 HDFS 读流程和就近读取?
频率 ★★★ | 难度 进阶
一句话结论
客户端先问 NameNode 拿文件块位置,然后就近连接最近的 DataNode 读取数据;如果客户端在 DataNode 同节点,直接本地读。
概念解释
- 就近读取:客户端优先读取同机架或同节点的 DataNode,减少网络流量。
- 副本位置:NameNode 返回每个块的副本位置列表。
- 短路读:客户端和 DataNode 同节点时,直接读文件,不走网络。
原理流程
- 客户端调 NameNode 获取文件块位置。
- NameNode 返回每个块的副本位置列表(按距离排序)。
- 客户端连接最近的 DataNode 读取数据。
- 如果 DataNode 失败,自动切换到下一个副本。
常见误区
- 误区:所有读都走 NameNode。正解:NameNode 只返回位置,数据传输不走 NameNode。
追问延伸
- 机架感知:NameNode 按机架拓扑排序列副本。
- 短路读:配置 dfs.client.read.shortcircuit=true。
05.9.1-011 纠删码和副本的恢复成本对比?
频率 ★★ | 难度 高级
一句话结论
3 副本空间利用率 33%,恢复快(直接复制副本);纠删码 N+M(如 6+3)空间利用率 67%,恢复慢(要解码计算)。
概念解释
- 副本:3 副本,丢一个直接从其他副本复制。
- 纠删码:6 个数据块 + 3 个校验块,丢一个要从其他块解码。
- 恢复成本:副本复制快;纠删码解码消耗 CPU 和网络。
原理流程
- 副本丢失:直接从其他副本复制数据块。
- 纠删码丢失:从 6 个数据块中选 6 个(容忍 3 个丢失),解码重建。
- 恢复时间:副本分钟级;纠删码小时级。
常见误区
- 误区:纠删码省空间就好。正解:恢复慢,适合冷数据;热数据用副本。
追问延伸
- 选择:热数据用 3 副本;冷数据用纠删码。
- HDFS 纠删码:支持 RS-6-3,适合归档。
待整理清单
- [ ] HDFS HA 与 RBF(Router-based Federation)
- [ ] Erasure Coding 纠删码与副本的取舍
- [ ] 分布式缓存与短路读