05.9 数据湖与大数据存储
所属:全栈开发面试题库 / 05 数据库与存储
覆盖范围
- HDFS 架构与读写流程
- Hive 表模型与分区分桶
- Iceberg/Hudi/Delta Lake 对比
- 文件格式与压缩(Parquet/ORC)
子主题
| 编号 | 主题 | 覆盖范围 |
|---|---|---|
| 05.9.1 | HDFS 架构与读写流程 | NameNode/DataNode、block 与副本放置、读写 pipeline、小文件问题、HDFS 与对象存储 |
| 05.9.2 | Hive 表模型与分区分桶 | 内部表与外部表、分区与分桶、存储格式、分区裁剪、Hive 更新 |
| 05.9.3 | Iceberg-Hudi-DeltaLake 对比 | 表格式 ACID、Iceberg 快照与增量读、Hudi COW/MOR、Delta 事务日志、选型 |
| 05.9.4 | 文件格式与压缩 | Parquet/ORC、谓词下推与行组、Snappy/LZ4/ZSTD、小文件治理、行组大小 |
面试题索引
| 编号 | 题目 | 难度 | 状态 | 备注 |
|---|---|---|---|---|
| 05.9.1-001 | HDFS 架构角色 | 基础 | 已完成 | |
| 05.9.2-001 | 内部表与外部表区别 | 基础 | 已完成 | |
| 05.9.3-002 | Iceberg 快照与增量读 | 高级 | 已完成 | |
| 05.9.4-002 | 谓词下推原理 | 进阶 | 已完成 |
待整理清单
- [ ] 数据湖治理与元数据
- [ ] 湖仓与计算引擎(Trino/Spark/Flink)配合