罗罗编程学习记录
本页内容 展开查看

05.9 数据湖与大数据存储

所属:全栈开发面试题库 / 05 数据库与存储

覆盖范围

  • HDFS 架构与读写流程
  • Hive 表模型与分区分桶
  • Iceberg/Hudi/Delta Lake 对比
  • 文件格式与压缩(Parquet/ORC)

子主题

编号 主题 覆盖范围
05.9.1 HDFS 架构与读写流程 NameNode/DataNode、block 与副本放置、读写 pipeline、小文件问题、HDFS 与对象存储
05.9.2 Hive 表模型与分区分桶 内部表与外部表、分区与分桶、存储格式、分区裁剪、Hive 更新
05.9.3 Iceberg-Hudi-DeltaLake 对比 表格式 ACID、Iceberg 快照与增量读、Hudi COW/MOR、Delta 事务日志、选型
05.9.4 文件格式与压缩 Parquet/ORC、谓词下推与行组、Snappy/LZ4/ZSTD、小文件治理、行组大小

面试题索引

编号 题目 难度 状态 备注
05.9.1-001 HDFS 架构角色 基础 已完成
05.9.2-001 内部表与外部表区别 基础 已完成
05.9.3-002 Iceberg 快照与增量读 高级 已完成
05.9.4-002 谓词下推原理 进阶 已完成

待整理清单

  • [ ] 数据湖治理与元数据
  • [ ] 湖仓与计算引擎(Trino/Spark/Flink)配合