罗罗编程学习记录
本页内容 展开查看

05.9.3 Iceberg-Hudi-DeltaLake 对比

所属:全栈开发面试题库 / 05 数据库与存储 / 05.9 数据湖与大数据存储

覆盖范围

  • 数据湖表格式解决的问题
  • Iceberg 快照、manifest、增量读
  • Hudi COW/MOR 两种表类型
  • Delta Lake 事务日志
  • 三者对比与选型

高频题速览

编号 题目 难度 频率
05.9.3-001 数据湖表格式解决了什么问题 基础 ★★★★★
05.9.3-002 Iceberg 快照与增量读语义 高级 ★★★★★
05.9.3-003 Hudi COW 和 MOR 区别 进阶 ★★★★
05.9.3-004 Delta Lake 事务日志 进阶 ★★★
05.9.3-005 Iceberg、Hudi、Delta 怎么选 进阶 ★★★★

05.9.3-001 数据湖表格式解决了什么问题?

频率 ★★★★★ | 难度 基础

一句话结论

裸数据湖(Hive/对象存储)没有事务、schema 演化、时间旅行、增量更新;Iceberg/Hudi/Delta 在 Parquet/ORC 文件之上加了事务日志和元数据索引,提供 ACID、快照、并发写、schema 演进。

概念解释

  • ACID:并发写入不丢数据。
  • 时间旅行:查历史快照。
  • 增量读:只读两个快照之间变化的文件。
  • schema 演化:加列/改列不用重写数据。

05.9.3-002 Iceberg 快照与增量读语义是什么?

频率 ★★★★★ | 难度 高级

一句话结论

Iceberg 每次提交生成一个不可变快照(snapshot),快照由 manifest list 指向多个 manifest,每个 manifest 记录数据文件路径、分区、行统计;读快照即按该 snapshot id 列出对应数据文件;增量读(incremental read)取两个快照 id 之间新增/删除的文件集合,用于 CDC 和流式消费。

概念解释

  • 快照(snapshot):一次提交的不可变元数据指针。
  • manifest:数据文件清单,含分区、行统计、列界。
  • 增量读:FROM snapshot_a TO snapshot_b 之间的文件差异,只输出新增/变更文件。
  • 快照保留:过期快照自动清理。

原理流程

  1. 写入:生成新数据文件,写新 manifest,提交生成新 snapshot。
  2. 读指定快照:按 snapshot id 加载 manifest list,列出数据文件。
  3. 增量读:对比 snapshot_a 与 snapshot_b 的 manifest 差异,只取新增/删除文件。

代码 / 示例

-- Spark 时间旅行
SELECT * FROM prod.orders VERSION AS OF 123;

-- 增量读:读 100 到 200 快照之间新增的数据
SELECT * FROM prod.orders
VERSION AS OF 100
CHANGE VERSION 100 TO 200;

常见误区

  • 误区:增量读是逐行 CDC。正解:Iceberg 增量读是文件级增量,输出变化文件的内容;行级 CDC 需配合表格式的 changelog 或 CDC 工具。
  • 误区:快照无限保留。正解:快照过期会被删除,要保留历史需配置 retention。
  • 误区:快照就是分区。正解:快照是一次提交的元数据版本,分区是数据组织方式。

追问

  • 问:增量读如何保证不丢不重?答:按快照 id 区间消费,每个快照是一次原子提交,文件级分区可重跑。

05.9.3-003 Hudi COW 和 MOR 有什么区别?

频率 ★★★★ | 难度 进阶

一句话结论

COW(Copy On Write)写入时直接重写 Parquet 数据文件,读无合并但写放大;MOR(Merge On Read)写入时先写日志文件(avro log),读时合并基表和日志,写快但读需合并;MOR 适合实时更新,COW 适合分析读多写少。

常见误区

  • 误区:MOR 性能一定好。正解:MOR 写快但读需合并,查询延迟略高。

05.9.3-004 Delta Lake 事务日志是什么?

频率 ★★★ | 难度 进阶

一句话结论

Delta Lake 用 _delta_log/ 目录下的 JSON 提交日志(000.json、001.json...)记录每次事务(加文件、删文件、schema 变更),读时回放最新日志得到表状态;提供 ACID、时间旅行和 upsert(MERGE)。

常见误区

  • 误区:Delta 只支持 Spark。正解:Delta 是开源表格式,Flink/Presto/Trino 也支持(Delta 3.0+ 开放协议)。

05.9.3-005 Iceberg、Hudi、Delta 怎么选?

频率 ★★★★ | 难度 进阶

一句话结论

Iceberg 中立、引擎无关(Spark/Flink/Trino 都支持好),适合通用湖仓和大规模分析;Hudi 增量更新和 CDC 最成熟,适合流式入湖;Delta 与 Spark 生态绑定深,MERGE/upsert 体验好;新中立项目优先 Iceberg。


05.9.3-006 Iceberg hidden partitioning 是什么?

频率 ★★ | 难度 高级

一句话结论

Iceberg 分区不需要在 SQL 中写分区列,引擎根据数据自动裁剪分区;分区演化时旧数据不动,新数据按新分区写。


05.9.3-007 Hudi MOR 怎么读?

频率 ★★ | 难度 进阶

一句话结论

MOR 读时合并基表(parquet)和日志(avro log),读放大;用 Compaction 定期把日志并入基表,平衡写和读。


05.9.3-008 Delta Lake MERGE 是什么?

频率 ★★ | 难度 进阶

一句话结论

Delta 的 MERGE INTO 实现 upsert(匹配则更新,不匹配则插入),是 Spark 生态最常用的 upsert 语法;Iceberg 也支持 MERGE。


05.9.3-009 快照过期怎么清理?

频率 ★★ | 难度 基础

一句话结论

过期快照和不再引用的数据文件由表格式自动清理(expire snapshots);保留窗口(如 7 天)内可时间旅行,过期后数据物理删除。

典型场景与代码示例

Iceberg 快照示例

表目录:
  my_table/
    metadata/
      v1.metadata.json  (快照 1)
      v2.metadata.json  (快照 2)
      snap-1.avro      (快照 1 的 manifest)
      snap-2.avro      (快照 2 的 manifest)
    data/
      00001.parquet
      00002.parquet
      00003.parquet

快照 1 包含:00001.parquet
快照 2 包含:00001.parquet + 00002.parquet + 00003.parquet

Iceberg 增量读

-- Spark SQL 增量读
SELECT * FROM prod.orders
VERSION AS OF 100
CHANGE VERSION 100 TO 200;

-- 输出:快照 100 到 200 之间新增的数据文件内容
-- 用于 CDC 和流式消费

Hudi COW vs MOR

COW(Copy On Write):
  写入:直接重写 Parquet 数据文件
  读:无合并,性能好
  写:放大,更新成本高
  适用:读多写少

MOR(Merge On Read):
  写入:先写 avro 日志文件
  读:读时合并基表 + 日志
  写:快,更新成本低
  适用:写多读少、实时入湖

面试高频追问

问:数据湖表格式解决了什么问题?

答:裸数据湖没有事务、schema 演化、时间旅行;表格式在 Parquet 上加事务日志和元数据索引。

问:Iceberg 增量读是什么粒度?

答:文件级增量,输出两个快照之间新增/变更文件的内容;不是逐行 CDC,行级 CDC 需配合 changelog。

问:Hudi COW 和 MOR 怎么选?

答:读多写少选 COW(读无合并);写多选 MOR(写快但读需合并)。

问:Iceberg、Hudi、Delta 怎么选?

答:中立引擎无关选 Iceberg;流式入湖选 Hudi;Spark 生态选 Delta。

核心要点速记

表格式 特点 适用
Iceberg 中立、快照、增量读 通用湖仓
Hudi COW/MOR、CDC 成熟 流式入湖
Delta Spark 生态、MERGE Spark 团队

Iceberg 快照:一次提交生成不可变快照;增量读是文件级差异。

一句话记忆:新中立项目选 Iceberg;流式入湖选 Hudi;Spark 生态选 Delta。

相关概念辨析

Iceberg vs Hudi vs Delta Lake

维度 Iceberg Hudi Delta Lake
引擎支持 多引擎 多引擎 主要 Spark
增量读 支持 支持 支持
UPSERT 支持 强 支持
社区 Apache Apache Databricks
适合 通用 频繁更新 Spark 生态

COW vs MOR

  • COW:写时合并,读快写慢。
  • MOR:读时合并,写快读慢。
  • 选择:读多写少用 COW;写多读少用 MOR。

05.9.3-009 Iceberg 快照隔离和增量读怎么实现?

频率 ★★★ | 难度 高级

一句话结论

Iceberg 每次提交生成一个快照(snapshot),包含 manifest 文件列表;读者读某个快照看到一致数据;增量读基于快照 ID 读两个快照间的差异文件。

概念解释

  • 快照:每次提交生成,记录包含哪些数据文件。
  • 快照隔离:读写不阻塞,读者看到提交前的快照。
  • 增量读:读 snapshot A 到 snapshot B 之间的新增/变更文件。

原理流程

  1. 写入:提交时生成新 snapshot,manifest 记录数据文件列表。
  2. 读取:读某个 snapshot 的 manifest,只扫这些数据文件。
  3. 增量读:对比 snapshot A 和 B 的 manifest,找出新增和变更的文件。

代码 / 示例

-- 时间旅行
SELECT * FROM table TIMESTAMP AS OF '2026-01-01';

-- 增量读
SELECT * FROM table VERSION AS OF 10 VERSION AS OF 20;

常见误区

  • 误区:快照无限保留。正解:过期快照要清理,否则小文件越来越多。

追问延伸

  • 快照过期:expire_snapshots 存储过程。
  • 增量读场景:CDC 同步到下游。

05.9.3-010 Hudi MOR 读放大怎么缓解?

频率 ★★ | 难度 高级

一句话结论

MOR(Merge On Read)写入快但读慢(要合并 base 和 delta);缓解手段:1)定期 compaction 合并 delta 到 base;2)读时合并优化;3)用 COW 替代。

概念解释

  • MOR:写入时只写 delta 文件,读时合并 base + delta。
  • 读放大:读时要合并多个 delta 文件,性能差。
  • compaction:后台定期把 delta 合并到 base。

原理流程

  1. 写入:更新数据写入 delta log。
  2. 读:合并 base file + delta log,返回最新数据。
  3. compaction:后台把 delta 合并到 base,减少读放大。

常见误区

  • 误区:MOR 写入快就好。正解:读放大严重时,查询性能下降。

追问延伸

  • compaction 策略:自动或手动触发。
  • COW vs MOR:写多读少用 MOR;读多写少用 COW。

05.9.3-011 Delta Lake 的 CDC 集成怎么用?

频率 ★★ | 难度 高级

一句话结论

Delta Lake 提供 Change Data Feed(CDF),记录表的变更数据(insert/update/delete),用于增量同步到下游;类似 Iceberg 增量读。

概念解释

  • CDF:Delta Lake 记录每行变更的类型(insert/update/delete)和数据。
  • 启用:建表时设置 delta.enableChangeDataFeed = true。
  • 读取:SELECT * FROM table_changes('table', startVersion, endVersion)。

原理流程

  1. 启用 CDF:建表时开启,后续提交记录变更。
  2. 读取变更:指定 startVersion 和 endVersion,读取变更行。
  3. 同步到下游:把变更行写入 Kafka 或下游表。

代码 / 示例

-- 启用 CDF
CREATE TABLE table (...) TBLPROPERTIES (delta.enableChangeDataFeed = true);

-- 读取变更
SELECT * FROM table_changes('table', 0, 10);

常见误区

  • 误区:CDF 就是 binlog。正解:CDF 是表级变更记录,不是数据库 binlog。

追问延伸

  • CDF 存储:变更数据单独存储,占用空间。
  • 过期:CDF 数据也有保留策略。

待整理清单

  • [ ] Iceberg hidden partitioning 与分区演化
  • [ ] Hudi 索引(Bloom/Global)与小文件治理
  • [ ] 三者的 Z-Order 聚簇与索引