05.9.3 Iceberg-Hudi-DeltaLake 对比
所属:全栈开发面试题库 / 05 数据库与存储 / 05.9 数据湖与大数据存储
覆盖范围
- 数据湖表格式解决的问题
- Iceberg 快照、manifest、增量读
- Hudi COW/MOR 两种表类型
- Delta Lake 事务日志
- 三者对比与选型
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.9.3-001 | 数据湖表格式解决了什么问题 | 基础 | ★★★★★ |
| 05.9.3-002 | Iceberg 快照与增量读语义 | 高级 | ★★★★★ |
| 05.9.3-003 | Hudi COW 和 MOR 区别 | 进阶 | ★★★★ |
| 05.9.3-004 | Delta Lake 事务日志 | 进阶 | ★★★ |
| 05.9.3-005 | Iceberg、Hudi、Delta 怎么选 | 进阶 | ★★★★ |
05.9.3-001 数据湖表格式解决了什么问题?
频率 ★★★★★ | 难度 基础
一句话结论
裸数据湖(Hive/对象存储)没有事务、schema 演化、时间旅行、增量更新;Iceberg/Hudi/Delta 在 Parquet/ORC 文件之上加了事务日志和元数据索引,提供 ACID、快照、并发写、schema 演进。
概念解释
- ACID:并发写入不丢数据。
- 时间旅行:查历史快照。
- 增量读:只读两个快照之间变化的文件。
- schema 演化:加列/改列不用重写数据。
05.9.3-002 Iceberg 快照与增量读语义是什么?
频率 ★★★★★ | 难度 高级
一句话结论
Iceberg 每次提交生成一个不可变快照(snapshot),快照由 manifest list 指向多个 manifest,每个 manifest 记录数据文件路径、分区、行统计;读快照即按该 snapshot id 列出对应数据文件;增量读(incremental read)取两个快照 id 之间新增/删除的文件集合,用于 CDC 和流式消费。
概念解释
- 快照(snapshot):一次提交的不可变元数据指针。
- manifest:数据文件清单,含分区、行统计、列界。
- 增量读:
FROM snapshot_a TO snapshot_b之间的文件差异,只输出新增/变更文件。 - 快照保留:过期快照自动清理。
原理流程
- 写入:生成新数据文件,写新 manifest,提交生成新 snapshot。
- 读指定快照:按 snapshot id 加载 manifest list,列出数据文件。
- 增量读:对比 snapshot_a 与 snapshot_b 的 manifest 差异,只取新增/删除文件。
代码 / 示例
-- Spark 时间旅行
SELECT * FROM prod.orders VERSION AS OF 123;
-- 增量读:读 100 到 200 快照之间新增的数据
SELECT * FROM prod.orders
VERSION AS OF 100
CHANGE VERSION 100 TO 200;
常见误区
- 误区:增量读是逐行 CDC。正解:Iceberg 增量读是文件级增量,输出变化文件的内容;行级 CDC 需配合表格式的 changelog 或 CDC 工具。
- 误区:快照无限保留。正解:快照过期会被删除,要保留历史需配置 retention。
- 误区:快照就是分区。正解:快照是一次提交的元数据版本,分区是数据组织方式。
追问
- 问:增量读如何保证不丢不重?答:按快照 id 区间消费,每个快照是一次原子提交,文件级分区可重跑。
05.9.3-003 Hudi COW 和 MOR 有什么区别?
频率 ★★★★ | 难度 进阶
一句话结论
COW(Copy On Write)写入时直接重写 Parquet 数据文件,读无合并但写放大;MOR(Merge On Read)写入时先写日志文件(avro log),读时合并基表和日志,写快但读需合并;MOR 适合实时更新,COW 适合分析读多写少。
常见误区
- 误区:MOR 性能一定好。正解:MOR 写快但读需合并,查询延迟略高。
05.9.3-004 Delta Lake 事务日志是什么?
频率 ★★★ | 难度 进阶
一句话结论
Delta Lake 用 _delta_log/ 目录下的 JSON 提交日志(000.json、001.json...)记录每次事务(加文件、删文件、schema 变更),读时回放最新日志得到表状态;提供 ACID、时间旅行和 upsert(MERGE)。
常见误区
- 误区:Delta 只支持 Spark。正解:Delta 是开源表格式,Flink/Presto/Trino 也支持(Delta 3.0+ 开放协议)。
05.9.3-005 Iceberg、Hudi、Delta 怎么选?
频率 ★★★★ | 难度 进阶
一句话结论
Iceberg 中立、引擎无关(Spark/Flink/Trino 都支持好),适合通用湖仓和大规模分析;Hudi 增量更新和 CDC 最成熟,适合流式入湖;Delta 与 Spark 生态绑定深,MERGE/upsert 体验好;新中立项目优先 Iceberg。
05.9.3-006 Iceberg hidden partitioning 是什么?
频率 ★★ | 难度 高级
一句话结论
Iceberg 分区不需要在 SQL 中写分区列,引擎根据数据自动裁剪分区;分区演化时旧数据不动,新数据按新分区写。
05.9.3-007 Hudi MOR 怎么读?
频率 ★★ | 难度 进阶
一句话结论
MOR 读时合并基表(parquet)和日志(avro log),读放大;用 Compaction 定期把日志并入基表,平衡写和读。
05.9.3-008 Delta Lake MERGE 是什么?
频率 ★★ | 难度 进阶
一句话结论
Delta 的 MERGE INTO 实现 upsert(匹配则更新,不匹配则插入),是 Spark 生态最常用的 upsert 语法;Iceberg 也支持 MERGE。
05.9.3-009 快照过期怎么清理?
频率 ★★ | 难度 基础
一句话结论
过期快照和不再引用的数据文件由表格式自动清理(expire snapshots);保留窗口(如 7 天)内可时间旅行,过期后数据物理删除。
典型场景与代码示例
Iceberg 快照示例
表目录:
my_table/
metadata/
v1.metadata.json (快照 1)
v2.metadata.json (快照 2)
snap-1.avro (快照 1 的 manifest)
snap-2.avro (快照 2 的 manifest)
data/
00001.parquet
00002.parquet
00003.parquet
快照 1 包含:00001.parquet
快照 2 包含:00001.parquet + 00002.parquet + 00003.parquet
Iceberg 增量读
-- Spark SQL 增量读
SELECT * FROM prod.orders
VERSION AS OF 100
CHANGE VERSION 100 TO 200;
-- 输出:快照 100 到 200 之间新增的数据文件内容
-- 用于 CDC 和流式消费
Hudi COW vs MOR
COW(Copy On Write):
写入:直接重写 Parquet 数据文件
读:无合并,性能好
写:放大,更新成本高
适用:读多写少
MOR(Merge On Read):
写入:先写 avro 日志文件
读:读时合并基表 + 日志
写:快,更新成本低
适用:写多读少、实时入湖
面试高频追问
问:数据湖表格式解决了什么问题?
答:裸数据湖没有事务、schema 演化、时间旅行;表格式在 Parquet 上加事务日志和元数据索引。
问:Iceberg 增量读是什么粒度?
答:文件级增量,输出两个快照之间新增/变更文件的内容;不是逐行 CDC,行级 CDC 需配合 changelog。
问:Hudi COW 和 MOR 怎么选?
答:读多写少选 COW(读无合并);写多选 MOR(写快但读需合并)。
问:Iceberg、Hudi、Delta 怎么选?
答:中立引擎无关选 Iceberg;流式入湖选 Hudi;Spark 生态选 Delta。
核心要点速记
| 表格式 | 特点 | 适用 |
|---|---|---|
| Iceberg | 中立、快照、增量读 | 通用湖仓 |
| Hudi | COW/MOR、CDC 成熟 | 流式入湖 |
| Delta | Spark 生态、MERGE | Spark 团队 |
Iceberg 快照:一次提交生成不可变快照;增量读是文件级差异。
一句话记忆:新中立项目选 Iceberg;流式入湖选 Hudi;Spark 生态选 Delta。
相关概念辨析
Iceberg vs Hudi vs Delta Lake
| 维度 | Iceberg | Hudi | Delta Lake |
|---|---|---|---|
| 引擎支持 | 多引擎 | 多引擎 | 主要 Spark |
| 增量读 | 支持 | 支持 | 支持 |
| UPSERT | 支持 | 强 | 支持 |
| 社区 | Apache | Apache | Databricks |
| 适合 | 通用 | 频繁更新 | Spark 生态 |
COW vs MOR
- COW:写时合并,读快写慢。
- MOR:读时合并,写快读慢。
- 选择:读多写少用 COW;写多读少用 MOR。
05.9.3-009 Iceberg 快照隔离和增量读怎么实现?
频率 ★★★ | 难度 高级
一句话结论
Iceberg 每次提交生成一个快照(snapshot),包含 manifest 文件列表;读者读某个快照看到一致数据;增量读基于快照 ID 读两个快照间的差异文件。
概念解释
- 快照:每次提交生成,记录包含哪些数据文件。
- 快照隔离:读写不阻塞,读者看到提交前的快照。
- 增量读:读 snapshot A 到 snapshot B 之间的新增/变更文件。
原理流程
- 写入:提交时生成新 snapshot,manifest 记录数据文件列表。
- 读取:读某个 snapshot 的 manifest,只扫这些数据文件。
- 增量读:对比 snapshot A 和 B 的 manifest,找出新增和变更的文件。
代码 / 示例
-- 时间旅行
SELECT * FROM table TIMESTAMP AS OF '2026-01-01';
-- 增量读
SELECT * FROM table VERSION AS OF 10 VERSION AS OF 20;
常见误区
- 误区:快照无限保留。正解:过期快照要清理,否则小文件越来越多。
追问延伸
- 快照过期:expire_snapshots 存储过程。
- 增量读场景:CDC 同步到下游。
05.9.3-010 Hudi MOR 读放大怎么缓解?
频率 ★★ | 难度 高级
一句话结论
MOR(Merge On Read)写入快但读慢(要合并 base 和 delta);缓解手段:1)定期 compaction 合并 delta 到 base;2)读时合并优化;3)用 COW 替代。
概念解释
- MOR:写入时只写 delta 文件,读时合并 base + delta。
- 读放大:读时要合并多个 delta 文件,性能差。
- compaction:后台定期把 delta 合并到 base。
原理流程
- 写入:更新数据写入 delta log。
- 读:合并 base file + delta log,返回最新数据。
- compaction:后台把 delta 合并到 base,减少读放大。
常见误区
- 误区:MOR 写入快就好。正解:读放大严重时,查询性能下降。
追问延伸
- compaction 策略:自动或手动触发。
- COW vs MOR:写多读少用 MOR;读多写少用 COW。
05.9.3-011 Delta Lake 的 CDC 集成怎么用?
频率 ★★ | 难度 高级
一句话结论
Delta Lake 提供 Change Data Feed(CDF),记录表的变更数据(insert/update/delete),用于增量同步到下游;类似 Iceberg 增量读。
概念解释
- CDF:Delta Lake 记录每行变更的类型(insert/update/delete)和数据。
- 启用:建表时设置 delta.enableChangeDataFeed = true。
- 读取:SELECT * FROM table_changes('table', startVersion, endVersion)。
原理流程
- 启用 CDF:建表时开启,后续提交记录变更。
- 读取变更:指定 startVersion 和 endVersion,读取变更行。
- 同步到下游:把变更行写入 Kafka 或下游表。
代码 / 示例
-- 启用 CDF
CREATE TABLE table (...) TBLPROPERTIES (delta.enableChangeDataFeed = true);
-- 读取变更
SELECT * FROM table_changes('table', 0, 10);
常见误区
- 误区:CDF 就是 binlog。正解:CDF 是表级变更记录,不是数据库 binlog。
追问延伸
- CDF 存储:变更数据单独存储,占用空间。
- 过期:CDF 数据也有保留策略。
待整理清单
- [ ] Iceberg hidden partitioning 与分区演化
- [ ] Hudi 索引(Bloom/Global)与小文件治理
- [ ] 三者的 Z-Order 聚簇与索引