05.9.4 文件格式与压缩
所属:全栈开发面试题库 / 05 数据库与存储 / 05.9 数据湖与大数据存储
覆盖范围
- Parquet 与 ORC 列存格式
- 谓词下推与行组(row group)
- 压缩编码 Snappy/LZ4/ZSTD
- 小文件治理与文件大小
- 与表格式(Iceberg/Hudi)的配合
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.9.4-001 | Parquet 和 ORC 区别 | 进阶 | ★★★★ |
| 05.9.4-002 | 谓词下推怎么工作 | 进阶 | ★★★★ |
| 05.9.4-003 | 压缩格式怎么选 | 基础 | ★★★ |
| 05.9.4-004 | 小文件怎么治理 | 进阶 | ★★★★ |
| 05.9.4-005 | 行组大小怎么定 | 进阶 | ★★★ |
05.9.4-001 Parquet 和 ORC 有什么区别?
频率 ★★★★ | 难度 进阶
一句话结论
两者都是列存格式;ORC 是 Hive 生态原生,索引更丰富(轻量索引、Bloom);Parquet 是 Spark 生态原生,嵌套结构支持好,引擎中立;生产 Parquet 用得更广,ORC 适合 Hive 重度用户。
常见误区
- 误区:Parquet 比 ORC 快。正解:两者性能接近,主要看生态。
05.9.4-002 谓词下推怎么工作?
频率 ★★★★ | 难度 进阶
一句话结论
列存文件按行组(row group)存储,并在 footer 记录每列的 min/max 统计;查询带 WHERE 时,引擎先读 footer,跳过统计不匹配的行组,只读涉及列,避免全文件扫描。
代码 / 示例
行组 1:event_date min=2024-01-01 max=2024-01-07
行组 2:event_date min=2024-01-08 max=2024-01-15
WHERE event_date='2024-01-10' → 只读行组 2
常见误区
- 误区:谓词下推能精确定位行。正解:只能跳行组,行组内仍需扫描。
05.9.4-003 压缩格式怎么选?
频率 ★★★ | 难度 基础
一句话结论
Snappy 默认(速度与压缩比平衡),ZSTD 压缩比高适合冷数据,LZ4 解压快适合热数据;BZip2/Gzip 慢,生产少用。
05.9.4-004 小文件怎么治理?
频率 ★★★★ | 难度 进阶
一句话结论
小文件来源:流式高频写入、分区过多、任务并行度高;治理:写入时攒批(如 128MB 以上再 flush)、定期 compact 合并小文件、Iceberg/Hudi 自动压缩、用大文件写入任务。
常见误区
- 误区:小文件不影响查询。正解:大量小文件导致 Namenode/对象存储 list 慢、调度任务多。
05.9.4-005 行组大小怎么定?
频率 ★★★ | 难度 进阶
一句话结论
Parquet 行组默认 128MB,ORC stripe 默认 64MB;行组大压缩好但读时内存大,行组小粒度细但 footer 元数据多;一般保持默认,按内存调整。
05.9.4-005 ORC 和 Parquet 怎么选?
频率 ★★ | 难度 基础
一句话结论
Hive 生态选 ORC(索引丰富、Hive 原生);Spark/Flink/湖仓生态选 Parquet(引擎中立、嵌套支持好);两者性能接近。
05.9.4-006 小文件怎么自动合并?
频率 ★★ | 难度 进阶
一句话结论
Iceberg/Hudi 有自动 compact 任务,定期把小文件合并成大文件;Hive 用 concatenate 命令;流式写入攒批是根本。
05.9.4-007 Z-Order 聚簇是什么?
频率 ★★ | 难度 高级
一句话结论
Z-Order 按多列把数据在文件内排序,让多列查询都能跳过数据块;比单维度排序更适合多维过滤,但写入成本高。
05.9.4-008 列存加密怎么做?
频率 ★ | 难度 高级
一句话结论
Parquet/ORC 支持列级加密(对敏感列加密),密钥由 KMS 管理;读时解密,未授权列不可见。
典型场景与代码示例
Parquet 文件结构
Parquet 文件
├── Row Group 1(默认 128MB)
│ ├── Column Chunk(每列一个)
│ │ ├── Page 1(字典页/数据页/索引页)
│ │ └── Page 2
│ └── ...
├── Row Group 2
└── Footer(元数据:schema、每列 min/max、编码)
谓词下推示例
WHERE event_date = '2024-01-10'
Row Group 1: event_date min=2024-01-01 max=2024-01-07 -> 跳过
Row Group 2: event_date min=2024-01-08 max=2024-01-15 -> 读取
Row Group 3: event_date min=2024-01-16 max=2024-01-31 -> 跳过
压缩格式选择
热数据频繁查询:Snappy(解压快,压缩比中等)
温数据:ZSTD(压缩比高,解压略慢)
冷数据归档:GZIP/BZIP2(压缩比最高,解压慢)
列存编码后再叠压缩:
字典编码 + Snappy = 最佳组合
小文件治理
问题:流式写入每 100MB 一个文件,一天产生 10000 个小文件
方案一:写入攒批,每 128MB flush 一次
方案二:定期 compact(Iceberg 自动合并)
方案三:用大文件写入任务(每天一次批量合并)
面试高频追问
问:Parquet 和 ORC 哪个更快?
答:接近,取决于引擎。Hive 上 ORC 略快(原生),Spark 上 Parquet 略快(原生);选型看生态,不是性能。
问:为什么列存要做行组(row group)?
答:行组是谓词下推的粒度。行组太大,跳过不精确;行组太小,footer 元数据多;默认 128MB 是平衡。
问:小文件治理为什么不能一次合并完?
答:流式写入持续产生小文件,合并要定期跑;一次合并太多会占资源,影响在线查询;Iceberg/Hudi 自动压缩平衡这个问题。
问:Z-Order 为什么不常用?
答:写入成本高,且只对多列等值过滤有效;单维度过滤用排序键就够,Z-Order 适合多维过滤的特定场景。
核心要点速记
| 格式 | 特点 | 生态 |
|---|---|---|
| Parquet | 列存、嵌套支持好、引擎中立 | Spark/Flink/Iceberg |
| ORC | Hive 原生、索引丰富 | Hive 生态 |
| TextFile | 调试方便、压缩差 | 临时表 |
| 压缩 | 速度 | 压缩比 | 适用 |
|---|---|---|---|
| Snappy | 快 | 中 | 热数据 |
| LZ4 | 最快 | 低 | 实时热数据 |
| ZSTD | 中 | 高 | 温数据 |
| GZIP | 慢 | 最高 | 冷归档 |
一句话记忆:列存先做编码(字典/RLE/delta),再叠通用压缩;小文件是数据湖头号问题。
相关概念辨析
Parquet vs ORC
| 维度 | Parquet | ORC |
|---|---|---|
| 列存 | 是 | 是 |
| 压缩 | 好 | 好 |
| 谓词下推 | 支持 | 支持 |
| 引擎支持 | 多 | Hive 生态 |
| 适合 | 通用 | Hive |
Snappy vs GZIP
- Snappy:压缩比低,速度快。
- GZIP:压缩比高,速度慢。
- 选择:热数据用 Snappy;冷数据用 GZIP。
05.9.4-009 Parquet 的 Row Group 和页是什么?
频率 ★★★ | 难度 进阶
一句话结论
Parquet 文件按 Row Group 分块(默认 128MB),每个 Row Group 内按列存储,每列再分 Page(默认 1MB);Row Group 级别有 min/max 统计信息用于谓词下推。
概念解释
- Row Group:行组,默认 128MB,是谓词下推的基本单位。
- Page:列内的页,默认 1MB,是编码和压缩的基本单位。
- 统计信息:每个 Row Group 记录每列的 min/max/null count。
原理流程
- 写入:数据按 Row Group 分块,每块内按列存储。
- 列内:每列分 Page,Page 内做编码和压缩。
- 读取:谓词下推按 Row Group 的 min/max 跳过不满足的 Row Group。
常见误区
- 误区:Row Group 越小越好。正解:Row Group 太小,统计信息多,元数据开销大;太大,并行度低。
追问延伸
- Row Group 大小:默认 128MB,可调。
- Page 大小:默认 1MB,影响压缩和编码效率。
05.9.4-010 ORC 的索引和谓词下推?
频率 ★★ | 难度 进阶
一句话结论
ORC 有文件级索引(stripe 级 min/max)和行级索引(bitmap 索引);谓词下推按 stripe 级 min/max 跳过不满足的 stripe,行级索引用于进一步过滤。
概念解释
- Stripe:ORC 的基本存储单元,类似 Parquet Row Group。
- 文件级索引:每个 stripe 记录每列的 min/max。
- 行级索引:每 10000 行记录一个索引条目,支持 bitmap 过滤。
原理流程
- 读取:按 stripe 级 min/max 跳过不满足的 stripe。
- 进入 stripe:按行级索引定位到满足条件的行组。
- 读取数据:只读满足条件的行组。
常见误区
- 误区:ORC 和 Parquet 一样。正解:ORC 有行级索引,Parquet 只有 Row Group 级 min/max。
追问延伸
- ORC 优势:Hive 原生支持,索引更细。
- Parquet 优势:多引擎支持,生态更好。
05.9.4-011 压缩算法怎么选?
频率 ★★★ | 难度 进阶
一句话结论
热数据用 LZ4(速度快,压缩比低);冷数据用 ZSTD(压缩比高,速度中等);归档用 GZIP(压缩比最高,速度慢)。
概念解释
- LZ4:压缩比 2:1,速度 500MB/s,解压快。
- ZSTD:压缩比 3:1,速度 300MB/s,解压快。
- GZIP:压缩比 4:1,速度 100MB/s,解压慢。
原理流程
- 热数据:频繁读取,用 LZ4 解压快。
- 冷数据:偶尔读取,用 ZSTD 压缩比高。
- 归档:长期不读,用 GZIP 压缩比最高。
常见误区
- 误区:压缩率越高越好。正解:高压缩比解压 CPU 开销大,热数据用 LZ4 更平衡。
追问延伸
- 编码:先做轻量编码(字典/RLE),再叠压缩。
- 列存:列内数据相似,压缩率比行存好。
05.9.4-012 小文件合并的具体方案?
频率 ★★★ | 难度 进阶
一句话结论
小文件合并方案:1)写入端 coalesce/repartition;2)Hive 定期合并作业;3)Iceberg/Hudi 的 rewrite 过程;4)迁移到对象存储。
概念解释
- 写入端合并:Spark/Hive 输出时控制文件数。
- 定期合并:离线作业扫描小文件,合并成大文件。
- 表格式自动合并:Iceberg/Hudi 内置 rewrite 过程。
原理流程
- 写入端:df.coalesce(10).write.parquet() 控制输出文件数。
- 定期合并:Spark 作业读取小文件,合并成 128MB 大文件。
- Iceberg:CALL system.rewrite_data_files(table) 自动合并。
代码 / 示例
-- Iceberg 合并小文件
CALL system.rewrite_data_files(
table => 'default.table',
strategy => 'sort',
sort_order => 'dt'
);
常见误区
- 误区:小文件合并是一次性的。正解:小文件持续产生,要定期合并。
追问延伸
- 合并频率:每天或每周,取决于写入量。
- 对象存储:S3/OSS 对小文件友好,不需要 NameNode。
待整理清单
- [ ] Parquet 嵌套结构与 Dremel 编码
- [ ] Iceberg/Hudi 与 Parquet 的压缩策略
- [ ] 列式加密与列裁剪