罗罗编程学习记录
本页内容 展开查看

05.9.4 文件格式与压缩

所属:全栈开发面试题库 / 05 数据库与存储 / 05.9 数据湖与大数据存储

覆盖范围

  • Parquet 与 ORC 列存格式
  • 谓词下推与行组(row group)
  • 压缩编码 Snappy/LZ4/ZSTD
  • 小文件治理与文件大小
  • 与表格式(Iceberg/Hudi)的配合

高频题速览

编号 题目 难度 频率
05.9.4-001 Parquet 和 ORC 区别 进阶 ★★★★
05.9.4-002 谓词下推怎么工作 进阶 ★★★★
05.9.4-003 压缩格式怎么选 基础 ★★★
05.9.4-004 小文件怎么治理 进阶 ★★★★
05.9.4-005 行组大小怎么定 进阶 ★★★

05.9.4-001 Parquet 和 ORC 有什么区别?

频率 ★★★★ | 难度 进阶

一句话结论

两者都是列存格式;ORC 是 Hive 生态原生,索引更丰富(轻量索引、Bloom);Parquet 是 Spark 生态原生,嵌套结构支持好,引擎中立;生产 Parquet 用得更广,ORC 适合 Hive 重度用户。

常见误区

  • 误区:Parquet 比 ORC 快。正解:两者性能接近,主要看生态。

05.9.4-002 谓词下推怎么工作?

频率 ★★★★ | 难度 进阶

一句话结论

列存文件按行组(row group)存储,并在 footer 记录每列的 min/max 统计;查询带 WHERE 时,引擎先读 footer,跳过统计不匹配的行组,只读涉及列,避免全文件扫描。

代码 / 示例

行组 1:event_date min=2024-01-01 max=2024-01-07
行组 2:event_date min=2024-01-08 max=2024-01-15
WHERE event_date='2024-01-10' → 只读行组 2

常见误区

  • 误区:谓词下推能精确定位行。正解:只能跳行组,行组内仍需扫描。

05.9.4-003 压缩格式怎么选?

频率 ★★★ | 难度 基础

一句话结论

Snappy 默认(速度与压缩比平衡),ZSTD 压缩比高适合冷数据,LZ4 解压快适合热数据;BZip2/Gzip 慢,生产少用。


05.9.4-004 小文件怎么治理?

频率 ★★★★ | 难度 进阶

一句话结论

小文件来源:流式高频写入、分区过多、任务并行度高;治理:写入时攒批(如 128MB 以上再 flush)、定期 compact 合并小文件、Iceberg/Hudi 自动压缩、用大文件写入任务。

常见误区

  • 误区:小文件不影响查询。正解:大量小文件导致 Namenode/对象存储 list 慢、调度任务多。

05.9.4-005 行组大小怎么定?

频率 ★★★ | 难度 进阶

一句话结论

Parquet 行组默认 128MB,ORC stripe 默认 64MB;行组大压缩好但读时内存大,行组小粒度细但 footer 元数据多;一般保持默认,按内存调整。


05.9.4-005 ORC 和 Parquet 怎么选?

频率 ★★ | 难度 基础

一句话结论

Hive 生态选 ORC(索引丰富、Hive 原生);Spark/Flink/湖仓生态选 Parquet(引擎中立、嵌套支持好);两者性能接近。


05.9.4-006 小文件怎么自动合并?

频率 ★★ | 难度 进阶

一句话结论

Iceberg/Hudi 有自动 compact 任务,定期把小文件合并成大文件;Hive 用 concatenate 命令;流式写入攒批是根本。


05.9.4-007 Z-Order 聚簇是什么?

频率 ★★ | 难度 高级

一句话结论

Z-Order 按多列把数据在文件内排序,让多列查询都能跳过数据块;比单维度排序更适合多维过滤,但写入成本高。


05.9.4-008 列存加密怎么做?

频率 ★ | 难度 高级

一句话结论

Parquet/ORC 支持列级加密(对敏感列加密),密钥由 KMS 管理;读时解密,未授权列不可见。

典型场景与代码示例

Parquet 文件结构

Parquet 文件
├── Row Group 1(默认 128MB)
│   ├── Column Chunk(每列一个)
│   │   ├── Page 1(字典页/数据页/索引页)
│   │   └── Page 2
│   └── ...
├── Row Group 2
└── Footer(元数据:schema、每列 min/max、编码)

谓词下推示例

WHERE event_date = '2024-01-10'

Row Group 1: event_date min=2024-01-01 max=2024-01-07  -> 跳过
Row Group 2: event_date min=2024-01-08 max=2024-01-15  -> 读取
Row Group 3: event_date min=2024-01-16 max=2024-01-31  -> 跳过

压缩格式选择

热数据频繁查询:Snappy(解压快,压缩比中等)
温数据:ZSTD(压缩比高,解压略慢)
冷数据归档:GZIP/BZIP2(压缩比最高,解压慢)
列存编码后再叠压缩:
  字典编码 + Snappy = 最佳组合

小文件治理

问题:流式写入每 100MB 一个文件,一天产生 10000 个小文件
方案一:写入攒批,每 128MB flush 一次
方案二:定期 compact(Iceberg 自动合并)
方案三:用大文件写入任务(每天一次批量合并)

面试高频追问

问:Parquet 和 ORC 哪个更快?

答:接近,取决于引擎。Hive 上 ORC 略快(原生),Spark 上 Parquet 略快(原生);选型看生态,不是性能。

问:为什么列存要做行组(row group)?

答:行组是谓词下推的粒度。行组太大,跳过不精确;行组太小,footer 元数据多;默认 128MB 是平衡。

问:小文件治理为什么不能一次合并完?

答:流式写入持续产生小文件,合并要定期跑;一次合并太多会占资源,影响在线查询;Iceberg/Hudi 自动压缩平衡这个问题。

问:Z-Order 为什么不常用?

答:写入成本高,且只对多列等值过滤有效;单维度过滤用排序键就够,Z-Order 适合多维过滤的特定场景。

核心要点速记

格式 特点 生态
Parquet 列存、嵌套支持好、引擎中立 Spark/Flink/Iceberg
ORC Hive 原生、索引丰富 Hive 生态
TextFile 调试方便、压缩差 临时表
压缩 速度 压缩比 适用
Snappy 快 中 热数据
LZ4 最快 低 实时热数据
ZSTD 中 高 温数据
GZIP 慢 最高 冷归档

一句话记忆:列存先做编码(字典/RLE/delta),再叠通用压缩;小文件是数据湖头号问题。

相关概念辨析

Parquet vs ORC

维度 Parquet ORC
列存 是 是
压缩 好 好
谓词下推 支持 支持
引擎支持 多 Hive 生态
适合 通用 Hive

Snappy vs GZIP

  • Snappy:压缩比低,速度快。
  • GZIP:压缩比高,速度慢。
  • 选择:热数据用 Snappy;冷数据用 GZIP。

05.9.4-009 Parquet 的 Row Group 和页是什么?

频率 ★★★ | 难度 进阶

一句话结论

Parquet 文件按 Row Group 分块(默认 128MB),每个 Row Group 内按列存储,每列再分 Page(默认 1MB);Row Group 级别有 min/max 统计信息用于谓词下推。

概念解释

  • Row Group:行组,默认 128MB,是谓词下推的基本单位。
  • Page:列内的页,默认 1MB,是编码和压缩的基本单位。
  • 统计信息:每个 Row Group 记录每列的 min/max/null count。

原理流程

  1. 写入:数据按 Row Group 分块,每块内按列存储。
  2. 列内:每列分 Page,Page 内做编码和压缩。
  3. 读取:谓词下推按 Row Group 的 min/max 跳过不满足的 Row Group。

常见误区

  • 误区:Row Group 越小越好。正解:Row Group 太小,统计信息多,元数据开销大;太大,并行度低。

追问延伸

  • Row Group 大小:默认 128MB,可调。
  • Page 大小:默认 1MB,影响压缩和编码效率。

05.9.4-010 ORC 的索引和谓词下推?

频率 ★★ | 难度 进阶

一句话结论

ORC 有文件级索引(stripe 级 min/max)和行级索引(bitmap 索引);谓词下推按 stripe 级 min/max 跳过不满足的 stripe,行级索引用于进一步过滤。

概念解释

  • Stripe:ORC 的基本存储单元,类似 Parquet Row Group。
  • 文件级索引:每个 stripe 记录每列的 min/max。
  • 行级索引:每 10000 行记录一个索引条目,支持 bitmap 过滤。

原理流程

  1. 读取:按 stripe 级 min/max 跳过不满足的 stripe。
  2. 进入 stripe:按行级索引定位到满足条件的行组。
  3. 读取数据:只读满足条件的行组。

常见误区

  • 误区:ORC 和 Parquet 一样。正解:ORC 有行级索引,Parquet 只有 Row Group 级 min/max。

追问延伸

  • ORC 优势:Hive 原生支持,索引更细。
  • Parquet 优势:多引擎支持,生态更好。

05.9.4-011 压缩算法怎么选?

频率 ★★★ | 难度 进阶

一句话结论

热数据用 LZ4(速度快,压缩比低);冷数据用 ZSTD(压缩比高,速度中等);归档用 GZIP(压缩比最高,速度慢)。

概念解释

  • LZ4:压缩比 2:1,速度 500MB/s,解压快。
  • ZSTD:压缩比 3:1,速度 300MB/s,解压快。
  • GZIP:压缩比 4:1,速度 100MB/s,解压慢。

原理流程

  1. 热数据:频繁读取,用 LZ4 解压快。
  2. 冷数据:偶尔读取,用 ZSTD 压缩比高。
  3. 归档:长期不读,用 GZIP 压缩比最高。

常见误区

  • 误区:压缩率越高越好。正解:高压缩比解压 CPU 开销大,热数据用 LZ4 更平衡。

追问延伸

  • 编码:先做轻量编码(字典/RLE),再叠压缩。
  • 列存:列内数据相似,压缩率比行存好。

05.9.4-012 小文件合并的具体方案?

频率 ★★★ | 难度 进阶

一句话结论

小文件合并方案:1)写入端 coalesce/repartition;2)Hive 定期合并作业;3)Iceberg/Hudi 的 rewrite 过程;4)迁移到对象存储。

概念解释

  • 写入端合并:Spark/Hive 输出时控制文件数。
  • 定期合并:离线作业扫描小文件,合并成大文件。
  • 表格式自动合并:Iceberg/Hudi 内置 rewrite 过程。

原理流程

  1. 写入端:df.coalesce(10).write.parquet() 控制输出文件数。
  2. 定期合并:Spark 作业读取小文件,合并成 128MB 大文件。
  3. Iceberg:CALL system.rewrite_data_files(table) 自动合并。

代码 / 示例

-- Iceberg 合并小文件
CALL system.rewrite_data_files(
  table => 'default.table',
  strategy => 'sort',
  sort_order => 'dt'
);

常见误区

  • 误区:小文件合并是一次性的。正解:小文件持续产生,要定期合并。

追问延伸

  • 合并频率:每天或每周,取决于写入量。
  • 对象存储:S3/OSS 对小文件友好,不需要 NameNode。

待整理清单

  • [ ] Parquet 嵌套结构与 Dremel 编码
  • [ ] Iceberg/Hudi 与 Parquet 的压缩策略
  • [ ] 列式加密与列裁剪