罗罗编程学习记录
本页内容 展开查看

05.9.2 Hive 表模型与分区分桶

所属:全栈开发面试题库 / 05 数据库与存储 / 05.9 数据湖与大数据存储

覆盖范围

  • Hive 内部表与外部表
  • 分区表与分桶表
  • 存储格式 Text/ORC/Parquet
  • 分区裁剪与动态分区
  • Hive 元数据与 Metastore

高频题速览

编号 题目 难度 频率
05.9.2-001 内部表和外部表区别 基础 ★★★★★
05.9.2-002 分区和分桶区别 进阶 ★★★★★
05.9.2-003 Hive 存储格式怎么选 进阶 ★★★★
05.9.2-004 分区为什么不能太多 进阶 ★★★★
05.9.2-005 Hive 数据怎么更新 高级 ★★★

05.9.2-001 内部表和外部表有什么区别?

频率 ★★★★★ | 难度 基础

一句话结论

内部表(MANAGED)删除表时连 HDFS 数据一起删;外部表(EXTERNAL)删除表只删元数据,HDFS 数据保留;生产数仓一律用外部表,避免误删数据。

代码 / 示例

-- 内部表
CREATE TABLE t1 (id INT);

-- 外部表
CREATE EXTERNAL TABLE t2 (id INT)
LOCATION '/warehouse/t2';

常见误区

  • 误区:内部表性能好。正解:性能一样,差别只在 drop 时是否删数据。

05.9.2-002 分区和分桶有什么区别?

频率 ★★★★★ | 难度 进阶

一句话结论

分区按列值物理分目录(如 dt=2024-01-15),粗粒度裁剪;分桶按列哈希分成固定数量文件(如 32 桶),细粒度聚合和 JOIN;分区适合时间/枚举,分桶适合高基数列。

代码 / 示例

CREATE TABLE events (id INT, uid BIGINT, amount DOUBLE)
PARTITIONED BY (dt STRING)          -- 按天分区
CLUSTERED BY (uid) INTO 32 BUCKETS;  -- 按 uid 哈希分 32 桶

常见误区

  • 误区:分桶就是分区。正解:分区是目录,分桶是哈希文件数;分桶表 JOIN 时可避免 shuffle。

05.9.2-003 Hive 存储格式怎么选?

频率 ★★★★ | 难度 进阶

一句话结论

TextFile 调试方便但压缩差;ORC 是 Hive 生态首选(高压缩、谓词下推);Parquet 是 Spark/湖仓首选(列存、生态广);生产数仓用 ORC 或 Parquet + Snappy/ZSTD。

常见误区

  • 误区:TextFile 省事。正解:生产列存压缩率高 5~10 倍。

05.9.2-004 分区为什么不能太多?

频率 ★★★★ | 难度 进阶

一句话结论

每个分区在 Metastore 是一条元数据,十万级分区会让 Metastore 查询慢、编译 SQL 慢;分区粒度一般到天,高频小表才到小时;动态分区要限制分区数。

常见误区

  • 误区:按小时分区更细。正解:一年按小时是 8760 分区,业务量大时元数据膨胀。

05.9.2-005 Hive 数据怎么更新?

频率 ★★★ | 难度 高级

一句话结论

Hive 本身不支持单行更新,UPDATE/DELETE 通过事务表(ORC + ACID)实现,但性能差;生产做法是用 Iceberg/Hudi 替代 Hive 实现增量更新,或全量重跑分区。


05.9.2-006 Hive 事务表怎么工作?

频率 ★★ | 难度 高级

一句话结论

Hive ACID 表用 ORC + delta 文件,UPDATE/DELETE 写 delta 目录,读时合并;性能差,生产用 Iceberg/Hudi 替代。


05.9.2-007 Hive 优化器 CBO 是什么?

频率 ★★ | 难度 进阶

一句话结论

Hive CBO(基于代价优化器)类比 RDBMS,根据统计信息选 JOIN 顺序和算法;需要先 analyze table 收集统计信息。


05.9.2-008 Hive on Tez vs Spark?

频率 ★★ | 难度 基础

一句话结论

Hive on Tez 是 DAG 执行引擎,比 MR 快;Hive on Spark 用 Spark 执行;新项目直接用 Spark SQL 或 Trino。


05.9.2-009 Hive Metastore 是什么?

频率 ★★ | 难度 基础

一句话结论

Metastore 存表结构、分区、位置元数据,是 Hive/Spark/Trino 共用的元数据服务;独立部署,不要和计算绑定。

典型场景与代码示例

Hive 建表示例

-- 外部表 + 分区 + 分桶
CREATE EXTERNAL TABLE events (
  id BIGINT,
  user_id BIGINT,
  event_type STRING,
  amount DOUBLE
) PARTITIONED BY (dt STRING)
CLUSTERED BY (user_id) INTO 32 BUCKETS
STORED AS ORC;

-- 添加分区
ALTER TABLE events ADD PARTITION (dt='2024-01-15') LOCATION '/warehouse/events/dt=2024-01-15';

内部表 vs 外部表

内部表(MANAGED):
  DROP TABLE -> 删除元数据 + HDFS 数据
  适用:临时表、中间结果

外部表(EXTERNAL):
  DROP TABLE -> 只删除元数据,HDFS 数据保留
  适用:生产数仓、共享数据

分区裁剪

表:PARTITIONED BY (dt STRING)

查询:WHERE dt = '2024-01-15'
  -> 只读 dt=2024-01-15 目录
  -> 跳过其他分区

查询:WHERE event_type = 'click'
  -> 不命中分区键,扫全部分区

面试高频追问

问:内部表和外部表删表有什么区别?

答:内部表删表连 HDFS 数据一起删;外部表只删元数据,数据保留;生产数仓一律用外部表。

问:分区和分桶有什么区别?

答:分区按列值物理分目录(粗粒度裁剪);分桶按列哈希分成固定文件(细粒度聚合和 JOIN)。

问:分区为什么不能太多?

答:每个分区在 Metastore 是一条元数据,十万级分区会让编译 SQL 慢;分区粒度一般到天。

问:Hive 怎么更新数据?

答:Hive 不支持单行更新,UPDATE/DELETE 通过事务表(ORC+ACID)实现,性能差;生产用 Iceberg/Hudi 替代。

核心要点速记

概念 内部表 外部表
DROP 删元数据+数据 只删元数据
适用 临时表 生产数仓
概念 分区 分桶
粒度 粗(目录) 细(哈希文件)
作用 分区裁剪 聚合/JOIN

一句话记忆:生产数仓用外部表;分区到天,分桶按高频 JOIN 列。

相关概念辨析

内表 vs 外表

维度 内表(MANAGED) 外表(EXTERNAL)
DROP 行为 删元数据+删数据 只删元数据
数据所有权 Hive 共享
适合 中间结果 共享数据

分区 vs 分桶

  • 分区:按目录拆分,高基数适合按时间分区。
  • 分桶:按哈希拆分,适合 JOIN 和采样。
  • 选择:过滤维度用分区;JOIN 维度用分桶。

05.9.2-009 Hive 分区裁剪为什么会失效?

频率 ★★★★ | 难度 进阶

一句话结论

分区裁剪失效的常见原因:1)分区键用了函数;2)分区键是字符串但用了隐式转换;3)OR 条件不命中分区键;4)分区键类型和查询条件不匹配。

概念解释

  • 分区裁剪:查询条件命中分区键时,只扫对应分区。
  • 失效原因:优化器无法把条件下推到分区。
  • 排查:EXPLAIN 看是否扫描了所有分区。

原理流程

  1. WHERE dt = '2026-01-01':命中分区,只扫一个分区。
  2. WHERE SUBSTR(dt,1,7) = '2026-01':分区键用了函数,裁剪失效。
  3. WHERE dt > 20260101:分区键是字符串,条件是数字,隐式转换,裁剪失效。

代码 / 示例

-- 好:分区键直接比较
SELECT * FROM t WHERE dt = '2026-01-01';

-- 坏:分区键用函数
SELECT * FROM t WHERE SUBSTR(dt,1,7) = '2026-01';

-- 坏:类型不匹配
SELECT * FROM t WHERE dt > 20260101;

常见误区

  • 误区:加了分区就快。正解:分区键用了函数或类型不匹配,裁剪失效,还是全表扫。

追问延伸

  • 排查:EXPLAIN 看 Partition 列表。
  • 解决:分区键用字符串,查询条件也用字符串;避免对分区键用函数。

05.9.2-010 Hive Join 有哪几种优化方式?

频率 ★★★ | 难度 进阶

一句话结论

Map Join(小表广播到所有 mapper)、Sort Merge Join(大表排序后归并)、Bucket Join(分桶表按桶 JOIN);小表用 Map Join,大表用 Sort Merge Join。

概念解释

  • Map Join:小表加载到内存,广播到所有 mapper,无 shuffle。
  • Sort Merge Join:大表按 JOIN key 排序,归并连接。
  • Bucket Join:分桶表按桶 JOIN,只扫对应桶。

原理流程

  1. Map Join:小表 < 25MB,广播到所有 mapper,本地完成 JOIN。
  2. Sort Merge Join:大表按 JOIN key shuffle + sort,归并连接。
  3. Bucket Join:两表按相同分桶键和分桶数,JOIN 时只扫对应桶。

代码 / 示例

-- Map Join 小表
SET hive.auto.convert.join=true;
SELECT /*+ MAPJOIN(small) */ * FROM big JOIN small ON big.id = small.id;

-- Bucket Join
SET hive.optimize.bucketmapjoin=true;

常见误区

  • 误区:所有 Join 都用 Map Join。正解:小表才能 Map Join;大表用 Sort Merge Join。

追问延伸

  • 小表阈值:hive.mapjoin.smalltable.filesize 默认 25MB。
  • Bucket Join 要求:两表分桶键和分桶数相同。

05.9.2-011 Hive ACID 表有什么局限?

频率 ★★ | 难度 进阶

一句话结论

Hive ACID 表支持 INSERT/UPDATE/DELETE,但性能差(每次更新生成 delta 文件)、不支持外键、不支持快照隔离;新项目用 Iceberg/Hudi 替代。

概念解释

  • ACID 表:支持事务,每次更新生成 delta 文件。
  • 性能差:更新频繁时 delta 文件多,查询要合并多个 delta。
  • 局限:不支持快照隔离、不支持外键、不支持更新分区键。

原理流程

  1. INSERT:写入 base 文件。
  2. UPDATE/DELETE:写入 delta 文件,记录变更。
  3. 查询:合并 base + delta 文件。

常见误区

  • 误区:Hive ACID 表可以替代 MySQL。正解:Hive ACID 性能差,适合离线批处理,不适合在线事务。

追问延伸

  • 新项目:用 Iceberg/Hudi 支持 ACID,性能更好。
  • 已有 Hive:用外表 + 快照,不依赖 ACID。

待整理清单

  • [ ] Hive 事务表 ACID 的实现限制
  • [ ] Hive 优化器 CBO 与 map join
  • [ ] Hive on Tez/Spark 的执行引擎差异