05.9.2 Hive 表模型与分区分桶
所属:全栈开发面试题库 / 05 数据库与存储 / 05.9 数据湖与大数据存储
覆盖范围
- Hive 内部表与外部表
- 分区表与分桶表
- 存储格式 Text/ORC/Parquet
- 分区裁剪与动态分区
- Hive 元数据与 Metastore
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.9.2-001 | 内部表和外部表区别 | 基础 | ★★★★★ |
| 05.9.2-002 | 分区和分桶区别 | 进阶 | ★★★★★ |
| 05.9.2-003 | Hive 存储格式怎么选 | 进阶 | ★★★★ |
| 05.9.2-004 | 分区为什么不能太多 | 进阶 | ★★★★ |
| 05.9.2-005 | Hive 数据怎么更新 | 高级 | ★★★ |
05.9.2-001 内部表和外部表有什么区别?
频率 ★★★★★ | 难度 基础
一句话结论
内部表(MANAGED)删除表时连 HDFS 数据一起删;外部表(EXTERNAL)删除表只删元数据,HDFS 数据保留;生产数仓一律用外部表,避免误删数据。
代码 / 示例
-- 内部表
CREATE TABLE t1 (id INT);
-- 外部表
CREATE EXTERNAL TABLE t2 (id INT)
LOCATION '/warehouse/t2';
常见误区
- 误区:内部表性能好。正解:性能一样,差别只在 drop 时是否删数据。
05.9.2-002 分区和分桶有什么区别?
频率 ★★★★★ | 难度 进阶
一句话结论
分区按列值物理分目录(如 dt=2024-01-15),粗粒度裁剪;分桶按列哈希分成固定数量文件(如 32 桶),细粒度聚合和 JOIN;分区适合时间/枚举,分桶适合高基数列。
代码 / 示例
CREATE TABLE events (id INT, uid BIGINT, amount DOUBLE)
PARTITIONED BY (dt STRING) -- 按天分区
CLUSTERED BY (uid) INTO 32 BUCKETS; -- 按 uid 哈希分 32 桶
常见误区
- 误区:分桶就是分区。正解:分区是目录,分桶是哈希文件数;分桶表 JOIN 时可避免 shuffle。
05.9.2-003 Hive 存储格式怎么选?
频率 ★★★★ | 难度 进阶
一句话结论
TextFile 调试方便但压缩差;ORC 是 Hive 生态首选(高压缩、谓词下推);Parquet 是 Spark/湖仓首选(列存、生态广);生产数仓用 ORC 或 Parquet + Snappy/ZSTD。
常见误区
- 误区:TextFile 省事。正解:生产列存压缩率高 5~10 倍。
05.9.2-004 分区为什么不能太多?
频率 ★★★★ | 难度 进阶
一句话结论
每个分区在 Metastore 是一条元数据,十万级分区会让 Metastore 查询慢、编译 SQL 慢;分区粒度一般到天,高频小表才到小时;动态分区要限制分区数。
常见误区
- 误区:按小时分区更细。正解:一年按小时是 8760 分区,业务量大时元数据膨胀。
05.9.2-005 Hive 数据怎么更新?
频率 ★★★ | 难度 高级
一句话结论
Hive 本身不支持单行更新,UPDATE/DELETE 通过事务表(ORC + ACID)实现,但性能差;生产做法是用 Iceberg/Hudi 替代 Hive 实现增量更新,或全量重跑分区。
05.9.2-006 Hive 事务表怎么工作?
频率 ★★ | 难度 高级
一句话结论
Hive ACID 表用 ORC + delta 文件,UPDATE/DELETE 写 delta 目录,读时合并;性能差,生产用 Iceberg/Hudi 替代。
05.9.2-007 Hive 优化器 CBO 是什么?
频率 ★★ | 难度 进阶
一句话结论
Hive CBO(基于代价优化器)类比 RDBMS,根据统计信息选 JOIN 顺序和算法;需要先 analyze table 收集统计信息。
05.9.2-008 Hive on Tez vs Spark?
频率 ★★ | 难度 基础
一句话结论
Hive on Tez 是 DAG 执行引擎,比 MR 快;Hive on Spark 用 Spark 执行;新项目直接用 Spark SQL 或 Trino。
05.9.2-009 Hive Metastore 是什么?
频率 ★★ | 难度 基础
一句话结论
Metastore 存表结构、分区、位置元数据,是 Hive/Spark/Trino 共用的元数据服务;独立部署,不要和计算绑定。
典型场景与代码示例
Hive 建表示例
-- 外部表 + 分区 + 分桶
CREATE EXTERNAL TABLE events (
id BIGINT,
user_id BIGINT,
event_type STRING,
amount DOUBLE
) PARTITIONED BY (dt STRING)
CLUSTERED BY (user_id) INTO 32 BUCKETS
STORED AS ORC;
-- 添加分区
ALTER TABLE events ADD PARTITION (dt='2024-01-15') LOCATION '/warehouse/events/dt=2024-01-15';
内部表 vs 外部表
内部表(MANAGED):
DROP TABLE -> 删除元数据 + HDFS 数据
适用:临时表、中间结果
外部表(EXTERNAL):
DROP TABLE -> 只删除元数据,HDFS 数据保留
适用:生产数仓、共享数据
分区裁剪
表:PARTITIONED BY (dt STRING)
查询:WHERE dt = '2024-01-15'
-> 只读 dt=2024-01-15 目录
-> 跳过其他分区
查询:WHERE event_type = 'click'
-> 不命中分区键,扫全部分区
面试高频追问
问:内部表和外部表删表有什么区别?
答:内部表删表连 HDFS 数据一起删;外部表只删元数据,数据保留;生产数仓一律用外部表。
问:分区和分桶有什么区别?
答:分区按列值物理分目录(粗粒度裁剪);分桶按列哈希分成固定文件(细粒度聚合和 JOIN)。
问:分区为什么不能太多?
答:每个分区在 Metastore 是一条元数据,十万级分区会让编译 SQL 慢;分区粒度一般到天。
问:Hive 怎么更新数据?
答:Hive 不支持单行更新,UPDATE/DELETE 通过事务表(ORC+ACID)实现,性能差;生产用 Iceberg/Hudi 替代。
核心要点速记
| 概念 | 内部表 | 外部表 |
|---|---|---|
| DROP | 删元数据+数据 | 只删元数据 |
| 适用 | 临时表 | 生产数仓 |
| 概念 | 分区 | 分桶 |
|---|---|---|
| 粒度 | 粗(目录) | 细(哈希文件) |
| 作用 | 分区裁剪 | 聚合/JOIN |
一句话记忆:生产数仓用外部表;分区到天,分桶按高频 JOIN 列。
相关概念辨析
内表 vs 外表
| 维度 | 内表(MANAGED) | 外表(EXTERNAL) |
|---|---|---|
| DROP 行为 | 删元数据+删数据 | 只删元数据 |
| 数据所有权 | Hive | 共享 |
| 适合 | 中间结果 | 共享数据 |
分区 vs 分桶
- 分区:按目录拆分,高基数适合按时间分区。
- 分桶:按哈希拆分,适合 JOIN 和采样。
- 选择:过滤维度用分区;JOIN 维度用分桶。
05.9.2-009 Hive 分区裁剪为什么会失效?
频率 ★★★★ | 难度 进阶
一句话结论
分区裁剪失效的常见原因:1)分区键用了函数;2)分区键是字符串但用了隐式转换;3)OR 条件不命中分区键;4)分区键类型和查询条件不匹配。
概念解释
- 分区裁剪:查询条件命中分区键时,只扫对应分区。
- 失效原因:优化器无法把条件下推到分区。
- 排查:EXPLAIN 看是否扫描了所有分区。
原理流程
- WHERE dt = '2026-01-01':命中分区,只扫一个分区。
- WHERE SUBSTR(dt,1,7) = '2026-01':分区键用了函数,裁剪失效。
- WHERE dt > 20260101:分区键是字符串,条件是数字,隐式转换,裁剪失效。
代码 / 示例
-- 好:分区键直接比较
SELECT * FROM t WHERE dt = '2026-01-01';
-- 坏:分区键用函数
SELECT * FROM t WHERE SUBSTR(dt,1,7) = '2026-01';
-- 坏:类型不匹配
SELECT * FROM t WHERE dt > 20260101;
常见误区
- 误区:加了分区就快。正解:分区键用了函数或类型不匹配,裁剪失效,还是全表扫。
追问延伸
- 排查:EXPLAIN 看 Partition 列表。
- 解决:分区键用字符串,查询条件也用字符串;避免对分区键用函数。
05.9.2-010 Hive Join 有哪几种优化方式?
频率 ★★★ | 难度 进阶
一句话结论
Map Join(小表广播到所有 mapper)、Sort Merge Join(大表排序后归并)、Bucket Join(分桶表按桶 JOIN);小表用 Map Join,大表用 Sort Merge Join。
概念解释
- Map Join:小表加载到内存,广播到所有 mapper,无 shuffle。
- Sort Merge Join:大表按 JOIN key 排序,归并连接。
- Bucket Join:分桶表按桶 JOIN,只扫对应桶。
原理流程
- Map Join:小表 < 25MB,广播到所有 mapper,本地完成 JOIN。
- Sort Merge Join:大表按 JOIN key shuffle + sort,归并连接。
- Bucket Join:两表按相同分桶键和分桶数,JOIN 时只扫对应桶。
代码 / 示例
-- Map Join 小表
SET hive.auto.convert.join=true;
SELECT /*+ MAPJOIN(small) */ * FROM big JOIN small ON big.id = small.id;
-- Bucket Join
SET hive.optimize.bucketmapjoin=true;
常见误区
- 误区:所有 Join 都用 Map Join。正解:小表才能 Map Join;大表用 Sort Merge Join。
追问延伸
- 小表阈值:hive.mapjoin.smalltable.filesize 默认 25MB。
- Bucket Join 要求:两表分桶键和分桶数相同。
05.9.2-011 Hive ACID 表有什么局限?
频率 ★★ | 难度 进阶
一句话结论
Hive ACID 表支持 INSERT/UPDATE/DELETE,但性能差(每次更新生成 delta 文件)、不支持外键、不支持快照隔离;新项目用 Iceberg/Hudi 替代。
概念解释
- ACID 表:支持事务,每次更新生成 delta 文件。
- 性能差:更新频繁时 delta 文件多,查询要合并多个 delta。
- 局限:不支持快照隔离、不支持外键、不支持更新分区键。
原理流程
- INSERT:写入 base 文件。
- UPDATE/DELETE:写入 delta 文件,记录变更。
- 查询:合并 base + delta 文件。
常见误区
- 误区:Hive ACID 表可以替代 MySQL。正解:Hive ACID 性能差,适合离线批处理,不适合在线事务。
追问延伸
- 新项目:用 Iceberg/Hudi 支持 ACID,性能更好。
- 已有 Hive:用外表 + 快照,不依赖 ACID。
待整理清单
- [ ] Hive 事务表 ACID 的实现限制
- [ ] Hive 优化器 CBO 与 map join
- [ ] Hive on Tez/Spark 的执行引擎差异