05.8.1 ClickHouse 架构与 MergeTree 家族
所属:全栈开发面试题库 / 05 数据库与存储 / 05.8 OLAP 与列存
覆盖范围
- ClickHouse 列存架构与向量化执行定位
- MergeTree 表引擎、分区键与排序键(主键)
- 数据部件(part)、后台合并、mutation
- ReplicatedMergeTree 副本机制
- 家族变体:Summing/Collapsing/Replacing/Aggregating/VersionedCollapsing
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.8.1-001 | ClickHouse 为什么快 | 基础 | ★★★★★ |
| 05.8.1-002 | 分区键和排序键(主键)有什么区别 | 进阶 | ★★★★★ |
| 05.8.1-003 | 数据部件 part 与后台合并机制 | 进阶 | ★★★★ |
| 05.8.1-004 | ReplicatedMergeTree 副本如何工作 | 高级 | ★★★ |
| 05.8.1-005 | Summing/Collapsing/Replacing MergeTree 用途 | 高级 | ★★★★ |
| 05.8.1-006 | ClickHouse 不擅长什么场景 | 进阶 | ★★★★ |
05.8.1-001 ClickHouse 为什么快?
频率 ★★★★★ | 难度 基础
一句话结论
ClickHouse 是面向 OLAP 的列式存储 + 向量化执行引擎:数据按列存储,扫描只读涉及列;列存压缩比高;向量化按 SIMD 批量处理;稀疏索引跳过数据块;单表大宽表聚合查询性能远超行存 RDBMS。
概念解释
- 列存:一列连续存储,同列数据类型一致,压缩比高。
- 向量化执行:按列批量加载到 CPU 寄存器,利用 SIMD 指令。
- 稀疏索引:不索引每行,按数据块标记,跳过不相关块。
- OLAP 优化:针对大表聚合、扫描,不擅长点查单行。
原理流程
- 写入数据先生成 part,按列存压缩落盘。
- 查询时按排序键稀疏索引定位 part/granule。
- 只读涉及列,向量化批量计算。
代码 / 示例
CREATE TABLE events (
event_date Date,
user_id UInt64,
event_type LowCardinality(String),
amount Float64
) ENGINE = MergeTree
PARTITION BY toYYYYMM(event_date)
ORDER BY (event_date, user_id);
常见误区
- 误区:ClickHouse 能替代 MySQL 做业务库。正解:它不擅长高并发点查、单行更新、事务,适合分析扫描。
- 误区:列存只是省空间。正解:更关键的是只读需要列、压缩率高利于扫描。
05.8.1-002 分区键(PARTITION BY)和排序键(ORDER BY/主键)有什么区别?
频率 ★★★★★ | 难度 进阶
一句话结论
分区键把数据物理切成多个 part 目录(按时间/枚举),用于分区裁剪、TTL 删除、备份;排序键是数据在 part 内的物理排序和稀疏索引,用于加速点查和范围过滤;分区键不进索引,排序键才进主键索引。
概念解释
- 分区键 PARTITION BY:物理分目录,粒度粗,常用于按月/按天。
- 排序键 ORDER BY:part 内排序,稀疏索引按此建,粒度细。
- 两者独立:ORDER BY 可以与 PARTITION BY 不同,常用
(event_date, ...)让分区内有序。
原理流程
- 写入时按分区键把数据分到不同 part 目录。
- part 内按排序键排序。
- 查询时先按分区裁剪跳过无关分区,再按排序键索引在分区内跳过 granule。
代码 / 示例
PARTITION BY toYYYYMM(event_date) -- 按月分区
ORDER BY (event_date, user_id) -- part 内按日期+用户排序
常见误区
- 误区:分区键就是主键。正解:分区键不进索引,不能加速单条过滤;排序键才是主键索引。
- 误区:分区越细越好。正解:分区过多会产生大量小 part,后台合并压力大,查询打开文件多;一般按月/按天,不要按每行哈希。
- 误区:分区键能加速 WHERE。正解:分区键只能跳过整个分区,不能精确定位行。
追问
- 问:为什么 ORDER BY 常把 event_date 放前面?答:让时间范围查询在分区内也能跳过 granule,且与分区对齐减少合并。
05.8.1-003 数据部件 part 和后台合并是怎么回事?
频率 ★★★★ | 难度 进阶
一句话结论
每次写入生成一个不可变的 part(按列存压缩),后台线程不断把小 part 合并成大 part(merge),优化查询和压缩;写入是追加,更新/删除通过 mutation 标记或突变实现,不是原地修改。
概念解释
- part:不可变数据片段,按分区存放。
- merge:后台合并小 part,提升压缩与扫描效率。
- mutation:ALTER TABLE UPDATE/DELETE,重写 part 的异步操作。
- 小文件问题:高频小批量写入产生大量 part,合并跟不上会变慢。
代码 / 示例
-- 查看 part 数
SELECT partition, name, rows, bytes_on_disk
FROM system.parts WHERE table='events' AND active;
-- 突变删除(异步,重写 part)
ALTER TABLE events DELETE WHERE event_date < '2024-01-01';
常见误区
- 误区:每条 INSERT 都立即合并。正解:写入先成 part,合并异步;高吞吐批量写入要攒批(建议每批 1 万~100 万行)。
- 误区:DELETE 是即时的。正解:mutation 是异步重写大 part,大表删除要等很久,用 TTL 更合适。
05.8.1-004 ReplicatedMergeTree 副本如何工作?
频率 ★★★ | 难度 高级
一句话结论
ReplicatedMergeTree 通过 ZooKeeper(或 ClickHouse Keeper)协调多副本:写入先落本地 part,再把 part 元数据写入 ZooKeeper,其他副本拉取 part 数据;多副本读可负载均衡,写任一副本再同步。
概念解释
- 副本表引擎:ReplicatedMergeTree 系列,比普通 MergeTree 多
zookeeper_path和replica_name。 - 元数据协调:part 列表在 ZooKeeper,副本间异步拉取。
- 一致性:最终一致,副本延迟可能存在。
代码 / 示例
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/events', '{replica}')
PARTITION BY toYYYYMM(event_date)
ORDER BY (event_date, user_id);
常见误区
- 误区:ReplicatedMergeTree 是强一致。正解:副本异步同步,读延迟副本可能读到旧数据。
- 误区:副本可替代分库分表。正解:副本是高可用,不做水平扩展;分布式分片用 Distributed 表 + 多分片。
05.8.1-005 Summing/Collapsing/Replacing MergeTree 各解决什么问题?
频率 ★★★★ | 难度 高级
一句话结论
家族变体在合并时按排序键预聚合/折叠:Summing 预聚合求和列,Replacing 保留同主键最新一行,Collapsing 用 sign 字段折叠正负行,Aggregating 按维度聚合;它们是写入时优化,不是查询时去重。
概念解释
- SummingMergeTree:合并时把同排序键的数值列累加,减少数据量。
- ReplacingMergeTree:合并时同排序键只保留一行(按版本列)。
- CollapsingMergeTree:用 sign=1/-1 折叠,模拟更新/删除。
- AggregatingMergeTree:配合 AggregateFunction 做增量物化。
代码 / 示例
-- Replacing:按 (user_id) 保留最新一行
ENGINE = ReplacingMergeTree(updated_at)
ORDER BY user_id;
-- Summing:按 (dept, month) 累加 amount
ENGINE = SummingMergeTree
ORDER BY (dept_id, month);
常见误区
- 误区:ReplacingMergeTree 保证查询时没有重复。正解:去重只在后台合并时发生,未合并前仍可能读到重复;查询要用
GROUP BY或FINAL兜底。 - 误区:SummingMergeTree 自动实时聚合。正解:合并才聚合,查询仍需 GROUP BY 才能得到精确汇总。
05.8.1-006 ClickHouse 不擅长什么场景?
频率 ★★★★ | 难度 进阶
一句话结论
ClickHouse 不擅长高并发点查(单行 by id)、频繁单行更新删除、跨表 JOIN 大事务、多行强一致事务、毫秒级实时写入;它是分析型大宽表扫描引擎,业务 OLTP 应选 MySQL/PG。
概念解释
- 点查:列存+稀疏索引,单行定位不优。
- 更新:mutation 异步重写 part,成本高。
- JOIN:大表 JOIN 性能一般,建议宽表预聚合。
- 并发:单机资源被单个大查询占满,不适合高 QPS。
常见误区
- 误区:把订单明细实时写入 CK 做查询。正解:CK 适合离线/近实时批量导入,业务库仍用 MySQL,CDC 同步到 CK。
05.8.1-007 ClickHouse 物化视图怎么工作?
频率 ★★★ | 难度 进阶
一句话结论
ClickHouse 物化视图是插入触发器:写入原表时自动按定义 INSERT 到物化视图表;不是查询时重算,是写入时增量预聚合。
05.8.1-008 ClickHouse 怎么删数据?
频率 ★★ | 难度 进阶
一句话结论
DELETE 是 mutation(ALTER TABLE ... DELETE),异步重写 part;小批量删除用 TTL;大表删除不要用 DELETE,用分区 DROP。
05.8.1-009 ClickHouse 集群怎么分片?
频率 ★★ | 难度 进阶
一句话结论
分片按分桶键(rand() 或 hash)分布,每分片多副本;Distributed 表路由到各分片;分片键选高离散列。
05.8.1-010 ClickHouse 为什么不擅长 UPDATE?
频率 ★★ | 难度 进阶
一句话结论
ClickHouse part 不可变,UPDATE 是重写整个 part;列存为扫描优化,不为随机写;高频更新场景用 ReplacingMergeTree 或选其他库。
典型场景与代码示例
MergeTree 建表示例
CREATE TABLE events (
event_date Date,
hour UInt8,
user_id UInt64,
event_type LowCardinality(String),
amount Float64
) ENGINE = MergeTree
PARTITION BY toYYYYMM(event_date) -- 按月分区
ORDER BY (event_date, hour, user_id) -- 排序键
TTL event_date + INTERVAL 90 DAY -- 90 天后自动删除
SETTINGS index_granularity = 8192;
part 合并流程
写入:
INSERT 100 万行 -> 生成 part_1
INSERT 200 万行 -> 生成 part_2
后台合并:
part_1 + part_2 -> part_merged(按排序键合并,压缩更高)
合并期间旧 part 仍可查询
查询:
先查活跃 part 列表
按排序键索引跳过不相关 granule
分区键 vs 排序键
PARTITION BY toYYYYMM(event_date)
-> 物理分目录:202401/, 202402/
-> WHERE event_date >= '2024-01-01' 裁剪到 202401 分区
ORDER BY (event_date, hour, user_id)
-> part 内排序,稀疏索引
-> WHERE user_id = 123 利用排序键跳 granule
面试高频追问
问:分区键和排序键最本质的区别是什么?
答:分区键物理分目录(粗粒度),排序键是 part 内排序和稀疏索引(细粒度);分区键不进索引,排序键才进。
问:ClickHouse 为什么不擅长点查?
答:列存+稀疏索引,单行定位不优;点查延迟比 MySQL 高一个数量级。
问:part 合并为什么是后台异步?
答:合并占 IO 和 CPU,不能阻塞写入;合并提升压缩率和查询性能,但小文件太多时合并跟不上。
问:ReplacingMergeTree 能保证查询时无重复吗?
答:不能。去重只在后台合并时发生,未合并前仍可能读到重复;查询要用 GROUP BY 或 FINAL 兜底。
核心要点速记
| 概念 | 说明 |
|---|---|
| 分区键 | 物理分目录,粗粒度,按月 |
| 排序键 | part 内排序+稀疏索引,细粒度 |
| part | 不可变数据片段,后台合并 |
| 物化视图 | 写入时触发,增量预聚合 |
MergeTree 家族:
- Replacing:按主键去重
- Summing:预聚合求和
- Collapsing:sign 折叠模拟更新
一句话记忆:分区键粗、排序键细;CK 不擅长点查和更新。
待整理清单
- [ ] ClickHouse 分布式表、分片键设计
- [ ] materialized view 与投影(projection)
- [ ] ClickHouse 版本差异与最新特性