罗罗编程学习记录
本页内容 展开查看

05.8.1 ClickHouse 架构与 MergeTree 家族

所属:全栈开发面试题库 / 05 数据库与存储 / 05.8 OLAP 与列存

覆盖范围

  • ClickHouse 列存架构与向量化执行定位
  • MergeTree 表引擎、分区键与排序键(主键)
  • 数据部件(part)、后台合并、mutation
  • ReplicatedMergeTree 副本机制
  • 家族变体:Summing/Collapsing/Replacing/Aggregating/VersionedCollapsing

高频题速览

编号 题目 难度 频率
05.8.1-001 ClickHouse 为什么快 基础 ★★★★★
05.8.1-002 分区键和排序键(主键)有什么区别 进阶 ★★★★★
05.8.1-003 数据部件 part 与后台合并机制 进阶 ★★★★
05.8.1-004 ReplicatedMergeTree 副本如何工作 高级 ★★★
05.8.1-005 Summing/Collapsing/Replacing MergeTree 用途 高级 ★★★★
05.8.1-006 ClickHouse 不擅长什么场景 进阶 ★★★★

05.8.1-001 ClickHouse 为什么快?

频率 ★★★★★ | 难度 基础

一句话结论

ClickHouse 是面向 OLAP 的列式存储 + 向量化执行引擎:数据按列存储,扫描只读涉及列;列存压缩比高;向量化按 SIMD 批量处理;稀疏索引跳过数据块;单表大宽表聚合查询性能远超行存 RDBMS。

概念解释

  • 列存:一列连续存储,同列数据类型一致,压缩比高。
  • 向量化执行:按列批量加载到 CPU 寄存器,利用 SIMD 指令。
  • 稀疏索引:不索引每行,按数据块标记,跳过不相关块。
  • OLAP 优化:针对大表聚合、扫描,不擅长点查单行。

原理流程

  1. 写入数据先生成 part,按列存压缩落盘。
  2. 查询时按排序键稀疏索引定位 part/granule。
  3. 只读涉及列,向量化批量计算。

代码 / 示例

CREATE TABLE events (
  event_date Date,
  user_id UInt64,
  event_type LowCardinality(String),
  amount Float64
) ENGINE = MergeTree
PARTITION BY toYYYYMM(event_date)
ORDER BY (event_date, user_id);

常见误区

  • 误区:ClickHouse 能替代 MySQL 做业务库。正解:它不擅长高并发点查、单行更新、事务,适合分析扫描。
  • 误区:列存只是省空间。正解:更关键的是只读需要列、压缩率高利于扫描。

05.8.1-002 分区键(PARTITION BY)和排序键(ORDER BY/主键)有什么区别?

频率 ★★★★★ | 难度 进阶

一句话结论

分区键把数据物理切成多个 part 目录(按时间/枚举),用于分区裁剪、TTL 删除、备份;排序键是数据在 part 内的物理排序和稀疏索引,用于加速点查和范围过滤;分区键不进索引,排序键才进主键索引。

概念解释

  • 分区键 PARTITION BY:物理分目录,粒度粗,常用于按月/按天。
  • 排序键 ORDER BY:part 内排序,稀疏索引按此建,粒度细。
  • 两者独立:ORDER BY 可以与 PARTITION BY 不同,常用 (event_date, ...) 让分区内有序。

原理流程

  1. 写入时按分区键把数据分到不同 part 目录。
  2. part 内按排序键排序。
  3. 查询时先按分区裁剪跳过无关分区,再按排序键索引在分区内跳过 granule。

代码 / 示例

PARTITION BY toYYYYMM(event_date)   -- 按月分区
ORDER BY (event_date, user_id)       -- part 内按日期+用户排序

常见误区

  • 误区:分区键就是主键。正解:分区键不进索引,不能加速单条过滤;排序键才是主键索引。
  • 误区:分区越细越好。正解:分区过多会产生大量小 part,后台合并压力大,查询打开文件多;一般按月/按天,不要按每行哈希。
  • 误区:分区键能加速 WHERE。正解:分区键只能跳过整个分区,不能精确定位行。

追问

  • 问:为什么 ORDER BY 常把 event_date 放前面?答:让时间范围查询在分区内也能跳过 granule,且与分区对齐减少合并。

05.8.1-003 数据部件 part 和后台合并是怎么回事?

频率 ★★★★ | 难度 进阶

一句话结论

每次写入生成一个不可变的 part(按列存压缩),后台线程不断把小 part 合并成大 part(merge),优化查询和压缩;写入是追加,更新/删除通过 mutation 标记或突变实现,不是原地修改。

概念解释

  • part:不可变数据片段,按分区存放。
  • merge:后台合并小 part,提升压缩与扫描效率。
  • mutation:ALTER TABLE UPDATE/DELETE,重写 part 的异步操作。
  • 小文件问题:高频小批量写入产生大量 part,合并跟不上会变慢。

代码 / 示例

-- 查看 part 数
SELECT partition, name, rows, bytes_on_disk
FROM system.parts WHERE table='events' AND active;

-- 突变删除(异步,重写 part)
ALTER TABLE events DELETE WHERE event_date < '2024-01-01';

常见误区

  • 误区:每条 INSERT 都立即合并。正解:写入先成 part,合并异步;高吞吐批量写入要攒批(建议每批 1 万~100 万行)。
  • 误区:DELETE 是即时的。正解:mutation 是异步重写大 part,大表删除要等很久,用 TTL 更合适。

05.8.1-004 ReplicatedMergeTree 副本如何工作?

频率 ★★★ | 难度 高级

一句话结论

ReplicatedMergeTree 通过 ZooKeeper(或 ClickHouse Keeper)协调多副本:写入先落本地 part,再把 part 元数据写入 ZooKeeper,其他副本拉取 part 数据;多副本读可负载均衡,写任一副本再同步。

概念解释

  • 副本表引擎:ReplicatedMergeTree 系列,比普通 MergeTree 多 zookeeper_path 和 replica_name。
  • 元数据协调:part 列表在 ZooKeeper,副本间异步拉取。
  • 一致性:最终一致,副本延迟可能存在。

代码 / 示例

ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/events', '{replica}')
PARTITION BY toYYYYMM(event_date)
ORDER BY (event_date, user_id);

常见误区

  • 误区:ReplicatedMergeTree 是强一致。正解:副本异步同步,读延迟副本可能读到旧数据。
  • 误区:副本可替代分库分表。正解:副本是高可用,不做水平扩展;分布式分片用 Distributed 表 + 多分片。

05.8.1-005 Summing/Collapsing/Replacing MergeTree 各解决什么问题?

频率 ★★★★ | 难度 高级

一句话结论

家族变体在合并时按排序键预聚合/折叠:Summing 预聚合求和列,Replacing 保留同主键最新一行,Collapsing 用 sign 字段折叠正负行,Aggregating 按维度聚合;它们是写入时优化,不是查询时去重。

概念解释

  • SummingMergeTree:合并时把同排序键的数值列累加,减少数据量。
  • ReplacingMergeTree:合并时同排序键只保留一行(按版本列)。
  • CollapsingMergeTree:用 sign=1/-1 折叠,模拟更新/删除。
  • AggregatingMergeTree:配合 AggregateFunction 做增量物化。

代码 / 示例

-- Replacing:按 (user_id) 保留最新一行
ENGINE = ReplacingMergeTree(updated_at)
ORDER BY user_id;

-- Summing:按 (dept, month) 累加 amount
ENGINE = SummingMergeTree
ORDER BY (dept_id, month);

常见误区

  • 误区:ReplacingMergeTree 保证查询时没有重复。正解:去重只在后台合并时发生,未合并前仍可能读到重复;查询要用 GROUP BY 或 FINAL 兜底。
  • 误区:SummingMergeTree 自动实时聚合。正解:合并才聚合,查询仍需 GROUP BY 才能得到精确汇总。

05.8.1-006 ClickHouse 不擅长什么场景?

频率 ★★★★ | 难度 进阶

一句话结论

ClickHouse 不擅长高并发点查(单行 by id)、频繁单行更新删除、跨表 JOIN 大事务、多行强一致事务、毫秒级实时写入;它是分析型大宽表扫描引擎,业务 OLTP 应选 MySQL/PG。

概念解释

  • 点查:列存+稀疏索引,单行定位不优。
  • 更新:mutation 异步重写 part,成本高。
  • JOIN:大表 JOIN 性能一般,建议宽表预聚合。
  • 并发:单机资源被单个大查询占满,不适合高 QPS。

常见误区

  • 误区:把订单明细实时写入 CK 做查询。正解:CK 适合离线/近实时批量导入,业务库仍用 MySQL,CDC 同步到 CK。

05.8.1-007 ClickHouse 物化视图怎么工作?

频率 ★★★ | 难度 进阶

一句话结论

ClickHouse 物化视图是插入触发器:写入原表时自动按定义 INSERT 到物化视图表;不是查询时重算,是写入时增量预聚合。


05.8.1-008 ClickHouse 怎么删数据?

频率 ★★ | 难度 进阶

一句话结论

DELETE 是 mutation(ALTER TABLE ... DELETE),异步重写 part;小批量删除用 TTL;大表删除不要用 DELETE,用分区 DROP。


05.8.1-009 ClickHouse 集群怎么分片?

频率 ★★ | 难度 进阶

一句话结论

分片按分桶键(rand() 或 hash)分布,每分片多副本;Distributed 表路由到各分片;分片键选高离散列。


05.8.1-010 ClickHouse 为什么不擅长 UPDATE?

频率 ★★ | 难度 进阶

一句话结论

ClickHouse part 不可变,UPDATE 是重写整个 part;列存为扫描优化,不为随机写;高频更新场景用 ReplacingMergeTree 或选其他库。

典型场景与代码示例

MergeTree 建表示例

CREATE TABLE events (
  event_date Date,
  hour UInt8,
  user_id UInt64,
  event_type LowCardinality(String),
  amount Float64
) ENGINE = MergeTree
PARTITION BY toYYYYMM(event_date)          -- 按月分区
ORDER BY (event_date, hour, user_id)       -- 排序键
TTL event_date + INTERVAL 90 DAY            -- 90 天后自动删除
SETTINGS index_granularity = 8192;

part 合并流程

写入:
  INSERT 100 万行 -> 生成 part_1
  INSERT 200 万行 -> 生成 part_2

后台合并:
  part_1 + part_2 -> part_merged(按排序键合并,压缩更高)
  合并期间旧 part 仍可查询

查询:
  先查活跃 part 列表
  按排序键索引跳过不相关 granule

分区键 vs 排序键

PARTITION BY toYYYYMM(event_date)
  -> 物理分目录:202401/, 202402/
  -> WHERE event_date >= '2024-01-01' 裁剪到 202401 分区

ORDER BY (event_date, hour, user_id)
  -> part 内排序,稀疏索引
  -> WHERE user_id = 123 利用排序键跳 granule

面试高频追问

问:分区键和排序键最本质的区别是什么?

答:分区键物理分目录(粗粒度),排序键是 part 内排序和稀疏索引(细粒度);分区键不进索引,排序键才进。

问:ClickHouse 为什么不擅长点查?

答:列存+稀疏索引,单行定位不优;点查延迟比 MySQL 高一个数量级。

问:part 合并为什么是后台异步?

答:合并占 IO 和 CPU,不能阻塞写入;合并提升压缩率和查询性能,但小文件太多时合并跟不上。

问:ReplacingMergeTree 能保证查询时无重复吗?

答:不能。去重只在后台合并时发生,未合并前仍可能读到重复;查询要用 GROUP BY 或 FINAL 兜底。

核心要点速记

概念 说明
分区键 物理分目录,粗粒度,按月
排序键 part 内排序+稀疏索引,细粒度
part 不可变数据片段,后台合并
物化视图 写入时触发,增量预聚合

MergeTree 家族:

  • Replacing:按主键去重
  • Summing:预聚合求和
  • Collapsing:sign 折叠模拟更新

一句话记忆:分区键粗、排序键细;CK 不擅长点查和更新。

待整理清单

  • [ ] ClickHouse 分布式表、分片键设计
  • [ ] materialized view 与投影(projection)
  • [ ] ClickHouse 版本差异与最新特性