05.8.3 Doris-StarRocks 架构与 MPP 执行
所属:全栈开发面试题库 / 05 数据库与存储 / 05.8 OLAP 与列存
覆盖范围
- MPP 架构与分布式执行
- Doris 架构(FE/BE)、StarRocks 架构(FE/BE)
- 表模型:Aggregate/Unique/Duplicate
- 分区与分桶、前缀索引
- 导入方式:Stream Load、Routine Load、Broker Load
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.8.3-001 | MPP 架构是什么 | 进阶 | ★★★★★ |
| 05.8.3-002 | Doris 的 FE 和 BE 各负责什么 | 进阶 | ★★★★ |
| 05.8.3-003 | Aggregate/Unique/Duplicate 三种表模型 | 进阶 | ★★★★ |
| 05.8.3-004 | 分桶键和前缀索引 | 进阶 | ★★★ |
| 05.8.3-005 | Doris/StarRocks 导入方式 | 基础 | ★★★ |
| 05.8.3-006 | Doris 和 ClickHouse 怎么选 | 进阶 | ★★★★ |
05.8.3-001 MPP 架构是什么?
频率 ★★★★★ | 难度 进阶
一句话结论
MPP(Massively Parallel Processing,大规模并行处理)把查询计划切成多个阶段,下发到多台计算节点并行执行,节点间通过 shuffle 交换数据,最后汇聚结果;适合大表聚合扫描,与 SMP 单机多线程相对。
概念解释
- MPP:无共享(shared-nothing)架构,各节点独立存储计算。
- shuffle:按 JOIN/GROUP BY 键重分布数据。
- 与 Hive 区别:Hive 基于 MR/Spark 落盘中间结果,MPP 内存 pipeline 执行,延迟更低。
原理流程
- 协调节点解析 SQL,生成分布式执行计划。
- 各 BE 节点并行读取本地数据,做部分聚合。
- shuffle 按键重分布数据,再做最终聚合。
- 汇聚结果返回。
常见误区
- 误区:MPP 就是分布式数据库。正解:MPP 是一种执行架构,TiDB 也是分布式但用 OLTP 调度模型。
05.8.3-002 Doris 的 FE 和 BE 各负责什么?
频率 ★★★★ | 难度 进阶
一句话结论
Doris FE(Frontend)负责元数据管理、SQL 解析、查询计划生成、调度;BE(Backend)负责数据存储和计算执行;FE 多选主(BDBJE)保证高可用,BE 水平扩展。
概念解释
- FE:元数据、SQL 解析、优化器、调度。
- BE:列存存储、向量化执行、副本。
- 元数据副本:FE 内部多节点选主,无外部 ZooKeeper 依赖。
常见误区
- 误区:Doris 需要 ZooKeeper。正解:Doris FE 内部用 BDBJE 复制元数据,不依赖外部 ZooKeeper。
05.8.3-003 Aggregate/Unique/Duplicate 三种表模型有什么区别?
频率 ★★★★ | 难度 进阶
一句话结论
Duplicate(明细模型)保留原始明细行,适合日志;Aggregate(聚合模型)按 key 预聚合 value 列,适合报表;Unique(主键模型)按 key 去重保留最新版本,适合 CDC 实时更新。
代码 / 示例
-- Duplicate:明细表
DUPLICATE KEY(day, dept_id) DISTRIBUTED BY HASH(dept_id) BUCKETS 10;
-- Aggregate:按 key 聚合
AGGREGATE KEY(day, dept_id)
PROPERTIES("replication_num"="1");
-- Unique:主键去重
UNIQUE KEY(order_id) DISTRIBUTED BY HASH(order_id) BUCKETS 10;
常见误区
- 误区:Unique 模型支持事务更新。正解:Unique 模型按主键覆盖写,不是行级事务。
- 误区:Aggregate 模型查询时还要 GROUP BY。正解:写入时已预聚合,查询时按 key 直接出结果。
05.8.3-004 分桶键和前缀索引是什么?
频率 ★★★ | 难度 进阶
一句话结论
分桶键(DISTRIBUTED BY HASH)决定数据落到哪个 tablet,查询按分桶键过滤可裁剪 tablet;前缀索引按 key 列排序建稀疏索引,命中前缀列可跳过数据块。
常见误区
- 误区:分桶键=分区键。正解:分区是粗粒度时间裁剪,分桶是细粒度哈希分布,两者独立。
- 误区:分桶越多越好。正解:分桶过多小文件多,并行度反受影响,一般 10~100 桶。
05.8.3-005 Doris/StarRocks 有哪些导入方式?
频率 ★★★ | 难度 基础
一句话结论
Stream Load 同步 HTTP 导入(小批量实时)、Routine Load 持续消费 Kafka、Broker Load 从 HDFS/S3 批量拉取、Insert Into 从外表查询导入;实时数仓常用 Routine Load + Kafka。
常见误区
- 误区:每次导入都有事务开销所以慢。正解:Doris 导入是两阶段提交,小批量频繁导入需攒批。
05.8.3-006 Doris 和 ClickHouse 怎么选?
频率 ★★★★ | 难度 进阶
一句话结论
ClickHouse 单表大宽表聚合扫描性能极致,但 JOIN 弱、更新弱、不擅长高并发点查;Doris/StarRocks MPP 架构 JOIN 强、支持实时更新(Unique 模型)、导入方式丰富,适合实时数仓和即席查询,单表极限扫描略逊 CK。
常见误区
- 误区:二选一。正解:CK 适合日志大宽表分析,Doris 适合实时数仓即席查询,按场景选。
05.8.3-006 Doris 主键模型怎么实时更新?
频率 ★★ | 难度 进阶
一句话结论
Unique 模型按主键 upsert,CDC 同步写入时自动覆盖旧版本;查询时只返回最新版本;适合业务库实时同步到分析库。
05.8.3-007 Colocate Join 是什么?
频率 ★★ | 难度 高级
一句话结论
Colocate 让两张表按相同分桶键和分桶数分布在相同节点对,JOIN 时本地完成,避免 shuffle;适合大表间高频 JOIN。
05.8.3-008 Doris 和 StarRocks 什么关系?
频率 ★★ | 难度 基础
一句话结论
StarRocks 早期是 Doris 的分支(原 Palo),后独立发展;两者架构类似(FE/BE + MPP),StarRocks 向量化更彻底,Doris 社区更活跃。
典型场景与代码示例
Doris 建表示例
-- Unique 模型:按主键 upsert
CREATE TABLE orders (
order_id BIGINT,
user_id BIGINT,
amount DECIMAL(18,2),
status VARCHAR(50),
update_time DATETIME
) UNIQUE KEY(order_id)
DISTRIBUTED BY HASH(order_id) BUCKETS 10
PROPERTIES("replication_num" = "1");
-- Aggregate 模型:按 key 预聚合
CREATE TABLE sales_daily (
dt DATE,
dept_id INT,
amount SUM(DECIMAL(18,2))
) AGGREGATE KEY(dt, dept_id)
DISTRIBUTED BY HASH(dept_id) BUCKETS 10;
MPP 执行流程
1. FE 解析 SQL,生成分布式执行计划
2. 计划下发到 BE 节点
3. 各 BE 本地扫描数据,做部分聚合
4. 按 GROUP BY key shuffle 数据
5. BE 做最终聚合
6. 结果汇总到 FE,返回客户端
导入方式
Stream Load:HTTP 同步导入(小批量实时)
Routine Load:持续消费 Kafka
Broker Load:从 HDFS/S3 批量拉取
INSERT INTO:从外表查询导入
面试高频追问
问:MPP 和 SMP 有什么区别?
答:SMP 单机多线程共享内存;MPP 多节点无共享,各自存储计算,节点间 shuffle 交换数据。
问:Doris Unique 模型怎么实时更新?
答:按主键 upsert,CDC 同步写入时自动覆盖旧版本;适合业务库实时同步到分析库。
问:Doris 和 ClickHouse 怎么选?
答:单表大宽表极限扫描选 CK;实时数仓即席查询、JOIN 多选 Doris;CK 不擅长高并发点查。
问:FE 和 BE 各负责什么?
答:FE 负责元数据、SQL 解析、调度;BE 负责数据存储和计算执行。
核心要点速记
| 表模型 | 特点 | 适用 |
|---|---|---|
| Duplicate | 保留明细 | 日志 |
| Aggregate | 按 key 预聚合 | 报表 |
| Unique | 按主键 upsert | CDC 实时更新 |
MPP 流程:FE 解析 -> BE 本地扫描聚合 -> shuffle -> BE 最终聚合 -> 汇总。
一句话记忆:Doris 是 MPP 实时数仓;Unique 模型适合 CDC 同步。
相关概念辨析
Doris vs ClickHouse
| 维度 | Doris | ClickHouse |
|---|---|---|
| 执行架构 | MPP | 单节点极致 |
| JOIN 支持 | 强 | 弱 |
| 实时更新 | 支持 | 弱 |
| 并发查询 | 高 | 低 |
| 适合场景 | 实时看板、JOIN | 单表扫描、聚合 |
StarRocks vs Doris
- StarRocks:Doris 商业分支,向量化执行,性能更好。
- Doris:开源社区版,功能稳定。
- 选择:新项目评估 StarRocks;已有 Doris 继续用。
05.8.3-009 Doris 导入为什么要攒批?
频率 ★★★ | 难度 进阶
一句话结论
Doris 每次导入是一个事务,产生一个新版本;小批量频繁导入会导致版本爆炸、compaction 压力大,查询性能下降。
概念解释
- 导入事务:每次 Stream Load/Routine Load 提交生成一个版本。
- 版本爆炸:单 Tablet 版本数过多,compaction 跟不上,查询要合并多个版本。
- 攒批:把多条小导入合并成一次大导入,减少版本数。
原理流程
- Routine Load 消费 Kafka,默认按条数或时间攒批。
- 攒够 batch_size(如 10000 行)或 batch_interval(如 10 秒)才提交。
- 版本数控制在 compaction 能处理的范围内。
代码 / 示例
CREATE ROUTINE LOAD job1 ON orders
PROPERTIES(
"desired_concurrent_number"="3",
"max_batch_interval"="10",
"max_batch_rows"="100000"
)
FROM KAFKA(...);
常见误区
- 误区:实时性越高越好。正解:实时性太高导致版本爆炸,要在延迟和版本数间平衡。
追问延伸
- 查看版本数:SHOW TABLET FROM table_name 看 VersionCount。
- compaction:后台自动合并,版本过多时手动触发。
05.8.3-010 Colocate Join 是什么?
频率 ★★ | 难度 高级
一句话结论
Colocate Join 让两张表按相同分桶键和分桶数分布在相同节点对,JOIN 时本地完成,避免 shuffle 网络开销。
概念解释
- 普通 JOIN:按 JOIN key shuffle 数据到各节点,网络开销大。
- Colocate:建表时指定相同 distribution,数据物理上共置。
- 效果:JOIN 时本地扫描本地数据,无 shuffle。
原理流程
- 建表时指定 "colocate_with" 组名。
- 同组表按相同分桶键和分桶数分布在相同 BE 节点。
- JOIN 时 FE 直接下发计划到对应 BE,本地完成。
代码 / 示例
CREATE TABLE orders (
order_id BIGINT, user_id BIGINT, ...
) DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES("colocate_with" = "group1");
CREATE TABLE users (
user_id BIGINT, ...
) DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES("colocate_with" = "group1");
-- JOIN 时本地完成,无 shuffle
SELECT * FROM orders o JOIN users u ON o.user_id = u.user_id;
常见误区
- 误区:所有 JOIN 都用 Colocate。正解:Colocate 适合大表间高频 JOIN;小表用 Broadcast Join 更合适。
追问延伸
- Broadcast Join:小表复制到所有节点,大表本地扫描。
- Bucket Shuffle Join:按分桶键 shuffle,比普通 shuffle 更高效。
05.8.3-011 Doris Tablet 均衡与扩缩容?
频率 ★★ | 难度 高级
一句话结论
Doris 数据以 Tablet 为单位分布在 BE 节点;扩容时自动迁移 Tablet 到新节点;缩容时自动均衡 Tablet 分布。
概念解释
- Tablet:Doris 最小数据单元,按分桶键哈希拆分。
- 副本:每个 Tablet 默认 3 副本,分布在不同 BE。
- 均衡:BE 加入或下线时,FE 自动迁移 Tablet 副本。
原理流程
- 扩容:新 BE 加入集群,FE 生成均衡任务,迁移 Tablet 副本到新 BE。
- 缩容:BE 下线,FE 先把该 BE 上的 Tablet 副本迁移到其他 BE,再下线。
- 均衡后台运行,不影响在线查询。
常见误区
- 误区:扩容后立即性能翻倍。正解:数据迁移需要时间,迁移期间网络和磁盘 IO 压力大。
追问延伸
- 手动均衡:ADMIN SET REPLICA STATUS。
- 查看均衡:SHOW PROC '/cluster_balance'。
待整理清单
- [ ] StarRocks 与 Doris 的技术差异与演进关系
- [ ] Doris 物化视图与主键模型的实时更新机制
- [ ] Colocate Join 与 Bucket Shuffle Join