罗罗编程学习记录
本页内容 展开查看

05.8.3 Doris-StarRocks 架构与 MPP 执行

所属:全栈开发面试题库 / 05 数据库与存储 / 05.8 OLAP 与列存

覆盖范围

  • MPP 架构与分布式执行
  • Doris 架构(FE/BE)、StarRocks 架构(FE/BE)
  • 表模型:Aggregate/Unique/Duplicate
  • 分区与分桶、前缀索引
  • 导入方式:Stream Load、Routine Load、Broker Load

高频题速览

编号 题目 难度 频率
05.8.3-001 MPP 架构是什么 进阶 ★★★★★
05.8.3-002 Doris 的 FE 和 BE 各负责什么 进阶 ★★★★
05.8.3-003 Aggregate/Unique/Duplicate 三种表模型 进阶 ★★★★
05.8.3-004 分桶键和前缀索引 进阶 ★★★
05.8.3-005 Doris/StarRocks 导入方式 基础 ★★★
05.8.3-006 Doris 和 ClickHouse 怎么选 进阶 ★★★★

05.8.3-001 MPP 架构是什么?

频率 ★★★★★ | 难度 进阶

一句话结论

MPP(Massively Parallel Processing,大规模并行处理)把查询计划切成多个阶段,下发到多台计算节点并行执行,节点间通过 shuffle 交换数据,最后汇聚结果;适合大表聚合扫描,与 SMP 单机多线程相对。

概念解释

  • MPP:无共享(shared-nothing)架构,各节点独立存储计算。
  • shuffle:按 JOIN/GROUP BY 键重分布数据。
  • 与 Hive 区别:Hive 基于 MR/Spark 落盘中间结果,MPP 内存 pipeline 执行,延迟更低。

原理流程

  1. 协调节点解析 SQL,生成分布式执行计划。
  2. 各 BE 节点并行读取本地数据,做部分聚合。
  3. shuffle 按键重分布数据,再做最终聚合。
  4. 汇聚结果返回。

常见误区

  • 误区:MPP 就是分布式数据库。正解:MPP 是一种执行架构,TiDB 也是分布式但用 OLTP 调度模型。

05.8.3-002 Doris 的 FE 和 BE 各负责什么?

频率 ★★★★ | 难度 进阶

一句话结论

Doris FE(Frontend)负责元数据管理、SQL 解析、查询计划生成、调度;BE(Backend)负责数据存储和计算执行;FE 多选主(BDBJE)保证高可用,BE 水平扩展。

概念解释

  • FE:元数据、SQL 解析、优化器、调度。
  • BE:列存存储、向量化执行、副本。
  • 元数据副本:FE 内部多节点选主,无外部 ZooKeeper 依赖。

常见误区

  • 误区:Doris 需要 ZooKeeper。正解:Doris FE 内部用 BDBJE 复制元数据,不依赖外部 ZooKeeper。

05.8.3-003 Aggregate/Unique/Duplicate 三种表模型有什么区别?

频率 ★★★★ | 难度 进阶

一句话结论

Duplicate(明细模型)保留原始明细行,适合日志;Aggregate(聚合模型)按 key 预聚合 value 列,适合报表;Unique(主键模型)按 key 去重保留最新版本,适合 CDC 实时更新。

代码 / 示例

-- Duplicate:明细表
DUPLICATE KEY(day, dept_id) DISTRIBUTED BY HASH(dept_id) BUCKETS 10;

-- Aggregate:按 key 聚合
AGGREGATE KEY(day, dept_id)
PROPERTIES("replication_num"="1");

-- Unique:主键去重
UNIQUE KEY(order_id) DISTRIBUTED BY HASH(order_id) BUCKETS 10;

常见误区

  • 误区:Unique 模型支持事务更新。正解:Unique 模型按主键覆盖写,不是行级事务。
  • 误区:Aggregate 模型查询时还要 GROUP BY。正解:写入时已预聚合,查询时按 key 直接出结果。

05.8.3-004 分桶键和前缀索引是什么?

频率 ★★★ | 难度 进阶

一句话结论

分桶键(DISTRIBUTED BY HASH)决定数据落到哪个 tablet,查询按分桶键过滤可裁剪 tablet;前缀索引按 key 列排序建稀疏索引,命中前缀列可跳过数据块。

常见误区

  • 误区:分桶键=分区键。正解:分区是粗粒度时间裁剪,分桶是细粒度哈希分布,两者独立。
  • 误区:分桶越多越好。正解:分桶过多小文件多,并行度反受影响,一般 10~100 桶。

05.8.3-005 Doris/StarRocks 有哪些导入方式?

频率 ★★★ | 难度 基础

一句话结论

Stream Load 同步 HTTP 导入(小批量实时)、Routine Load 持续消费 Kafka、Broker Load 从 HDFS/S3 批量拉取、Insert Into 从外表查询导入;实时数仓常用 Routine Load + Kafka。

常见误区

  • 误区:每次导入都有事务开销所以慢。正解:Doris 导入是两阶段提交,小批量频繁导入需攒批。

05.8.3-006 Doris 和 ClickHouse 怎么选?

频率 ★★★★ | 难度 进阶

一句话结论

ClickHouse 单表大宽表聚合扫描性能极致,但 JOIN 弱、更新弱、不擅长高并发点查;Doris/StarRocks MPP 架构 JOIN 强、支持实时更新(Unique 模型)、导入方式丰富,适合实时数仓和即席查询,单表极限扫描略逊 CK。

常见误区

  • 误区:二选一。正解:CK 适合日志大宽表分析,Doris 适合实时数仓即席查询,按场景选。

05.8.3-006 Doris 主键模型怎么实时更新?

频率 ★★ | 难度 进阶

一句话结论

Unique 模型按主键 upsert,CDC 同步写入时自动覆盖旧版本;查询时只返回最新版本;适合业务库实时同步到分析库。


05.8.3-007 Colocate Join 是什么?

频率 ★★ | 难度 高级

一句话结论

Colocate 让两张表按相同分桶键和分桶数分布在相同节点对,JOIN 时本地完成,避免 shuffle;适合大表间高频 JOIN。


05.8.3-008 Doris 和 StarRocks 什么关系?

频率 ★★ | 难度 基础

一句话结论

StarRocks 早期是 Doris 的分支(原 Palo),后独立发展;两者架构类似(FE/BE + MPP),StarRocks 向量化更彻底,Doris 社区更活跃。

典型场景与代码示例

Doris 建表示例

-- Unique 模型:按主键 upsert
CREATE TABLE orders (
  order_id BIGINT,
  user_id BIGINT,
  amount DECIMAL(18,2),
  status VARCHAR(50),
  update_time DATETIME
) UNIQUE KEY(order_id)
DISTRIBUTED BY HASH(order_id) BUCKETS 10
PROPERTIES("replication_num" = "1");

-- Aggregate 模型:按 key 预聚合
CREATE TABLE sales_daily (
  dt DATE,
  dept_id INT,
  amount SUM(DECIMAL(18,2))
) AGGREGATE KEY(dt, dept_id)
DISTRIBUTED BY HASH(dept_id) BUCKETS 10;

MPP 执行流程

1. FE 解析 SQL,生成分布式执行计划
2. 计划下发到 BE 节点
3. 各 BE 本地扫描数据,做部分聚合
4. 按 GROUP BY key shuffle 数据
5. BE 做最终聚合
6. 结果汇总到 FE,返回客户端

导入方式

Stream Load:HTTP 同步导入(小批量实时)
Routine Load:持续消费 Kafka
Broker Load:从 HDFS/S3 批量拉取
INSERT INTO:从外表查询导入

面试高频追问

问:MPP 和 SMP 有什么区别?

答:SMP 单机多线程共享内存;MPP 多节点无共享,各自存储计算,节点间 shuffle 交换数据。

问:Doris Unique 模型怎么实时更新?

答:按主键 upsert,CDC 同步写入时自动覆盖旧版本;适合业务库实时同步到分析库。

问:Doris 和 ClickHouse 怎么选?

答:单表大宽表极限扫描选 CK;实时数仓即席查询、JOIN 多选 Doris;CK 不擅长高并发点查。

问:FE 和 BE 各负责什么?

答:FE 负责元数据、SQL 解析、调度;BE 负责数据存储和计算执行。

核心要点速记

表模型 特点 适用
Duplicate 保留明细 日志
Aggregate 按 key 预聚合 报表
Unique 按主键 upsert CDC 实时更新

MPP 流程:FE 解析 -> BE 本地扫描聚合 -> shuffle -> BE 最终聚合 -> 汇总。

一句话记忆:Doris 是 MPP 实时数仓;Unique 模型适合 CDC 同步。

相关概念辨析

Doris vs ClickHouse

维度 Doris ClickHouse
执行架构 MPP 单节点极致
JOIN 支持 强 弱
实时更新 支持 弱
并发查询 高 低
适合场景 实时看板、JOIN 单表扫描、聚合

StarRocks vs Doris

  • StarRocks:Doris 商业分支,向量化执行,性能更好。
  • Doris:开源社区版,功能稳定。
  • 选择:新项目评估 StarRocks;已有 Doris 继续用。

05.8.3-009 Doris 导入为什么要攒批?

频率 ★★★ | 难度 进阶

一句话结论

Doris 每次导入是一个事务,产生一个新版本;小批量频繁导入会导致版本爆炸、compaction 压力大,查询性能下降。

概念解释

  • 导入事务:每次 Stream Load/Routine Load 提交生成一个版本。
  • 版本爆炸:单 Tablet 版本数过多,compaction 跟不上,查询要合并多个版本。
  • 攒批:把多条小导入合并成一次大导入,减少版本数。

原理流程

  1. Routine Load 消费 Kafka,默认按条数或时间攒批。
  2. 攒够 batch_size(如 10000 行)或 batch_interval(如 10 秒)才提交。
  3. 版本数控制在 compaction 能处理的范围内。

代码 / 示例

CREATE ROUTINE LOAD job1 ON orders
PROPERTIES(
  "desired_concurrent_number"="3",
  "max_batch_interval"="10",
  "max_batch_rows"="100000"
)
FROM KAFKA(...);

常见误区

  • 误区:实时性越高越好。正解:实时性太高导致版本爆炸,要在延迟和版本数间平衡。

追问延伸

  • 查看版本数:SHOW TABLET FROM table_name 看 VersionCount。
  • compaction:后台自动合并,版本过多时手动触发。

05.8.3-010 Colocate Join 是什么?

频率 ★★ | 难度 高级

一句话结论

Colocate Join 让两张表按相同分桶键和分桶数分布在相同节点对,JOIN 时本地完成,避免 shuffle 网络开销。

概念解释

  • 普通 JOIN:按 JOIN key shuffle 数据到各节点,网络开销大。
  • Colocate:建表时指定相同 distribution,数据物理上共置。
  • 效果:JOIN 时本地扫描本地数据,无 shuffle。

原理流程

  1. 建表时指定 "colocate_with" 组名。
  2. 同组表按相同分桶键和分桶数分布在相同 BE 节点。
  3. JOIN 时 FE 直接下发计划到对应 BE,本地完成。

代码 / 示例

CREATE TABLE orders (
  order_id BIGINT, user_id BIGINT, ...
) DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES("colocate_with" = "group1");

CREATE TABLE users (
  user_id BIGINT, ...
) DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES("colocate_with" = "group1");

-- JOIN 时本地完成,无 shuffle
SELECT * FROM orders o JOIN users u ON o.user_id = u.user_id;

常见误区

  • 误区:所有 JOIN 都用 Colocate。正解:Colocate 适合大表间高频 JOIN;小表用 Broadcast Join 更合适。

追问延伸

  • Broadcast Join:小表复制到所有节点,大表本地扫描。
  • Bucket Shuffle Join:按分桶键 shuffle,比普通 shuffle 更高效。

05.8.3-011 Doris Tablet 均衡与扩缩容?

频率 ★★ | 难度 高级

一句话结论

Doris 数据以 Tablet 为单位分布在 BE 节点;扩容时自动迁移 Tablet 到新节点;缩容时自动均衡 Tablet 分布。

概念解释

  • Tablet:Doris 最小数据单元,按分桶键哈希拆分。
  • 副本:每个 Tablet 默认 3 副本,分布在不同 BE。
  • 均衡:BE 加入或下线时,FE 自动迁移 Tablet 副本。

原理流程

  1. 扩容:新 BE 加入集群,FE 生成均衡任务,迁移 Tablet 副本到新 BE。
  2. 缩容:BE 下线,FE 先把该 BE 上的 Tablet 副本迁移到其他 BE,再下线。
  3. 均衡后台运行,不影响在线查询。

常见误区

  • 误区:扩容后立即性能翻倍。正解:数据迁移需要时间,迁移期间网络和磁盘 IO 压力大。

追问延伸

  • 手动均衡:ADMIN SET REPLICA STATUS。
  • 查看均衡:SHOW PROC '/cluster_balance'。

待整理清单

  • [ ] StarRocks 与 Doris 的技术差异与演进关系
  • [ ] Doris 物化视图与主键模型的实时更新机制
  • [ ] Colocate Join 与 Bucket Shuffle Join