09.10 大数据与流处理
所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式
覆盖范围
- Spark 架构与执行模型:RDD、Stage、Shuffle
- Flink 架构与状态管理:Checkpoint、Watermark
- 批流一体与实时数仓
- 数据倾斜与 Shuffle 调优
- Exactly-Once 语义与两阶段提交 Sink
子主题
| 编号 | 主题 | 覆盖范围 |
|---|---|---|
| 09.10.1 | Spark 架构与执行模型 | RDD、DAG、Stage、Shuffle、宽窄依赖 |
| 09.10.2 | Flink 架构与状态管理 | JobManager/TaskManager、Checkpoint、Watermark、状态后端 |
| 09.10.3 | 批流一体与实时数仓 | Lambda/Kappa 架构、流批一体、ODS/DWD/DWS |
| 09.10.4 | 数据倾斜与 Shuffle 调优 | 倾斜识别、加盐、聚合调优、Shuffle 参数 |
| 09.10.5 | Exactly-Once 语义与两阶段提交 Sink | At-most/at-least/exactly-once、两阶段提交、幂等 Sink |
高频题索引
| 编号 | 题目 | 难度 | 频率 | 所在页面 |
|---|---|---|---|---|
| 09.10.1-002 | Spark Stage 怎么划分 | 进阶 | ★★★★★ | Spark 架构与执行模型 |
| 09.10.2-002 | Flink Checkpoint 原理 | 高级 | ★★★★★ | Flink 架构与状态管理 |
| 09.10.2-004 | Watermark 怎么处理乱序 | 高级 | ★★★★☆ | Flink 架构与状态管理 |
| 09.10.4-001 | 数据倾斜怎么识别 | 进阶 | ★★★★★ | 数据倾斜与 Shuffle 调优 |
| 09.10.5-001 | Exactly-Once 怎么实现 | 高级 | ★★★★★ | Exactly-Once 语义与两阶段提交 Sink |
待整理清单
- [ ] Spark vs Flink 选型对照
- [ ] 实时数仓分层建设案例
- [ ] Flink Checkpoint 调优实战