罗罗编程学习记录
本页内容 展开查看

09.10 大数据与流处理

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式

覆盖范围

  • Spark 架构与执行模型:RDD、Stage、Shuffle
  • Flink 架构与状态管理:Checkpoint、Watermark
  • 批流一体与实时数仓
  • 数据倾斜与 Shuffle 调优
  • Exactly-Once 语义与两阶段提交 Sink

子主题

编号 主题 覆盖范围
09.10.1 Spark 架构与执行模型 RDD、DAG、Stage、Shuffle、宽窄依赖
09.10.2 Flink 架构与状态管理 JobManager/TaskManager、Checkpoint、Watermark、状态后端
09.10.3 批流一体与实时数仓 Lambda/Kappa 架构、流批一体、ODS/DWD/DWS
09.10.4 数据倾斜与 Shuffle 调优 倾斜识别、加盐、聚合调优、Shuffle 参数
09.10.5 Exactly-Once 语义与两阶段提交 Sink At-most/at-least/exactly-once、两阶段提交、幂等 Sink

高频题索引

编号 题目 难度 频率 所在页面
09.10.1-002 Spark Stage 怎么划分 进阶 ★★★★★ Spark 架构与执行模型
09.10.2-002 Flink Checkpoint 原理 高级 ★★★★★ Flink 架构与状态管理
09.10.2-004 Watermark 怎么处理乱序 高级 ★★★★☆ Flink 架构与状态管理
09.10.4-001 数据倾斜怎么识别 进阶 ★★★★★ 数据倾斜与 Shuffle 调优
09.10.5-001 Exactly-Once 怎么实现 高级 ★★★★★ Exactly-Once 语义与两阶段提交 Sink

待整理清单

  • [ ] Spark vs Flink 选型对照
  • [ ] 实时数仓分层建设案例
  • [ ] Flink Checkpoint 调优实战