罗罗编程学习记录
本页内容 展开查看

09.10.2 Flink 架构与状态管理

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.10 大数据与流处理

覆盖范围

  • Flink 架构:JobManager、TaskManager、JobGraph
  • 状态管理:Keyed State、Operator State、状态后端
  • Checkpoint:分布式快照、Barrier、对齐
  • Watermark:乱序处理、窗口触发
  • exactly-once 语义基础(详见 09.10.5)

高频题速览

编号 题目 难度 频率
09.10.2-001 Flink 架构组成 进阶 ★★★★☆
09.10.2-002 Flink Checkpoint 原理 高级 ★★★★★
09.10.2-003 Checkpoint Barrier 是什么 高级 ★★★★☆
09.10.2-004 Watermark 怎么处理乱序 高级 ★★★★☆
09.10.2-005 Keyed State 和 Operator State 区别 进阶 ★★★★☆
09.10.2-006 状态后端有哪些 进阶 ★★★★☆
09.10.2-007 窗口 Window 类型 进阶 ★★★★☆
09.10.2-008 Flink 如何保证 Exactly-Once 高级 ★★★★★
09.10.2-009 对齐与非对齐 Checkpoint 高级 ★★★☆☆
09.10.2-010 Flink 反压怎么处理 进阶 ★★★★☆

一句话结论

Flink 集群由 JobManager(作业管理器,负责调度、Checkpoint 协调)和 TaskManager(任务管理器,负责执行 Task、管理状态)组成;客户端提交 JobGraph 给 JobManager,JobManager 调度到 TaskManager 上执行;Task 之间通过数据流(Stream Record)连接。

概念解释

  • JobManager:一个或多个(HA),负责作业调度、Checkpoint 协调、故障恢复。
  • TaskManager:工作节点,JVM 进程,跑 Task,管理内存和状态。
  • JobGraph:客户端生成的执行图,包含 Source、Transformation、Sink。

原理流程

客户端 → JobGraph → JobManager
  → JobManager 调度到 TaskManager
  → TaskManager 跑 Task
  → Task 间通过 Record 流连接

代码或图示

Flink 架构:
  Client → JobManager(JobMaster)
             ├─ TaskManager 1(跑多个 Task Slot)
             ├─ TaskManager 2
             └─ TaskManager 3

常见误区

  • 误区:JobManager 执行计算。JobManager 是调度器,计算在 TaskManager 上跑。
  • 误区:TaskManager 是线程。TaskManager 是 JVM 进程,内含多个 Slot(线程资源)。

追问

  • 问:JobManager HA 怎么做?答:基于 ZooKeeper 或 Kubernetes,选主Standby JobManager。
  • 问:Slot 是什么?答:TaskManager 上的资源单位,一个 Slot 跑一个 Task 子图,SlotSharing 可共享。

一句话结论

Flink Checkpoint 是分布式快照:JobManager 周期性向 Source 注入 Checkpoint Barrier,Barrier 随数据流向下游流动;每个算子收到 Barrier 时,把自己的状态快照到持久化存储(HDFS/S3);所有算子都完成快照,Checkpoint 完成;故障时从最近 Checkpoint 恢复状态并重放数据。

概念解释

  • 分布式快照:所有算子的状态一致性快照。
  • Barrier:随数据流传播的标记,把数据流分成"Checkpoint 前"和"Checkpoint 后"。
  • 状态快照:算子把当前状态写到持久化存储。

原理流程

1. JobManager 向 Source 注入 Barrier n
2. Source 收到 Barrier n → 快照自己的状态 → 继续传 Barrier n
3. 下游算子收到 Barrier n(多输入时等所有输入的 Barrier n)
   → 快照自己的状态 → 继续传 Barrier n
4. 所有算子快照完成 → Checkpoint n 完成
5. 故障时 → 从 Checkpoint n 恢复状态,Source 重放 Barrier n 之后的数据

代码或图示

Barrier 流:
  Source → [Barrier 1] → OpA → [Barrier 1] → OpB → [Barrier 1] → Sink
  每个算子收到 Barrier 1 时快照状态

常见误区

  • 误区:Checkpoint 是同步阻塞。Barrier 随数据流流动,算子快照时不阻塞数据流(异步快照)。
  • 误区:Checkpoint 失败作业就挂。Checkpoint 失败会重试,连续失败才触发作业失败。

追问

  • 问:Checkpoint 间隔多久?答:秒级到分钟级,间隔越短恢复越快但开销越大。
  • 问:Checkpoint 存哪里?答:HDFS、S3、RocksDB,详见状态后端。

09.10.2-003 Checkpoint Barrier 是什么?

一句话结论

Barrier 是 Checkpoint 协调器注入数据流的标记,随 Record 一起流动;Barrier n 把数据流分成"Barrier n 之前的数据"和"Barrier n 之后的数据";算子收到 Barrier n 表示"所有属于快照 n 的输入都到齐了",可以快照状态。

概念解释

  • Barrier:特殊 Record,不携带业务数据,只标记快照点。
  • 对齐:多输入算子等所有输入的 Barrier n 到齐,才快照。
  • 顺序:Barrier 在数据流中有序,Barrier n 在 Barrier n+1 之前。

原理流程

单输入算子:
  收到 Barrier n → 快照状态 → 发 Barrier n 给下游
多输入算子:
  等输入 1 的 Barrier n 和输入 2 的 Barrier n 都到齐
  → 快照 → 发 Barrier n

代码或图示

多输入对齐:
  input1: R1, R2, [Barrier n], R3
  input2: R5, [Barrier n], R6, R7
  算子等 input1 和 input2 的 Barrier n 都到
  → 快照(包含 R1, R2, R5 的处理结果)
  → 处理 R3, R6, R7

常见误区

  • 误区:Barrier 阻塞数据流。Barrier 是标记,随 Record 流动,不阻塞。
  • 误区:多输入算子收到一个 Barrier 就快照。要等所有输入的 Barrier 到齐才快照,这就是对齐。

追问

  • 问:对齐时间长怎么办?答:反压时 Barrier 传播慢,用非对齐 Checkpoint(Unaligned Checkpoint),详见 09.10.2-009。
  • 问:Barrier 多久注入一次?答:由 Checkpoint 间隔决定,例如每秒一个。

09.10.2-004 Watermark 怎么处理乱序事件?

一句话结论

Watermark 是 Flink 处理乱序事件的机制:Source 或算子在数据流中插入 Watermark(t),表示"时间戳 <= t 的事件都应该到齐了";算子收到 Watermark(t) 后,触发所有时间窗口 end <= t 的窗口计算;Watermark 允许延迟窗口关闭,迟到的事件走侧输出(side output)或丢弃。

概念解释

  • Watermark(t):声明事件时间 <= t 的事件已到齐。
  • 窗口:按事件时间分组,Watermark 触发窗口计算。
  • 乱序:事件到达顺序与时间戳顺序不一致,Watermark 容忍一定程度的乱序。

原理流程

事件流(时间戳):
  (1, "A"), (3, "B"), (2, "C"), Watermark(4)
  → Watermark(4) 表示时间戳 <= 4 的事件到齐
  → 触发窗口 [0, 5) 的计算
  → 事件 (2, "C") 虽然晚到,但在 Watermark(4) 之前,已被窗口接收

代码或图示

Watermark 生成:
  周期性插入 Watermark(t = 当前最大事件时间 - 允许乱序延迟)
  例如:允许 5 秒乱序,当前最大事件时间 100s → Watermark(95s)

常见误区

  • 误区:Watermark 是物理时间。Watermark 基于事件时间,不是处理时间。
  • 误区:Watermark 一到窗口就立刻关闭。Watermark(t) 触发 end <= t 的窗口,迟到事件(时间戳 < Watermark)走侧输出。

追问

  • 问:迟到事件怎么处理?答:allowedLateness 允许窗口等待一段时间,超过后走 side output。
  • 问:Watermark 怎么生成?答:Source 周期性生成,或用 WatermarkStrategy.withBoundedOutOfOrderness(Duration)。

09.10.2-005 Keyed State 和 Operator State 有什么区别?

一句话结论

Keyed State 是按 key 分区的状态,每个 key 一份(例如每个用户的计数),只能在 KeyedStream 上使用;Operator State 是每个并行子任务一份,与 key 无关(例如 Kafka Consumer 的 offset);Keyed State 随 key 分发,Operator State 随并行度变化重新分配。

概念解释

  • Keyed State:key 分区,每个 key 一份状态,RocksDB/Heap 存储。
  • Operator State:算子并行子任务一份,例如 Kafka offset。
  • 广播状态:特殊的 Operator State,所有并行子任务都持有相同数据。

原理流程

Keyed State:
  stream.keyBy(user_id).process(...)
  → 每个 user_id 一份状态
Operator State:
  Kafka Source:每个并行子任务持有自己的分区 offset

代码或图示

Keyed State 类型:
  ValueState<T>:单值
  ListState<T>:列表
  MapState<K, V>:映射
Operator State:
  KafkaSource 每个 subtask 记录消费的 partition offset

常见误区

  • 误区:Keyed State 和 Operator State 可以互换。Keyed State 按 key 分区,Operator State 按并行子任务分区,使用场景不同。
  • 误区:Keyed State 随并行度变化自动重分配。Keyed State 通过 Key Group 重新分配,详见 Flink 文档。

追问

  • 问:Keyed State 多大?答:取决于 key 数量和状态大小,RocksDB 状态后端支持大状态(TB 级)。
  • 问:状态怎么清理?答:TTL(Time-To-Live)自动清理过期 key。

09.10.2-006 状态后端有哪些?

一句话结论

Flink 状态后端有三种:HashMapStateBackend(堆内存存储,快但受内存限制)、RocksDBStateBackend(嵌入式 RocksDB,支持大状态,异步快照)、EmbeddedRocksDBStateBackend(RocksDB 的新名称);生产用 RocksDB,开发测试用 Heap。

概念解释

  • Heap StateBackend:状态在 JVM 堆内存,快但受 GC 影响。
  • RocksDBStateBackend:状态在 RocksDB(本地磁盘),异步快照到 HDFS/S3,支持大状态。
  • 选择:状态小用 Heap,状态大用 RocksDB。

原理流程

Heap:
  状态在 JVM 堆 → 快,但受内存限制,GC 压力大
RocksDB:
  状态在本地 RocksDB(磁盘)→ 大状态,但序列化/反序列化开销
  → 异步快照到 HDFS

代码或图示

RocksDB 特点:
  - 支持 TB 级状态
  - 增量 Checkpoint(只传变化部分)
  - 异步快照,不阻塞数据流

常见误区

  • 误区:RocksDB 比 Heap 快。RocksDB 有序列化开销,小状态 Heap 更快;大状态 RocksDB 不受内存限制。
  • 误区:状态后端决定容错。状态后端决定存储方式,容错由 Checkpoint 机制保证。

追问

  • 问:增量 Checkpoint?答:RocksDB 支持,只传变化的 SST 文件,减少快照时间。
  • 问:状态多大用 RocksDB?答:GB 级以上,或 Keyed State 很大时。

09.10.2-007 窗口 Window 有哪些类型?

一句话结论

Flink 窗口按分配方式分:Tumbling Window(滚动窗口,不重叠)、Sliding Window(滑动窗口,有重叠)、Session Window(会话窗口,按空闲间隔切分);按时间语义分:Event Time(事件时间)和 Processing Time(处理时间)。

概念解释

  • Tumbling:固定大小,不重叠,例如每小时一个窗口。
  • Sliding:固定大小 + 滑动步长,有重叠,例如每 5 分钟统计过去 1 小时。
  • Session:按活动间隔切分,例如 30 分钟无活动就切窗口。

原理流程

Tumbling [0,10), [10,20), [20,30)
Sliding 步长 5,窗口大小 10:[0,10), [5,15), [10,20)
Session 间隔 30min:用户活动连续段,30min 无活动结束窗口

代码或图示

stream.keyBy(id)
      .window(TumblingEventTimeWindows.of(Time.hours(1)))
      .aggregate(...)

常见误区

  • 误区:窗口是按处理时间。生产用 Event Time(事件时间),处理时间只用于简单统计。
  • 误区:Session Window 有固定大小。Session 窗口大小由数据分布决定,不是固定的。

追问

  • 问:窗口函数有哪些?答:ReduceFunction、AggregateFunction、ProcessWindowFunction。
  • 问:迟到事件怎么处理?答:allowedLateness 允许窗口延迟关闭,side output 收集迟到事件。

一句话结论

Flink 通过 Checkpoint 机制保证端到端 Exactly-Once:每个 Checkpoint 是一致性快照,故障时从最近 Checkpoint 恢复;Source 重放 Barrier 之后的数据,Sink 根据 Checkpoint 完成情况提交(两阶段提交);只要 Source 可重放、Sink 支持两阶段提交或幂等,就能端到端 Exactly-Once。

概念解释

  • 一致性快照:Checkpoint 保证所有算子状态一致。
  • Source 可重放:Kafka offset 在 Checkpoint 中记录,恢复时从该 offset 消费。
  • Sink 两阶段提交:Sink 在 Checkpoint 完成时提交数据(详见 09.10.5)。

原理流程

正常运行:
  Source → Op → Op → Sink
  Checkpoint n 快照所有算子状态
故障恢复:
  从 Checkpoint n 恢复
  → Source 从 Checkpoint n 记录的 offset 重放
  → 算子状态从快照恢复
  → Sink 根据 Checkpoint 完成状态决定提交还是回滚

代码或图示

端到端 Exactly-Once 条件:
  1. 分布式 Checkpoint 一致性(Flink 保证)
  2. Source 可重放(Kafka offset 可重置)
  3. Sink 支持两阶段提交或幂等

常见误区

  • 误区:Flink 自动保证端到端 Exactly-Once。Flink 保证内部状态一致,但 Sink 需要配合(两阶段提交或幂等),详见 09.10.5。
  • 误区:Checkpoint 间隔越短 Exactly-Once 越好。间隔短恢复快但开销大,按业务容忍度设。

追问

  • 问:At-most-once?答:不启用 Checkpoint,故障不恢复,最多处理一次。
  • 问:At-least-once?答:启用 Checkpoint 但 Sink 不两阶段提交,可能重复,详见 09.10.5。

09.10.2-009 对齐与非对齐 Checkpoint 有什么区别?

一句话结论

对齐 Checkpoint 要求多输入算子等所有输入的 Barrier 到齐才快照,反压时 Barrier 传播慢,Checkpoint 时间长;非对齐 Checkpoint(Unaligned Checkpoint)允许算子先快照,把 Barrier 后的数据暂存到下游,不等所有输入对齐,减少反压时的 Checkpoint 时间。

概念解释

  • 对齐:等所有输入 Barrier 到齐再快照,反压时慢。
  • 非对齐:Barrier 一到就快照,中间缓存的数据随 Barrier 传递。
  • 适用:反压严重、Checkpoint 时间长的场景。

原理流程

对齐:
  多输入算子等所有 Barrier n → 快照
  反压时 Barrier 传播慢,Checkpoint 超时
非对齐:
  Barrier n 一到就快照
  → Barrier 后的数据缓存到下游
  → 不等其他输入的 Barrier

代码或图示

非对齐 Checkpoint:
  算子快照时,把 in-flight 数据(Barrier 后到达的)
  一并记录到 Checkpoint
  → 恢复时从这些 in-flight 数据继续

常见误区

  • 误区:非对齐 Checkpoint 更精确。非对齐是为了减少反压时的 Checkpoint 时间,状态大小更大(含 in-flight 数据)。
  • 误区:所有场景都用非对齐。反压不严重时,对齐 Checkpoint 状态更小,开销更低。

追问

  • 问:什么时候用非对齐?答:反压导致 Checkpoint 频繁超时,作业无法完成 Checkpoint 时。
  • 问:非对齐 Checkpoint 的代价?答:状态更大(含 in-flight 数据),恢复时数据更多。

一句话结论

反压是下游处理速度跟不上上游数据产生速度,导致上游缓冲堆积;Flink 反压通过信用机制(credit-based)在输出缓冲区传递,上游根据下游可用信用决定是否发送;反压时要定位瓶颈算子,优化资源、增加并行度、或优化业务逻辑。

概念解释

  • 反压:下游慢,上游缓冲堆积。
  • 信用机制:下游告知上游可用缓冲区数量,上游据此发送。
  • 定位:Flink Web UI 显示反压状态,找到瓶颈算子。

原理流程

反压传播:
  Sink 慢 → 上游算子输出缓冲区满 → 再上游缓冲区满
  → 一直传播到 Source
定位:
  Web UI 看哪个算子 backPressured=High
  → 优化该算子

代码或图示

反压指标:
  ok:0% 反压
  low:反压时间占比 < 50%
  high:反压时间占比 > 50%

常见误区

  • 误区:反压增加并行度就解决。增加并行度如果瓶颈在状态大小或外部依赖,不一定有效。
  • 误区:反压是 Flink 的问题。反压通常是业务逻辑慢(外部调用、状态过大、数据倾斜)。

追问

  • 问:怎么定位反压?答:Flink Web UI 看每个算子的 backPressured、busy、outputQueueLatency,找到瓶颈。
  • 问:常见反压原因?答:外部数据库写入慢、状态过大(RocksDB)、数据倾斜、窗口计算慢。

待整理清单

  • [ ] Flink Checkpoint 调优参数
  • [ ] RocksDB 状态后端配置
  • [ ] Flink SQL 与 DataStream 对照