罗罗编程学习记录
本页内容 展开查看

09.4.1.2 Kafka 架构与存储消费模型

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.4 消息队列 / 09.4.1 消息队列与事件驱动

09.4.1.2-001 Kafka 集群由哪些角色组成?

一句话结论

Broker 是消息存储与服务节点;Controller 负责元数据管理与分区领导选举;早期依赖 ZooKeeper 协调元数据,新版本可采用 KRaft 内置元数据管理;生产者写分区副本,消费者从分区拉取。

概念解释

  • Broker:接收写入、存储日志、响应消费的服务节点。
  • Controller:感知节点上下线,管理分区副本与 leader 选举。
  • 元数据协调:ZooKeeper 或 KRaft(版本相关,以官方发布说明为准)。

原理流程

生产者 → Broker(分区 leader)
Controller 监控节点 → 选举/迁移分区 leader
消费者 → Broker 拉取分区消息

常见误区

  • 误区:Broker 之间点对点转发消息。消息存储在各分区副本所在 Broker,不是 Broker 间路由投递。
  • 误区:Controller 存业务消息。Controller 只管理元数据与选举,业务数据在 Broker 日志中。

追问

  • 问:Controller 故障怎么办?答:集群内选举新 Controller 接管元数据管理,版本不同实现机制不同。
  • 问:ZK 与 KRaft 区别?答:KRaft 把元数据管理内置到 Kafka 集群,减少外部依赖;具体迁移与版本支持以官方文档为准。

09.4.1.2-002 Topic 与 Partition 的作用?

一句话结论

Topic 是消息逻辑分类,Partition 是 Topic 的并行分片;分区让读写可以并行横向扩展,同时是顺序与并发的边界;分区数决定该 Topic 的最大消费并行度。

概念解释

  • Topic:一类业务消息的集合,如订单事件、支付流水。
  • Partition:物理日志分片,独立追加写入。
  • 并行:生产者写入与消费者消费都按分区并行。

原理流程

Topic → 拆成 N 个 Partition
  消息按 key 哈希落入分区
  消费者组内实例各负责一部分分区

常见误区

  • 误区:分区越多吞吐越高。分区过多增加文件句柄、副本同步与选举开销,收益递减,要按吞吐与消费者规模设定。
  • 误区:跨分区消息有全局顺序。只保证分区内有序,分区之间无序。

追问

  • 问:分区数怎么定?答:按目标消费并行度、吞吐与副本开销估算,可后续扩容但分区增加不能缩小。
  • 问:同一 key 为什么要固定分区?答:保证同业务键消息进同一分区,维持状态变更顺序。

09.4.1.2-003 副本 leader、follower 与 ISR 是什么?

一句话结论

每个分区有一个 leader 副本处理读写,多个 follower 副本同步复制;ISR(同步副本集合)是跟上 leader 进度的副本列表;leader 故障时从 ISR 中选举新 leader,落后过多的副本被移出 ISR。

概念解释

  • leader:对外服务的副本,生产者与消费者都走它。
  • follower:拉取 leader 日志做冗余备份。
  • ISR:与 leader 保持同步的副本集合,是可提升候选。

原理流程

leader 写入 → follower 拉取复制
  进度落后超阈值 → 移出 ISR
  leader 故障 → 从 ISR 选举新 leader

常见误区

  • 误区:follower 也能接写请求。写入统一经 leader,follower 只复制;读副本是可选扩展能力,默认消费者读 leader。
  • 误区:所有副本都能被选举。落后未同步的副本不在 ISR,提升会丢数据,不参与选举。

追问

  • 问:副本数怎么设?答:可靠性要求高的主题配多副本,副本占用相同磁盘与网络资源。
  • 问:ISR 收缩说明什么?答: follower 同步跟不上,可能是节点负载、网络或磁盘瓶颈,需要监控。

09.4.1.2-004 Offset 是什么,顺序边界在哪?

一句话结论

Offset 是消息在分区日志中的编号,从 0 递增;分区内消息按 offset 顺序排列,消费者用 offset 标记消费进度;顺序保证只在单个分区内有效,不同分区的 offset 互不关联。

概念解释

  • 偏移量:分区内每条消息的唯一序号。
  • 进度:消费者提交已处理到的 offset。
  • 边界:分区内有序,跨分区无序。

原理流程

消息写入分区 → 分配递增 offset
  消费者拉取 → 处理 → 提交 offset
  重平衡后从提交位点继续

常见误区

  • 误区:offset 是全局消息序号。每个分区独立编号,不同分区 offset 互不连续。
  • 误区:提交 offset 等于消息处理成功。要在业务处理完成后再提交,否则未处理完就提交会丢消息。

追问

  • 问:重复消费从哪里开始?答:位点提交失败或重平衡后,从上一个已提交 offset 重新拉取。
  • 问:消息顺序怎么对应 offset?答:同 key 进同分区,按写入顺序分配 offset,消费按 offset 递增处理。

09.4.1.2-005 段文件(Log Segment)怎么组织?

一句话结论

分区日志由多个段文件组成:.log 存消息体,.index 与 .timeindex 做偏移量与时间戳稀疏索引;段按大小/时间滚动生成,旧段可按留存策略删除;索引用于在段内快速定位消息。

概念解释

  • 日志段:分区日志切片,避免单文件无限增长。
  • 偏移索引:稀疏记录 offset 到文件位置的映射。
  • 时间索引:按时间戳定位对应 offset,支持按时间查找。

原理流程

新消息追加当前活跃段
  → 段达大小/时间阈值 → 滚动新段
  → 查询按 offset/时间戳先定段,再段内顺序扫描

常见误区

  • 误区:每条消息都有完整索引条目。索引是稀疏的,定位到附近位置后顺序扫描少量消息。
  • 误区:段文件可以随便合并清理。段受留存策略与副本同步约束,清理由 Broker 统一管理。

追问

  • 问:为什么顺序写段文件快?答:追加写连续磁盘块,避免随机寻道,配合页缓存提升吞吐。
  • 问:按时间查消息怎么实现?答:时间戳索引定位到段,再找对应 offset 区间。

09.4.1.2-006 为什么 Kafka 能做到高吞吐?

一句话结论

高吞吐来自分区并行、顺序追加写磁盘、批量发送与压缩、页缓存与零拷贝;批量与顺序把随机 IO 转成顺序 IO,分区把负载分散到多节点;这些设计以批量与留存为代价换取吞吐。

概念解释

  • 顺序写:日志追加,不随机修改磁盘位置。
  • 批量:消息攒批发送与写入,摊薄网络与磁盘开销。
  • 零拷贝:消费读取时数据从内核页缓存直接到网络,减少用户态拷贝。

原理流程

生产批量 → 分区顺序追加
  消费 → 零拷贝从页缓存送网络
  多分区并行 → 集群水平扩展吞吐

常见误区

  • 误区:高吞吐全靠内存。磁盘顺序写与批量是基础,页缓存只是加速;消息仍落盘留存。
  • 误区:开启批量就一定快。批次过大增加延迟与重试成本,批量大小要按吞吐与延迟权衡。

追问

  • 问:零拷贝减少了什么?答:省去内核到用户态再回内核的重复拷贝,直接将文件页缓存数据发送到 socket。
  • 问:压缩在哪一层做?答:生产者按批次压缩,Broker 存储压缩格式,消费端解压,减少磁盘与网络占用。

09.4.1.2-007 生产者分区策略有哪些?

一句话结论

有 key 时按 key 哈希选分区;无 key 时按轮询或粘性分区(同一批次集中到一个分区)策略选择;分区策略决定负载分布与同键顺序,自定义策略可按业务标签路由。

概念解释

  • key 哈希:相同 key 落同一分区,保证顺序。
  • 轮询:无 key 消息均匀分散。
  • 粘性:无 key 消息攒批时尽量放同一分区,提升批量效率。

原理流程(伪代码)

if key != null: partition = hash(key) % N
else: 轮询 / 粘性选择分区
自定义:按业务标签或策略路由

常见误区

  • 误区:hash(key) 用任意字符串哈希就行。哈希要均匀,避免热点 key 集中到少数分区。
  • 误区:同一业务键有时带 key 有时不带。不带 key 时可能被分到其他分区,破坏同键顺序。

追问

  • 问:分区数变化后 key 路由会变吗?答:哈希取模基数变化会重新分布,扩分区后 key 可能换分区,迁移期要注意顺序与重复。
  • 问:怎么保证顺序消息同分区?答:顺序相关字段作为 key,且不使用随机分区策略覆盖它。

09.4.1.2-008 消费者组分区分配策略有哪些?

一句话结论

组内消费者与分区的分配策略常见有 Range(按主题区间)、RoundRobin(轮询)、Sticky(尽量均衡且减少重平衡变动)、Cooperative(协作式重平衡);分配策略影响并行度、负载均衡与重平衡开销。

概念解释

  • Range:按主题把分区区间分给消费者。
  • RoundRobin:所有分区轮询分配。
  • Sticky:尽量保持原有分配,重平衡时移动最少分区。
  • Cooperative:逐步迁移分区,减少停止消费的窗口。

原理流程

组成员确定 → 按策略分配分区
  每个分区同一时刻只归组内一个消费者
  成员变化 → 重新分配(重平衡)

常见误区

  • 误区:消费者数可以超过分区数。超出的实例分不到分区,处于空闲状态。
  • 误区:分配策略只影响初次分配。成员上下线触发重平衡,策略决定重平衡时分区移动范围与停顿。

追问

  • 问:重平衡期间会发生什么?答:组内消费者暂停消费,重新分配分区;会话超时配置影响触发时机。
  • 问:多主题时 Range 可能不均?答:按主题区间分配在多主题下可能倾斜,RoundRobin/Sticky 更均衡。

09.4.1.2-009 Rebalance 什么时候触发,有什么影响?

一句话结论

消费者组成员加入/离开、订阅主题变化、分区数变化、消费者心跳会话超时都会触发重平衡;重平衡期间组内暂停消费、重新分配分区,造成消费停顿与位点重复,频繁重平衡会压低吞吐。

概念解释

  • 触发:成员增减、故障掉线、主题/分区变更。
  • 过程:消费者协调者收集成员,重新分配分区,各自开始消费。
  • 影响:停顿、重复拉取、临时吞吐下降。

原理流程

成员掉线/加入 → 触发 rebalance
  → 暂停消费 → 重新分配分区
  → 从已提交位点继续 → 重复窗口内消息

常见误区

  • 误区:重平衡是故障才发生。正常扩缩容、发布重启也会触发,要把停顿纳入容量与 SLA 评估。
  • 误区:会话超时越短越好。过短会把正常处理慢的消费者误判掉线,引发频繁重平衡。

追问

  • 问:怎么减少重平衡影响?答:稳定部署、合理心跳与会话超时、用协作式重平衡、控制消费者实例变更频率。
  • 问:重平衡后消息会丢吗?答:已提交位点保留,未提交部分重新消费;不会因重平衡主动丢消息,但可能重复。

09.4.1.2-010 消费位点怎么提交,自动与手动的区别?

一句话结论

位点提交记录已处理进度;自动提交按周期提交,实现简单但可能未处理完就提交导致丢失;手动提交在业务处理成功后提交,失败不提交以便重投;关键业务应手动控制提交时机。

概念解释

  • 自动提交:客户端周期自动 commit offset,中途崩溃可能丢未处理消息。
  • 手动提交:处理完一批/一条后显式提交,重复风险可控。
  • 提交时机:决定重复消费窗口与丢失风险的边界。

原理流程(伪代码)

拉取一批 → 逐条业务处理
  全部成功 → 提交 offset
  失败 → 不提交,等待重投
自动模式:后台周期提交,不等待业务完成

常见误区

  • 误区:先提交再处理业务。崩溃时消息未处理但位点已前进,造成丢失。
  • 误区:手动提交就不会重复。处理成功但提交前崩溃,重启后仍会重复拉取,需要业务幂等兜底。

追问

  • 问:批量处理怎么提交位点?答:整批成功再提交该批末尾位点;部分失败时整批重投或按成功边界提交,注意重复。
  • 问:位点存哪?答:消费者组位点存在 Broker 内部主题(__consumer_offsets),不依赖本地文件。

09.4.1.2-011 消息留存与清理策略?

一句话结论

Kafka 消息按留存时间或大小保留,到期/超量删除旧段;日志压缩(compact)按 key 保留最新值,适合变更事件流;留存策略决定可回放窗口与磁盘占用,清理不影响未消费的活跃分区进度判断。

概念解释

  • delete:按时间/大小删除最旧消息。
  • compact:同 key 只保留最新快照,清理历史变更。
  • 回放:留存窗口内消息可重新消费重建状态。

原理流程

段到期/超磁盘水位 → delete 清理旧段
compact:按 key 合并,保留最新值
消费者位点落后不影响留存清理节奏

常见误区

  • 误区:消息被消费后就删除。Kafka 是日志留存模型,消费不删除消息,按留存策略清理。
  • 误区:积压太久消息还能放心消费。超过留存窗口的旧消息已被清理,位点可能越界。

追问

  • 问: compact 适合什么主题?答:对象状态变更事件,只关心最新值;流水/日志类用 delete。
  • 问:留存时间怎么定?答:按回放需求、磁盘容量与下游积压恢复窗口评估。

09.4.1.2-012 副本同步、HW 与 LEO 是什么?

一句话结论

LEO(Log End Offset)是副本日志末尾下一条待写入的偏移;HW(High Watermark,高水位)是副本集群中已提交可见的最大偏移,消费者只能读到 HW 以下;follower 同步追上 leader 后 HW 推进。

概念解释

  • LEO:各副本本地日志末尾位置。
  • HW:已提交、对消费者可见的边界。
  • 可见性:HW 之前的消息确认已在足够副本中留存。

原理流程

leader 写入 → 副本同步各自 LEO
  → 多数副本追上 → HW 推进
  → 消费者只读 HW 以下消息

常见误区

  • 误区:生产者写入 leader 后消费者立即可见。未同步到足够副本前消息在 HW 之上,不可见。
  • 误区:HW 等于 leader 的 LEO。HW 取决于同步副本进度,通常落后于 leader LEO。

追问

  • 问:HW 推进慢说明什么?答:副本同步延迟或 ISR 不足,可能影响可见性与可靠性。
  • 问:leader 切换后 HW 怎么处理?答:新 leader 从其日志与同步状态恢复,旧副本按新 leader 对齐。

09.4.1.2-013 ISR 收缩与 leader 选举怎么发生?

一句话结论

follower 长时间跟不上 leader 被移出 ISR;leader 故障时,Controller 从 ISR 副本中选举新 leader;不在 ISR 的副本数据落后,不参与选举以避免丢数据;选举后其余副本向新 leader 同步。

概念解释

  • 收缩:副本同步延迟超阈值被判定落后。
  • 选举:ISR 内候选按规则提升。
  • 追赶:新 leader 确定后,旧 follower 重新同步。

原理流程

follower 落后 → 移出 ISR
leader 故障 → ISR 内选举新 leader
  → 其他副本复制新 leader 日志

常见误区

  • 误区:任何副本都能当 leader。落后副本不在 ISR,提升会丢失未同步消息。
  • 误区:ISR 少于副本数没有风险。可用冗余下降,故障时可提升候选变少,需要监控告警。

追问

  • 问:怎么判断副本在 ISR?答:查主题分区副本状态与 ISR 列表命令(具体命令按版本确认)。
  • 问:ISR 持续收缩怎么排查?答: follower 节点 CPU/磁盘/网络、复制流量、Broker 负载。

09.4.1.2-014 怎么查看消费积压(lag)?

一句话结论

用消费者组描述命令查看各分区最新 offset 与已提交位点,lag = 最新 offset − 已提交 offset;按分区与主题汇总,定位积压在哪些分区、是生产突增还是消费变慢。常用命令形式为 kafka-consumer-groups.sh --bootstrap-server <host> --group <group> --describe。

概念解释

  • 当前 offset:分区最新消息位置(LEO)。
  • 消费 offset:组已提交位点。
  • lag:两者差值,即未消费消息数。

原理流程(命令与计算)

kafka-consumer-groups.sh --describe --group <group>
  输出:分区 / 当前 offset / 消费 offset / lag
lag = 当前 offset − 消费 offset

常见误区

  • 误区:只看主题总 lag。分区级 lag 能定位热点分区与倾斜,总量掩盖局部积压。
  • 误区:lag 下降就代表消费正常。可能是消费者下线导致位点不动,要结合组成员状态判断。

追问

  • 问:命令在 Windows 环境怎么跑?答:用对应发行版的 bin 脚本或可执行文件,参数口径以版本为准;不要编造具体路径。
  • 问:lag 单位是什么?答:消息条数;结合单条大小可估算积压字节量与磁盘占用。

09.4.1.2-015 分区数与消费并行度什么关系?

一句话结论

同一消费者组内,一个分区同一时刻只能被一个消费者实例消费,因此组内并行度上限等于分区数;分区不足时加消费者无法提速;分区过多则增加开销与重平衡复杂度,规划时按目标消费并发与吞吐设定。

概念解释

  • 上限:消费者实例数 ≤ 分区数才有并行收益。
  • 冗余:超过分区数的实例空闲待命。
  • 规划:分区数 = 目标并行消费者数 + 冗余与增长空间。

原理流程

N 个分区 → 组内最多 N 个实例并行消费
  消费者 > N → 多余实例空闲
  分区不足 → 先扩分区再扩消费者

常见误区

  • 误区:加消费者就能提升消费速度。分区是并行边界,分区不扩,实例再多也分不到任务。
  • 误区:分区一次性设越大越好。分区过多带来文件、副本同步与选举开销,扩容容易缩容难。

追问

  • 问:扩分区有什么副作用?答:key 哈希分布改变,同键消息可能换分区,顺序与重复消费要评估。
  • 问:单分区处理能力怎么估?答:压测单分区读写 RT 与吞吐,再结合目标总吞吐反推分区数。

09.4.1.2-016 消息大小与 batch 配置怎么权衡?

一句话结论

批次大小影响吞吐与延迟:批次大摊薄往返与压缩成本,但攒批等待拉高单条延迟,失败重投成本也高;消息体过大增加网络、磁盘与解压开销;配置按吞吐目标、RT 要求与单条大小压测确定,不照搬默认值。

概念解释

  • batch:生产者攒批发送,消费者批量拉取。
  • 消息大小:序列化后字节数,影响单条成本。
  • 权衡:吞吐 vs 延迟 vs 重试成本。

原理流程(估算思路)

吞吐 = 批次大小 / 批次间隔
延迟 ≈ 批次等待时间 + 单条处理时间
消息体过大 → 拆分消息或引用详情 ID

常见误区

  • 误区:batch 越大吞吐越高越好。过大批次在消费者失败时整批重投,重试放大更严重。
  • 误区:消息体只存业务字段就行。序列化格式、嵌套对象与字符串冗余都会放大体积,应精简载荷。

追问

  • 问:大消息怎么处理?答:消息里放对象 ID 与摘要,大对象存对象存储/DB,消费者按需取回。
  • 问:批量消费失败怎么回退?答:整批不提交,重投整批;或按成功边界提交,配合幂等处理重复部分。

09.4.1.2-017 Kafka 限流与配额有什么机制?

一句话结论

Broker 可按生产者/消费者配额限制读写字节速率,防止单一客户端挤占集群带宽;配额、限流相关参数名称与默认值随版本变化,使用时以所用版本官方配置文档为准,不凭记忆编造数值。

概念解释

  • 配额:按客户端/用户限定生产或消费速率。
  • 作用:多租户隔离,防止单个主题/客户端打满集群。
  • 层级:Broker 级配额,业务侧也可在生产入口限流。

原理流程

客户端写入/读取超配额 → Broker 限速等待
  → 保护集群整体带宽与其他客户端

常见误区

  • 误区:Kafka 不需要业务限流。配额保护集群,业务突发仍可能造成下游消费积压,入口限流要配合。
  • 误区:配额参数所有版本一致。版本间配置项与默认值可能调整,上线前核对文档。

追问

  • 问:配额触发后客户端表现?答:通常被限速等待,持续超限可能影响发送延迟,需要监控客户端发送 RT。
  • 问:业务侧限流放哪?答:生产入口按下游消费能力控制发送,Broker 配额作为集群兜底。

09.4.1.2-018 典型部署与扩容观察项?

一句话结论

部署观察:Broker 数量与副本分布、分区 leader 均衡、磁盘利用率与网络带宽、ISR 状态、消费 lag;扩容时加 Broker、迁移分区副本,观察负载均衡、复制延迟与重平衡影响;扩容后核对分区分布与消费并行度。

概念解释

  • 均衡:leader 与副本在节点间均匀分布。
  • 资源:磁盘、网络、CPU、内存水位。
  • 健康:ISR 完整、无离线副本、lag 受控。

原理流程

扩容加入新 Broker
  → 迁移部分分区副本到新节点
  → 观察负载/复制延迟/lag
  → 确认均衡后继续迁移

常见误区

  • 误区:加 Broker 自动均衡分区。分区与副本需要迁移调度,不会自动从老节点搬空。
  • 误区:扩容只看磁盘空间。网络带宽与副本同步流量同样可能成为瓶颈。

追问

  • 问:leader 倾斜怎么发现?答:对比各 Broker 的生产/消费 QPS 与 leader 分区数,不均衡时重分配 leader。
  • 问:扩容期间注意什么?答:低峰迁移,控制迁移流量,观察副本同步延迟与消费者重平衡。

09.4.1.2-019 消费者崩溃或重启会发生什么?

一句话结论

消费者宕机后心跳超时退出组,触发重平衡,其分区分给其他成员,从未提交位点重新消费;已提交位点保留,未提交部分重复;重启后作为新成员加入组,重新分配分区;重复消费由业务幂等保证安全。

概念解释

  • 掉线判定:会话/心跳超时。
  • 重平衡:分区重新分配。
  • 重复窗口:上次提交位点到崩溃前处理的消息。

原理流程

消费者崩溃 → 组判定掉线 → 重平衡
  → 分区移交 → 新所有者从提交位点消费
  → 重复消息 → 业务幂等去重

常见误区

  • 误区:重启后从最后处理的消息继续。位点以提交为准,未提交部分会重新拉取。
  • 误区:崩溃会丢失位点。位点存在 Broker 组元数据中,不随消费者本地文件丢失。

追问

  • 问:怎么缩小重复窗口?答:处理完及时提交、控制批量大小、业务做好幂等。
  • 问:反复崩溃怎么排查?答:看消费异常、GC、下游 RT 与实例资源,避免重平衡雪崩。

09.4.1.2-020 Kafka 消息链路怎么端到端核对?

一句话结论

端到端核对:生产确认是否写入、副本是否同步、消费者是否拉取并提交、业务是否处理成功;用消息 ID/业务键串联生产日志、Broker 位点与消费记录,定位丢失、重复或积压出现在哪一环。

概念解释

  • 生产环:发送确认与写入 offset。
  • 存储环:副本同步与 HW。
  • 消费环:拉取、处理、提交与业务结果。

原理流程

消息 ID 贯穿:生产记录 → Broker 写入位点 → 消费拉取/提交 → 业务结果
  异常环节:对照各环记录定位丢失/重复/积压

常见误区

  • 误区:消费日志没有记录就是没收到。要先查 Broker 是否有该消息与位点,再判断是生产未写入还是消费未拉取。
  • 误区:位点提交了业务就成功。提交只代表消费进度,业务结果要单独核对,两者不能互相替代。

追问

  • 问:怎么给消息加追踪?答:headers 带 traceId/消息 ID,生产消费日志都记录,链路贯通。
  • 问:发现消息丢失先查什么?答:生产确认配置、副本数与 ISR、消费者提交时机,逐环排除。