06.5.8.9 RocketMQ 与 Kafka 接入
所属:全栈开发面试题库 / 06 后端框架与工程实践 / 06.5 PHP 后端 / 06.5.8 PHP 配套技术栈
06.5.8.9-001 Kafka 的核心模型由哪些角色组成?
一句话结论
Kafka 由 Broker 节点、Topic、Partition、Replica(Leader/Follower)、Consumer Group 与 Offset 组成,分区是并行与有序的基本单位,位点记录消费进度。
概念解释
Topic 是逻辑消息分类;Partition 把 Topic 切分成多个有序日志分片,分散在 Broker 上;Replica 为分区做副本,Leader 负责读写,Follower 同步数据;Consumer Group 内消费者按分区分配消费;Offset 是分区内消息的序号。模型偏日志型,消息写入后按追加方式保留一段时间。
原理流程
- 生产者按 key 哈希到某个分区,消息追加到分区日志尾部。
- Leader 处理读写,Follower 拉取 Leader 数据保持同步。
- 消费者组内成员被分配分区,各自从提交的 Offset 继续消费。
- 位点可提交到 Broker 内置位点主题或外部存储,提交时机决定重复消费边界。
代码或图示
// 文档示例:Kafka 生产者配置(rdkafka 扩展安装状态待确认,本机未装)
$config = [
'metadata.broker.list' => 'kafka-broker:9092',
'group.id' => 'order-consumer-group',
'auto.offset.reset' => 'earliest',
];
// 消息键决定分区:相同 key 落到同一分区,保持分区内有序
$producer = new RdKafka\Producer($config);
$topic = $producer->newTopic('order-paid');
$topic->produce(RD_KAFKA_PARTITION_UA, 0, json_encode(['order_id' => 2001]), 'order:2001');
常见误区
- 以为 Topic 内全局有序:Kafka 只保证单分区内有序,跨分区不保证顺序。
- 以为删除消息即可回收磁盘:日志按保留策略清理,消费行为本身不删除消息。
追问
- 副本同步由谁拉取?答:Follower 主动拉取 Leader 的消息,不是 Leader 推送。
- 分区数能事后调整吗?答:可以追加分区,但已存在 key 的分区归属会受新分区数影响,顺序性需重新评估。
06.5.8.9-002 RocketMQ 的核心模型由哪些角色组成?
一句话结论
RocketMQ 由 NameServer、Broker、Topic、MessageQueue、ConsumerGroup、消费位点与重试/死信队列组成,队列是 Topic 下的并行分片,NameServer 做轻量级路由注册发现。
概念解释
NameServer 负责维护 Broker 路由与 Topic 队列元数据,节点之间不互相同步,客户端轮询获取路由;Broker 存储消息并主从复制;MessageQueue 是 Topic 的细分队列;消费者组按队列分配消费。RocketMQ 在消息模型上内置重试、死信、延时等级等业务化能力,与 Kafka 的纯日志模型定位不同。
原理流程
- Broker 启动向 NameServer 注册 Topic 与队列路由信息。
- 生产者从 NameServer 取路由,按队列选择策略发送消息到 Broker。
- 消费者组订阅 Topic,队列在组内成员间分配。
- 消费失败按重试次数进入重试队列,超过上限进入死信队列等待人工处理。
代码或图示
// 文档示例:RocketMQ 接入方式分两类,具体客户端安装状态待确认
// 方式一:rocketmq-client-php(C 扩展封装),需先安装 C++ 客户端依赖
// 方式二:PHP 经 HTTP 调用内部代理服务,代理再对接 RocketMQ 客户端
$message = [
'topic' => 'order-paid-topic',
'tags' => 'paid',
'keys' => 'order:2001',
'body' => json_encode(['order_id' => 2001]),
];
// 代理服务接口示例:POST /mq/produce { topic, tags, keys, body }
常见误区
- 把 NameServer 当成 ZooKeeper:NameServer 无主从选举与强一致复制,职责轻量。
- 以为队列数等同于分区副本数:队列是消费并行单元,副本是可靠性单元,两者独立。
追问
- RocketMQ 主从同步方式有哪些?答:同步双写与异步复制,具体配置项与默认值以 Broker 版本为准,待确认后实测。
- 延时消息怎么表达?答:按延时等级或定时时间投递,等级枚举与版本相关,接入前对照官方文档核对。
06.5.8.9-003 Kafka 与 RocketMQ 在模型与能力上有什么差异,如何选型?
一句话结论
Kafka 偏高吞吐日志流,分区模型简洁、生态成熟;RocketMQ 偏业务消息,内置延时、重试、死信、事务消息等能力;选型看吞吐量级、顺序/事务/延时诉求与团队运维栈。
概念解释
Kafka 以长日志和批处理见长,适合大数据管道、日志采集、流计算;可靠性靠副本与 ISR 机制。RocketMQ 面向业务事件投递,消费失败重试、死信隔离、事务回查、定时消息是内建能力,金融交易类场景使用较多。两者都支持集群与消费组,但能力边界和默认行为不同。
原理流程
- 列业务诉求:吞吐量级、是否需要严格顺序、事务消息、延时投递、回溯消费。
- 评估生态与运维:是否已有 Kafka 集群与监控体系,团队对客户端的熟悉程度。
- 对关键场景做小规模验证:发送延迟、消费堆积恢复、故障切换表现。
- 不确定的版本行为以官方文档和实测为准,不在面试或方案里写死版本默认值。
代码或图示
// 选型对照(文档示例,非代码执行结果)
// Kafka:大吞吐日志流、事件溯源、流计算;顺序按分区保证;无内置延时/死信
// RocketMQ:业务事件、交易链路、延时/事务/死信内置;队列级顺序消息
// 通用兜底:无论选哪个,业务侧都要做幂等与失败补偿,不能依赖 MQ 单独保证一致性
常见误区
- 只按「谁吞吐高」选型:业务消息的重试、死信、事务诉求在 Kafka 上往往要额外搭建补偿链路。
- 把两者当可无缝替换:客户端协议、位点语义、重试机制不同,迁移需要重新验证可靠性。
追问
- 事务消息诉求优先选谁?答:RocketMQ 有成熟的事务消息与回查机制;Kafka 事务偏向多分区原子写入与幂等,业务回查需自行实现。
- 日志采集与大数据管道优先选谁?答:Kafka 生态(流计算、连接器)更成熟,通常作为该场景默认选择。
06.5.8.9-004 PHP 接入 MQ 有哪些约束与常见落地方式?
一句话结论
PHP 没有统一的原生 MQ 客户端标准,FPM 请求生命周期短;常见落地方式是扩展直连、HTTP 代理网关转发、CLI 常驻消费者守护三类,选型取决于能否安装扩展与进程模型。
概念解释
Kafka 可通过 rdkafka 扩展(基于 librdkafka)直连;RocketMQ 有 C 扩展封装的 PHP 客户端,也有纯 HTTP 代理方案。当前环境未装相关扩展,也无 MQ 服务实例,扩展可用性与方法签名均标注待确认。FPM 下不适合长连接阻塞消费,消费侧一般由 CLI 脚本或独立守护进程承担,Web 请求只做生产投递。
原理流程
- 先确认部署环境能否安装系统级 C 扩展及其依赖库。
- 能装扩展:生产者与消费者走扩展直连,封装统一消息接口。
- 不能装扩展:PHP 调用内部 HTTP 代理服务,代理持有长连接与原生客户端。
- 消费进程用 CLI 脚本 + 进程守护(systemd/进程管理器)拉起,不放在 FPM 里。
代码或图示
// 文档示例:HTTP 代理投递,PHP 侧不直接持有 MQ 长连接
$client = new GuzzleHttp\Client(['timeout' => 3.0]);
$resp = $client->post('http://mq-proxy.internal/produce', [
'json' => [
'topic' => 'order-paid-topic',
'keys' => 'order:2001',
'body' => json_encode(['order_id' => 2001]),
],
]);
// 代理侧负责连接池、重试、消息键与分区路由;PHP 只感知投递结果
常见误区
- 在 FPM 请求里启动阻塞消费者:请求结束进程回收,消费循环无法常驻。
- 把 HTTP 代理当成零成本方案:代理本身是有状态服务,需要监控可用性与超时,不能单点裸奔。
追问
- 扩展直连与代理转发怎么取舍?答:直连少一跳、性能好但依赖扩展安装;代理解耦语言栈、便于统一治理,但多一次网络调用与代理可用性风险。
- 代理服务挂了生产者怎么办?答:本地落库消息表后异步重投,或降级到同步直写兜底,具体方案按业务可靠性等级设计。
06.5.8.9-005 生产者发送模式有哪几种,重试要注意什么?
一句话结论
发送分同步等待确认、异步回调、单向发送三种;同步最可靠但延迟高,异步吞吐好但要处理回调失败,单向不等待确认只适合可丢弃日志;重试必须配合消息键与幂等,避免重复投递放大。
概念解释
同步发送阻塞到 Broker 确认返回;异步发送把消息交给客户端缓冲,回调里处理成功失败;单向发送不等待应答。网络抖动、Leader 切换都可能触发重试,重试期间消息可能重复,消费侧幂等是兜底。发送超时、重试次数、队列缓冲属于客户端配置,具体参数名与默认值以所用客户端版本为准,待确认。
原理流程
- 按业务可靠性选择发送模式:交易类用同步或异步回调,日志类可用单向。
- 发送前设置消息键(业务唯一标识),便于分区路由与消费去重。
- 失败进入重试,重试间隔与次数受控;超过阈值落本地表补偿。
- 回调中记录发送结果与 trace_id,便于排查丢失与重复。
代码或图示
// 文档示例:异步发送回调处理(方法签名以实际客户端版本为准,待确认)
$topic->produce(RD_KAFKA_PARTITION_UA, 0, $body, $key);
$producer->poll(0);
// 回调内:成功记录 trace;失败进入本地重试表,不无限同步重试阻塞请求
// 重试键保持同一业务 key,保证重投后路由到同一分区/队列
常见误区
- 重试不设上限:网络故障时请求被重试拖垮,连接与线程堆积。
- 重试换消息键:同业务消息重投后落到不同分区,破坏顺序与去重依据。
追问
- 发送成功但回调丢失怎么判断?答:以 Broker 确认与本地发送记录为准;关键链路用消息表记录状态,定时对账补发。
- 批量发送与单条发送怎么选?答:吞吐敏感场景攒批发送,延迟敏感场景单条;批量大小与等待时间需压测确定。
06.5.8.9-006 分区/队列数量如何规划,与并行度是什么关系?
一句话结论
分区或队列数决定消费并行上限:消费者组内并行度不超过分区/队列数;数量按峰值消费能力与未来扩容预留,过多会增加文件句柄、副本开销与重平衡成本。
概念解释
Kafka 分区数是 Topic 级并行单元,一个分区同一时刻只能被组内一个消费者占用;RocketMQ 队列同理。分区太少限制吞吐,太多增加 Broker 调度、副本同步与文件管理开销。顺序消息绑定单分区/队列,并行度与顺序约束相互制约。
原理流程
- 估算单分区/队列的峰值消费速率与下游处理能力。
- 按峰值吞吐除以单分区能力得到初始分区数,再预留扩容余量。
- 评估顺序约束:需要同一业务键严格有序的消息必须落到同一分区/队列。
- 上线后按积压与消费速率监控调整,事后追加分区对已有 key 顺序的影响需评估。
代码或图示
// 文档示例:消息键选择直接影响分区归属
// 同一订单的 paid / shipped / completed 事件都用 order_id 作为 key
// 保证进入同一分区,消费顺序与事件发生顺序一致
$key = 'order:' . $orderId;
// 反例:用随机 UUID 当 key,同一订单事件分散到多分区,顺序无法保证
常见误区
- 消费者数超过分区数:多余消费者空闲,不会提升并行度。
- 分区一次性设得过大:日常消息稀疏时浪费资源,重平衡与故障恢复时间变长。
追问
- 分区数可以只增不减吗?答:多数实现支持追加分区,收缩分区需重建 Topic,操作成本高。
- 分区内消息保留多久由谁控制?答:服务端按保留时间/大小策略清理,与消费位点无关。
06.5.8.9-007 消费位点 Offset 如何提交,自动提交与手动提交有什么区别?
一句话结论
位点记录「下一条待消费消息」的位置;自动提交按周期或拉取时机提交,简单但可能丢消息或重复;手动提交在业务处理完成后提交,重复与丢失边界更可控,生产关键链路优先手动提交。
概念解释
自动提交由客户端按间隔提交当前拉取位置,若处理中途崩溃,已拉取未处理消息会被重复消费;若提交早于处理完成,崩溃后该部分消息视为已消费,可能丢失。手动提交在业务成功(落库/调用完成)后显式提交位点,失败则不提交,下次拉取重新消费。位点存储位置(Broker 内置或外部表)按客户端与方案确定。
原理流程
- 拉取一批消息,先逐条执行业务逻辑。
- 业务全部成功后再提交位点;任一条失败则暂停提交并进入重试/死信处理。
- 提交失败要区分:是位点提交失败还是业务失败,避免误提交导致丢消息。
- 幂等消费保证重复投递不产生重复副作用。
代码或图示
// 文档示例:手动提交伪流程(实际 API 以客户端版本为准,待确认)
foreach ($messages as $msg) {
$handled = $this->handle($msg);
if (!$handled) {
break; // 不提交位点,等待下次重新拉取
}
}
// 全部处理成功后提交位点;自动提交开关在消费配置中关闭
// $consumer->commit($messages);
常见误区
- 先提交位点再处理业务:处理崩溃后消息被跳过,形成丢消息。
- 批量处理部分成功就提交整批位点:失败条目被跳过,需要回查补偿。
追问
- 位点提交到哪里?答:Kafka 可提交到 Broker 位点主题;RocketMQ 位点由 Broker 维护;外部存储位点适合需要自定义回放与对账的场景。
- 重复消费怎么兜底?答:消费侧以消息唯一键做幂等校验,重复消息直接确认跳过。
06.5.8.9-008 顺序消息如何保证,分区内有序与全局有序有何区别?
一句话结论
Kafka 保证单分区内消息追加有序,RocketMQ 提供队列级顺序消息;全局有序意味着所有消息串行进单一分区/队列,吞吐受限,业务通常只要求同一业务键内有序。
概念解释
顺序分全局顺序、分区/队列顺序、会话顺序三级。全局顺序要求 Topic 只有一个分区/队列,生产者串行发送、消费者串行消费;业务常用按订单、用户、商品等 key 划分的局部顺序。消费者侧多线程并行处理同一分区消息会打乱顺序,需要按 key 排队或单线程消费。
原理流程
- 确定顺序粒度:全局、单业务键还是会话内。
- 同一业务键的消息使用相同 key,路由到同一分区/队列。
- 消费侧该分区/队列内串行处理,不并行拆分同一 key 的消息。
- 顺序失败重试阻塞后续消息时,设置阻塞上限与降级策略,避免毒消息卡死队列。
代码或图示
// 文档示例:按订单键保证同一订单事件有序
$key = 'order:' . $orderId;
$events = ['paid', 'shipped', 'completed'];
foreach ($events as $event) {
$this->producer->send('order-events', $key, json_encode([
'order_id' => $orderId,
'event' => $event,
]));
}
// 消费端:同一分区内按拉取顺序逐条处理,失败重试不跳过分队后续消息
常见误区
- 多分区下宣称全局有序:跨分区无法保证先后,只能保证同分区内顺序。
- 消费端开多线程处理同一分区:线程调度打乱顺序,局部有序失效。
追问
- 一条顺序消息反复失败怎么办?答:阻塞重试达到上限后转异常队列,主流程继续;死信修复后回放,避免拖垮整条顺序链。
- RocketMQ 顺序消息的发送约束?答:顺序消息需路由到固定队列并在失败时重试该队列,具体 API 行为以客户端版本为准,待确认。
06.5.8.9-009 事务消息解决什么问题,RocketMQ 与 Kafka 事务机制有何不同?
一句话结论
事务消息解决「本地事务成功但消息没发出」或「消息发出但本地事务回滚」的不一致;RocketMQ 用半消息加事务回查,Kafka 事务偏多分区原子写与幂等写入,业务回查需自行实现。
概念解释
RocketMQ 先发送对消费者不可见的半消息,执行本地事务后提交或回滚;长时间未提交则 Broker 回查本地事务状态。Kafka 事务保证同一事务内多条消息跨分区原子写入,配合幂等生产者避免重复,并不直接对接数据库本地事务状态回查。PHP 侧无论哪种机制,都要落事务记录并能被回查。
原理流程
- 生产者发送半消息(RocketMQ)或开启事务发送(Kafka)。
- 执行本地数据库事务,提交成功则确认消息可投递,失败则回滚/删除。
- 提交状态未知时,由回查接口根据业务表判断本地事务最终结果。
- 回查接口必须幂等,能容忍重复调用。
代码或图示
// 文档示例:本地事务表兜底(与具体 MQ 事务机制并行使用)
// 1. 开启本地事务:写业务数据 + 写消息待发送记录
// 2. 本地事务提交后投递 MQ,更新记录状态为已发送
// 3. 定时扫描「待发送」超时记录,对账本地事务结果后补发或标记失败
$messageRecord = [
'biz_key' => 'order:2001',
'status' => 'pending', // pending / sent / failed
'retry_count' => 0,
];
常见误区
- 以为开了 MQ 事务就不需要本地事务表:事务消息只覆盖投递环节,回查与补偿仍需要业务侧记录。
- 回查接口非幂等:重复回查重复扣款或重复改状态,必须按业务键判断最终态。
追问
- Kafka 事务主要保证什么?答:跨分区消息原子写、读已提交隔离,配合幂等生产者去重;不提供数据库事务回查。
- 不依赖事务消息还有什么方案?答:本地消息表 + 定时补偿投递,或 binlog 订阅变更后投递,方案取舍按架构栈确定。
06.5.8.9-010 位点如何重置,重复消费由哪些原因造成?
一句话结论
位点重置用于回放历史消息或跳过异常区间,可按最早位点、最新位点或指定时间戳/位点回退;重复消费来自重试、Rebalance 后位点未提交、消费者崩溃恢复、生产者重投等,消费侧幂等是统一兜底。
概念解释
重置位点会改变消费者组的起始消费位置,操作前必须确认影响范围:回放会产生重复处理,跳过后无法补回。重复消费不代表消息重复发送,更多是「已处理但位点未提交」导致的二次拉取。回放历史消息要评估保留时间是否覆盖目标区间。
原理流程
- 确认重置目的:修复脏数据回放、跳过毒消息、调试链路。
- 记录当前位点作为回滚基线,选择重置目标(最早/最新/指定位点/时间戳)。
- 暂停消费者组,执行位点重置后再启动消费。
- 回放期间依赖幂等逻辑,重复消息只确认不产生重复副作用。
代码或图示
// 文档示例:位点重置属于运维操作,通过客户端管理工具或管理接口执行
// 操作前记录:group.id、topic、当前位点、重置目标
// 重置后首次启动:auto.offset.reset 仅在无已提交位点时生效,已有位点需显式重置
// 待确认:具体重置命令与参数以所使用 MQ 版本客户端为准
常见误区
- 把
auto.offset.reset当成随时回放开关:它只在无提交位点或位点越界时决定起始位置。 - 回放前不评估消息保留期:目标区间已被清理,回放拿不到历史消息。
追问
- 重复消费一定是故障吗?答:不是,至少一次投递语义下重复是常态,关键是消费幂等。
- 跳过一批坏消息怎么做?答:先把坏消息导出存档,再提交位点跳过;线上直接跳消息要留痕便于追溯。
06.5.8.9-011 消费侧幂等在 Kafka/RocketMQ 场景如何落地?
一句话结论
以消息唯一键(业务 ID 或 MQ 键)为去重依据,先查处理记录再执行业务,处理成功后落去重记录;存储可选唯一约束表或 Redis 去重集合,方案按并发量与持久化要求选择。
概念解释
MQ 至少一次投递语义下,重复消息可能来自重投、位点回退、Rebalance 恢复。幂等设计要求同一业务键重复执行结果不变:数据库唯一键约束防重复落单,去重表记录已处理键,Redis 短窗口拦截短时重复。去重记录的清理周期要与消息保留期对齐。
原理流程
- 生产端为每条消息设置稳定唯一键(业务 ID + 事件类型)。
- 消费端先查去重记录:已处理则直接确认位点跳过。
- 未处理则执行业务,业务成功与去重记录写入同一数据库事务。
- 去重记录按周期归档,避免无限增长。
代码或图示
// 文档示例:消费幂等校验伪代码
$dedupKey = $msg->getKey(); // 如 order:2001:paid
$exists = $this->dedupRepo->exists($dedupKey);
if ($exists) {
return $this->ack($msg); // 重复消息,直接确认
}
$this->db->beginTransaction();
try {
$this->handle($msg);
$this->dedupRepo->insert($dedupKey); // 与业务同事务落库
$this->db->commit();
} catch (Throwable $e) {
$this->db->rollBack();
throw $e; // 不提交位点,等待重试
}
常见误区
- 只在 Redis 做去重、不落持久记录:Redis 重启或过期后重复消息穿透到业务。
- 去重记录与业务写入分属不同事务:并发下仍可能重复插入。
追问
- 去重记录保留多久?答:不短于消息最大重试与回放窗口;长期记录归档到历史表。
- 消费成功但去重记录写失败怎么办?答:视为处理失败,不提交位点;重试时靠业务唯一约束兜底。
06.5.8.9-012 消息积压如何监控,核心指标口径是什么?
一句话结论
积压用消费滞后量(Lag,未消费消息数)为主指标,配合生产速率、消费速率、分区/队列分布与消费者存活状态;Lag 持续增长且消费速率低于生产速率即判定积压。
概念解释
Lag = 最新生产位点 - 已提交消费位点,按分区/队列分别统计再汇总。只看总积压不够,还要看是否集中在个别分区(数据倾斜)、消费者是否在线、单条消息处理耗时是否变长。告警分多级:Lag 绝对值、Lag 增速、消费速率跌破阈值。
原理流程
- 采集每个分区/队列的最新位点、已提交位点,计算 Lag。
- 统计生产 TPS、消费 TPS 与消息平均处理耗时。
- 对比消费速率与生产速率,判断积压是持续扩大还是短期波峰。
- 按分区查看倾斜情况,定位热点分区与慢消费者。
代码或图示
// 文档示例:监控指标清单(采集由监控系统完成,PHP 侧上报处理耗时)
// topic / partition / consumer_group / lag / produce_tps / consume_tps
// 单条处理耗时:handle_start 与 handle_end 时间差上报
// 待确认:指标采集接口与暴露方式以集群监控体系为准
常见误区
- 只看 Broker 磁盘或 CPU:Broker 正常不代表消费跟上,Lag 才是积压直接证据。
- 按总 Lag 告警忽略分区倾斜:个别分区积压拖垮下游,总量可能仍显示正常。
追问
- Lag 突然清零又出现是什么原因?答:可能是位点重置、消费者组重建或新组上线,需结合操作记录排查。
- 消费速率低怎么定位?答:先看下游依赖(数据库、HTTP 调用)耗时,再看是否有阻塞重试与慢消息。
06.5.8.9-013 积压处理有哪些手段,扩容为什么不一定见效?
一句话结论
积压处理分扩容消费者、提升单条处理效率、批量消费、隔离毒消息与临时跳过;扩容只有在分区/队列数充足且瓶颈在消费者侧时才见效,分区不足或下游瓶颈限制下扩容无效。
概念解释
消费者组并行度受分区/队列数上限约束,消费者超过分区数后空闲。若瓶颈在数据库写入、外部接口调用或单条逻辑耗时,加消费者只会把压力转移到下游。毒消息反复重试卡住分区,会阻塞后续所有消息,需要隔离处理。积压恢复要估算追平时间:积压量 / (扩容后消费速率 - 生产速率)。
原理流程
- 先确认瓶颈位置:消费者 CPU、下游数据库、外部接口还是单分区倾斜。
- 分区/队列有余量时扩消费者实例;无余量则评估扩分区或临时分流。
- 优化批量拉取、减少每条消息的下游往返、异步化非关键步骤。
- 反复失败的毒消息导出到异常队列,主队列恢复后再离线修复回放。
代码或图示
// 文档示例:追平时间估算(数值为示例口径,非实测)
// 积压 100 万条,生产 2000 条/秒,扩容后消费 5000 条/秒
// 追平时间 ≈ 1,000,000 / (5000 - 2000) ≈ 334 秒
// 若下游数据库写入封顶 1500 条/秒,扩消费者无法突破该瓶颈
常见误区
- 一积压就加机器:下游瓶颈未解,加消费者只增加连接与锁竞争。
- 在线上直接跳过积压消息:必须先存档评估业务影响,跳过记录可追溯。
追问
- 分区数不足怎么应急?答:临时新建 Topic 分流部分业务键,消费者双写过渡;长期再规划分区扩容。
- 批量消费有什么代价?答:批量内部分失败会影响整批位点提交,需要逐条幂等与失败隔离。
06.5.8.9-014 消息持久化与可靠性机制在两套 MQ 上分别怎么体现?
一句话结论
Kafka 靠分区副本与 ISR 保证 Leader 故障时可切换;RocketMQ 靠主从复制与刷盘策略保证消息不丢;生产者确认、消费者位点与持久化策略共同决定端到端可靠性。
概念解释
Kafka 副本分 Leader 与 Follower,ISR 是与 Leader 保持同步的副本集合,Leader 宕机从 ISR 内选举;消息落盘与副本确认影响可用性与吞吐取舍。RocketMQ Broker 主从复制,刷盘分同步刷盘与异步刷盘,主从同步方式影响宕机时消息丢失窗口。具体配置项、默认值与版本行为待确认,以实例文档为准。
原理流程
- 生产者按可靠性等级选择发送确认级别(是否等待副本/主从确认)。
- Broker 按刷盘与复制策略持久化消息。
- Leader 故障时从同步副本中选新 Leader,客户端刷新元数据后继续。
- 消费者位点提交后才视为消费完成,未提交消息在故障后重新投递。
代码或图示
// 文档示例:可靠性层级对照(配置项名称以客户端/服务端版本为准,待确认)
// 生产端:等待确认级别、发送重试、超时时间
// Broker:副本数、ISR 最小同步副本、刷盘方式、主从同步方式
// 消费端:手动提交位点、失败重试上限、死信兜底
// 端到端不丢消息需要三层都到位,单层配置不足都会留下丢失窗口
常见误区
- 只配生产者重试就认为消息不会丢:Broker 刷盘与副本策略不配合,宕机仍有丢失窗口。
- 以为副本同步等于消息已落盘:复制成功与持久化刷盘是两个环节。
追问
- 同步确认与异步确认怎么取舍?答:可靠性要求高选同步确认,吞吐优先选异步;取舍点是延迟与丢失窗口。
- 单 Broker 宕机已消费消息会丢吗?答:取决于副本是否包含该消息与故障切换方式,需结合 ISR/主从状态判断。
06.5.8.9-015 重试与死信机制在两套 MQ 上分别如何工作?
一句话结论
RocketMQ 内置消费失败重试队列与死信队列,达到重试上限进入死信;Kafka 没有内置死信队列,重试与死信需要应用层或周边组件实现,失败消息转入独立 Topic 或异常表。
概念解释
RocketMQ 消费失败按重试次数阶梯退避,超限后进入死信队列,需人工或补偿程序处理。Kafka 消费失败通常不提交位点即可重新拉取,无限重试会卡住分区;工程上一般在应用内做有限次重试,失败后发送到死信 Topic 并记录异常表。两套机制都要求死信消息可追溯、可回放。
原理流程
- 消费失败先分类:瞬时故障(可重试)与业务脏数据(不可重试)。
- 瞬时故障按退避策略有限次重试;业务失败直接转死信。
- 死信消息记录原始内容、失败原因、时间戳与消费者信息。
- 人工或任务修复后把死信消息重新投递回原 Topic。
代码或图示
// 文档示例:应用层有限重试与死信转存伪代码
$retryCount = $msg->getHeader('retry_count') ?? 0;
if (!$this->handle($msg) && $retryCount < 3) {
$msg->setHeader('retry_count', $retryCount + 1);
$this->requeue($msg); // 退避后重投
return;
}
$this->deadLetterRepo->save($msg, $failureReason); // 转死信存档
// 不提交原位点(Kafka 场景)或按 RocketMQ 死信规则流转
常见误区
- 失败立即无限重试:毒消息反复阻塞分区,正常消息被拖住。
- 死信消息不记录上下文:修复时无法还原原始请求与失败原因。
追问
- 死信队列要不要被自动消费?答:默认不自动重放,先人工核对原因;修复后按受控节奏回放。
- 重试间隔怎么定?答:按故障类型分级,指数退避加抖动,避免重试集中打爆下游。
06.5.8.9-016 消费者组与重平衡(Rebalance)在 Kafka 上如何工作?
一句话结论
Rebalance 是消费者组成员变更或订阅分区变化时,重新分配分区所有权的过程;触发于成员加入/离开、会话超时、订阅变更;期间消费暂停,频繁重平衡会造成抖动与重复消费。
概念解释
组成员通过心跳与会话超时维持存活判断;成员掉线、扩缩容、订阅 Topic 变化都会触发重平衡。重平衡期间分区暂时无可消费所有者,已拉取未提交消息可能在新成员处重复消费。RocketMQ 同样有队列在消费者间的重新分配,触发时机与策略由客户端实现决定,具体行为待确认。
原理流程
- 成员注册加入消费者组,协调者收集存活成员与分区列表。
- 触发变更后按分配策略把分区/队列分配给各成员。
- 新所有者拉取位点开始消费,旧所有者释放分区。
- 重平衡前后做好位点与本地处理状态衔接,避免重复或跳过。
代码或图示
// 文档示例:减少重平衡抖动的配置方向(参数名与默认值待确认)
// 心跳间隔与会话超时:及时感知掉线,同时避免误判
// 消费者优雅退出:退出前主动离开组,触发受控重平衡
// 批处理时长:避免单批处理过久被判定掉线
常见误区
- 消费一批消息耗时超过会话超时被踢下线:导致反复重平衡与重复消费。
- 随意频繁扩缩容消费者:每次变更都引发一轮重平衡。
追问
- 重平衡期间消息会丢吗?答:已提交位点不丢;未提交消息在新成员处重新消费,属于重复而非丢失。
- 分配策略有哪些影响?答:不同策略分区分布均匀度不同,顺序与倾斜表现有差异,需结合消费模型选择。
06.5.8.9-017 消息体设计有哪些注意点?
一句话结论
消息体应包含业务键、事件类型、版本号、发生时间与 trace_id,载荷只放必要字段;序列化格式与大小受控,字段演进向后兼容,避免把大对象或文件内容塞进消息体。
概念解释
消息是跨服务契约,字段变更要兼容老消费者;事件类型区分业务动作,版本号支持结构演进。大消息增加网络与存储压力,文件类内容应传对象存储链接。trace_id 用于串联生产、消费与下游日志。消息体不携带敏感凭证,必填字段与可选字段在文档中明确。
原理流程
- 定义消息信封:键、事件名、版本、时间戳、trace_id、载荷。
- 载荷按事件需要裁剪字段,大附件走存储链接。
- 序列化格式统一(JSON 或其他约定格式),字段命名与空值规则固定。
- 新增字段只做追加,不修改既有字段语义;废弃字段标记过渡期。
代码或图示
// 文档示例:标准消息信封
$message = [
'event' => 'order.paid',
'version' => 1,
'biz_key' => 'order:2001',
'occurred_at' => '2026-11-19T10:00:00+08:00',
'trace_id' => 'trace-abc123',
'payload' => ['order_id' => 2001, 'amount' => 9900],
];
// 大图片/附件:payload 中只放存储 key 或访问链接,不内嵌二进制
常见误区
- 消息体直接复用数据库整行快照:字段耦合表结构,表改消息就跟着破坏兼容。
- 同一事件混用多种字段命名:不同生产者各写各的,消费端解析分支失控。
追问
- 消息大小上限在哪里看?答:客户端与 Broker 两端都有限制,超限会发送失败;具体阈值以服务端配置为准,待确认。
- 字段怎么演进?答:新增可选字段、消费者容忍缺字段;删除字段先观察一个版本周期。
06.5.8.9-018 PHP 常驻消费者如何守护,避免内存泄漏与异常退出?
一句话结论
消费者以 CLI 脚本常驻运行,由进程管理器拉起与重启;循环内控制内存增长、捕获异常不崩溃、处理信号优雅退出,并限制单进程处理消息数量后重启回收。
概念解释
PHP FPM 请求结束即回收内存,CLI 常驻进程则长期持有内存,未释放的引用、静态缓存累积会逐步占满内存。消费者主循环要逐条处理消息、捕获异常上报、定时检查内存水位;进程退出由守护进程负责重启。当前环境未装 swoole/swow,消费循环按普通 PHP CLI 脚本模型讨论。
原理流程
- 进程管理器按配置拉起消费者脚本,异常退出后自动重启。
- 主循环拉取消息、处理、提交位点,单条异常记录后继续。
- 达到内存水位或处理条数上限后主动退出,由守护进程重启回收。
- 捕获退出信号,完成在途消息处理与位点提交后再退出。
代码或图示
// 文档示例:CLI 消费者主循环骨架(非可执行工程代码)
$processed = 0;
while ($running) {
$msg = $consumer->pull(3.0);
if ($msg === null) { continue; }
try {
$this->handle($msg);
$consumer->commit($msg);
} catch (Throwable $e) {
$this->logger->error('consume failed', ['msg' => $msg->getKey(), 'err' => $e->getMessage()]);
}
if (++$processed % 1000 === 0 || memory_get_usage(true) > 128 * 1024 * 1024) {
break; // 退出后由守护进程重启
}
}
常见误区
- 消费者脚本内不 catch 异常:一条未捕获异常导致进程退出,靠频繁重启维持。
- 静态缓存无限增长:常驻进程内全局数组只增不减,内存持续攀升。
追问
- 优雅退出怎么做?答:注册信号处理标志位,当前消息处理完、位点提交后再退出;强制中断会导致重复消费。
- 多进程消费者怎么分配?答:由消费组自动分配分区/队列,脚本本身无状态,水平扩展只加实例。
06.5.8.9-019 发送失败的本地兜底与对账补偿怎么设计?
一句话结论
关键消息在本地事务内落「待发送」记录,投递成功后更新状态;定时任务扫描超时待发送记录,对账业务状态后补发或标记失败,形成发送闭环。
概念解释
网络故障、代理宕机、Broker 不可用都会导致投递失败,仅靠客户端重试覆盖不了长时间故障。本地消息表与业务数据同事务写入,保证业务成功后一定存在待发记录;补偿任务按状态机推进,重复补发由消费幂等兜底。对账区分「本地事务成功但消息未发」与「消息已发但记录未更新」两类漂移。
原理流程
- 本地事务:写业务数据 + 写消息待发送记录(同库同事务)。
- 事务提交后投递 MQ,成功更新记录为已发送。
- 补偿任务扫描待发送超时记录,判断业务最终态后补发或关闭。
- 已发送记录定期归档,失败记录进入人工队列。
代码或图示
// 文档示例:本地消息表状态机
// pending 待发送 → sent 已发送 / failed 需人工介入
// 补偿任务:SELECT * FROM outbox WHERE status = 'pending' AND updated_at < NOW() - INTERVAL 1 MINUTE
// 补发前核对业务状态:业务已撤销则关闭记录,业务仍有效则重投
// 重投沿用同一 biz_key,消费侧幂等拦截重复
常见误区
- 业务提交后直接发 MQ,失败才落库:业务已提交而落库前崩溃,消息永久丢失。
- 补偿任务无限补发:超过最大次数转人工,避免无效重投堆积。
追问
- 消息已发但本地记录状态没更新怎么办?答:对账任务按业务键与 MQ 记录核对,修正状态,不重复投递。
- 本地消息表与业务表分库怎么办?答:跨库无法同事务,需要最终一致方案(事务消息、binlog 订阅等)配合。
06.5.8.9-020 综合判断:什么业务选 Kafka,什么业务选 RocketMQ?
一句话结论
日志流、大数据管道、高吞吐事件流选 Kafka;交易事件、业务通知、需要延时/重试/死信/事务消息的场景选 RocketMQ;选型同时核对客户端可安装性、现有集群与运维能力。
概念解释
没有绝对优劣,匹配业务诉求与工程现状最重要。Kafka 生态围绕流处理与数据集成,吞吐与留存能力强;RocketMQ 业务消息能力内建,业务语义更贴近交易链路。PHP 侧还要评估客户端依赖:能否安装扩展、是否需要 HTTP 代理层,这些会影响接入成本与稳定性。
原理流程
- 列出业务诉求:吞吐量级、顺序粒度、事务/延时/死信、消息留存与回溯。
- 盘点现有基础设施:已有集群、监控告警、值班与排障经验。
- 评估 PHP 接入方式:扩展直连或代理转发,验证依赖安装与性能基线。
- 关键场景小规模验证后定稿,不确定的版本行为标注待确认并实测复核。
代码或图示
// 文档示例:选型结论速查
// 日志采集 / 埋点流 / 流计算 → Kafka
// 订单事件 / 支付通知 / 延时关闭 / 事务回查 → RocketMQ
// 两者共同要求:消息键稳定、消费幂等、位点可控、积压可监控、失败有兜底
// 接入前核对:PHP 扩展安装状态、客户端版本、Broker 版本与配置默认值
常见误区
- 跟风选热门产品:忽视团队运维经验与业务语义匹配度。
- 选型时只看发送链路:消费重试、死信、积压恢复与补偿闭环同样要纳入评估。
追问
- 已有 RabbitMQ 的项目为什么还要引入 Kafka/RocketMQ?答:不同中间件定位不同,日志流与业务事件可分链路承载;是否引入取决于吞吐与能力诉求,避免为技术而技术。
- 选型结论不确定时怎么验证?答:用真实业务消息样本做发送/消费压测,对比延迟、积压恢复与故障切换表现,再结合运维成本定稿。