罗罗编程学习记录
本页内容 展开查看

06.5.8.8 RabbitMQ 接入与可靠性

所属:全栈开发面试题库 / 06 后端框架与工程实践 / 06.5 PHP 后端 / 06.5.8 PHP 配套技术栈

06.5.8.8-001 RabbitMQ 核心模型由哪些角色组成?

一句话结论

核心模型:Producer 生产者发消息到 Exchange 交换机,交换机按 Binding 规则路由到 Queue 队列,Consumer 消费者从队列取消息;队列绑定交换机,消息不直接进队列。

概念解释

RabbitMQ 是 AMQP 消息代理:生产者只跟交换机打交道,交换机类型决定路由算法;绑定关系把队列关联到交换机并带路由键;队列保存消息等待投递。虚拟主机(vhost)隔离环境与权限,连接(Connection)是 TCP 链路,信道(Channel)是连接内的轻量会话。理解链路是配置交换机、队列与可靠性的基础。

原理流程

  1. 声明交换机、队列与绑定关系(idempotent declare)。
  2. 生产者把消息发到交换机,带 routing key。
  3. 交换机按类型与绑定规则路由到队列。
  4. 消费者订阅队列,收到消息后按确认机制反馈。

代码或图示

// php-amqplib 链路示意(composer 安装;amqp 扩展是否安装待确认)
// $exchange = "order.events"; $queue = "order.created";
// 绑定:交换机 -> 队列,routing key "order.created"
// 生产者 publish 到交换机;消费者 consume 队列

常见误区

  • 生产者直接发队列:AMQP 模型必须经过交换机,默认交换机除外。
  • 不声明队列与绑定:路由不到队列时消息被丢弃或返回,需启动时幂等声明。

追问

  • 默认交换机是什么?答:无名 direct 交换机,按队列名直接路由,简单队列示例常使用。
  • vhost 起什么作用?答:隔离不同项目/环境的交换机、队列与权限,连接时指定 vhost。

06.5.8.8-002 四种交换机类型与路由规则是什么?

一句话结论

direct 按路由键精确匹配,topic 按通配符模式匹配,fanout 广播到所有绑定队列,headers 按消息头属性匹配;按消息分发需求选择类型。

概念解释

direct:routing key 与 binding key 完全一致才路由,适合定向通知。topic:binding key 支持 *(一个词)与 #(多个词)通配,按点分段匹配,适合类别订阅。fanout:忽略路由键,消息广播到绑定的全部队列,适合事件通知多消费者。headers:不依赖路由键,匹配消息头键值对,使用较少。

原理流程

  1. 确定分发模式:一对一精确、按类别订阅、全员广播。
  2. 精确:direct;类别订阅:topic;广播:fanout。
  3. 配置绑定键与生产者路由键对应规则。
  4. 多队列订阅同一事件用 fanout 或 topic 同一前缀。

代码或图示

// topic 路由键:order.created、order.paid 分段结构
// 绑定:"order.*" 匹配 order.created / order.paid
// fanout:交换机类型 fanout,队列绑定后全部接收广播
// direct:routing key "sms" 精确路由到短信队列

常见误区

  • topic 通配符用错层级:* 只匹配一个词,# 匹配零或多个词,点号分段。
  • fanout 还指望路由键过滤:fanout 忽略 routing key,所有绑定队列都收。

追问

  • 绑定键与路由键大小写敏感吗?答:字符串精确/模式匹配,按 AMQP 规则区分大小写,具体行为以协议与版本为准。
  • 一个队列能绑多个交换机吗?答:可以,多交换机路由到同一队列,消息按到达合并。

06.5.8.8-003 队列与消息持久化如何配置?

一句话结论

队列持久化(durable: true)让队列元数据在代理重启后保留;消息持久化(delivery_mode = 2)让消息落盘;两者都开启才能在代理重启后不丢队列与未消费消息,仅持久化消息不持久化队列仍会丢失结构。

概念解释

durable 控制队列定义是否持久化;消息投递时 delivery_mode=2 标记持久化消息,写入磁盘。交换机关联持久化也需相应声明。注意:持久化保证代理重启恢复,不替代生产者确认与消费者 ack;内存中未刷盘的消息在宕机极端情况下仍可能丢失。队列是否持久化要在首次声明时确定,后续改参数需重建队列。

原理流程

  1. 声明队列时 durable=true,定义写入持久化存储。
  2. 生产者发消息设 delivery_mode=2(持久化)。
  3. 交换机声明同样按需要持久化。
  4. 重启代理:队列定义恢复,持久化消息重新入队。

代码或图示

// 队列声明参数(php-amqplib 示意)
// $channel->queueDeclare($queue, passive: false, durable: true, exclusive: false, autoDelete: false);
// 消息属性:delivery_mode => 2 表示持久化
// $channel->basicPublish($exchange, $routingKey, $msg, ['delivery_mode' => 2]);

常见误区

  • 只设消息持久化不设队列 durable:重启后队列定义丢失,消息无处附着。
  • 以为持久化就绝对不丢:刷盘前宕机、镜像/仲裁配置缺失仍有丢失窗口。

追问

  • autoDelete 与 durable 区别?答:autoDelete 在最后一个消费者断开后自动删除队列;durable 控制重启保留,两者语义不同。
  • 持久化对性能影响?答:消息落盘增加 IO 开销,非关键临时消息可权衡非持久化。

06.5.8.8-004 生产者确认(publisher confirm)与 return 机制是什么?

一句话结论

publisher confirm 让代理向生产者确认消息已被接收/落盘;mandatory + return 回调处理消息无法路由到队列的情况;两者配合才能知道消息是成功入队、被落盘还是路由失败。

概念解释

confirm 模式开启后,代理对每条消息回 ack(已处理)或 nack(未处理)。普通发送是 fire-and-forget,消息可能在代理故障时丢失。mandatory 设为 true 时,无法路由到队列的消息回退给生产者 return 回调,而不是静默丢弃。生产者需等待 confirm 结果决定重试或落库兜底。

原理流程

  1. 信道开启 confirm 模式,注册 ack/nack 回调。
  2. 发送消息,mandatory 标记不可路由返回。
  3. 代理确认:ack 成功;nack 触发重试或告警。
  4. return 回调记录路由失败,检查交换机与绑定配置。

代码或图示

// 示意:开启 confirm,回调中记录消息状态
// $channel->confirmSelect();
// $channel->setConfirmCallback(function($deliveryTag, $multiple, $ack) {
//     $ack ? "消息已确认" : "消息被 nack,需重试/落库";
// });
// $channel->setReturnCallback(function(...) { /* 不可路由消息 */ });

常见误区

  • 发完消息不等待 confirm:代理异常时消息丢失且生产者无感知。
  • 把 nack 当业务失败:nack 是代理接收层面的否定,不等同于消费者处理失败。

追问

  • confirm 是持久化确认吗?答:确认级别与代理配置相关,是否已落盘取决于持久化配置与策略;细节以 RabbitMQ 版本文档为准,待确认。
  • 批量 confirm 怎么处理?答:支持 multiple 确认一批,回调中按 deliveryTag 归集未确认消息重试。

06.5.8.8-005 消费者 ack、nack 与 requeue 有什么区别?

一句话结论

手动 ack 确认消息处理成功并移除;nack/reject 否定消息,requeue=true 重新入队等待再投,requeue=false 丢弃或进死信;关闭自动 ack 才能按处理结果手动确认。

概念解释

消费者处理成功后 basicAck 告诉代理移除消息;处理失败 basicNack(可批量)或 basicReject(单条)否定。requeue=true 消息回到队列头部,可能立刻再次投递给同一消费者,形成失败循环;requeue=false 配合死信队列兜底。自动 ack(autoAck=true)在投递后即确认,处理失败消息丢失,业务消息应手动 ack。

原理流程

  1. 消费者订阅时关闭自动确认,开启手动 ack。
  2. 业务处理成功:basicAck(deliveryTag)。
  3. 可恢复失败:nack 并 requeue,限制重试次数。
  4. 不可恢复:nack requeue=false,消息转死信或丢弃。

代码或图示

// 成功确认
// $channel->basicAck($deliveryTag, false);
// 失败重回队列:requeue=true(需重试上限控制)
// $channel->basicNack($deliveryTag, false, true);
// 失败转死信:requeue=false,由 DLX 路由到死信队列
// $channel->basicNack($deliveryTag, false, false);

常见误区

  • 处理异常不 ack:消息一直处于 unacked 状态,消费者断开后才重回队列。
  • nack requeue=true 无上限:毒消息反复重投,刷屏队列并占用消费者。

追问

  • basicNack 与 basicReject 区别?答:Nack 可批量否定多条,Reject 只处理单条;语义上都支持 requeue。
  • unacked 消息怎么监控?答:队列有 ready 与 unacked 计数,unacked 持续增长说明处理阻塞或未确认。

06.5.8.8-006 预取计数 prefetch 如何做消费者限流?

一句话结论

basicQos(prefetchCount) 限制同一消费者未确认消息的最大数量,代理只在消费者处理能力范围内投递;防止一次性推堆积压消息压垮消费者,按单条处理耗时与并发能力设定。

概念解释

不设 prefetch 时代理尽量把消息推给消费者,消费者内存与处理队列堆积。prefetch 限制 in-flight(已投未 ack)条数,处理完一条再投下一条。数值按单条处理耗时、消费者并发与下游能力定:处理快可设大,调用慢的消费者设小。prefetch 作用域分全局与单消费者,按客户端语义核对。

原理流程

  1. 消费者订阅前设置 basicQos 预取上限。
  2. 代理按未确认条数控制投递节奏。
  3. 每 ack 一条,释放一个投递额度。
  4. 压测调整数值,观察处理速率与内存占用。

代码或图示

// 预取 10 条:未确认消息不超过 10
// $channel->basicQos(0, 10, false);
// 处理慢的下游调用:prefetch 调小,避免本地堆积
// 处理成功后 basicAck 释放额度

常见误区

  • prefetch 设很大:等同不限流,消费者缓冲区堆积消息。
  • 只调预取不看下游能力:下游慢时消息仍在消费者侧排队。

追问

  • prefetch 与限流队列关系?答:prefetch 控制投递节奏,队列积压保护的是代理;两者层次不同。
  • 多个消费者实例怎么分摊?答:队列按轮询投递到多实例,prefetch 按实例分别控制。

06.5.8.8-007 死信队列有哪三种触发条件?

一句话结论

消息成为死信的条件:消费者 nack/reject 且 requeue=false、消息 TTL 过期、队列长度达上限;死信通过配置的死信交换机(DLX)路由到死信队列,供排查与兜底处理。

概念解释

死信(dead-letter)是被正常队列拒绝、过期或挤掉的消息。队列声明时配置 x-dead-letter-exchange 与可选 routing key,死信重新发布到 DLX。用途:承接不可消费的毒消息、过期未处理任务、队列满溢出消息。死信队列本身仍是普通队列,需要独立消费者或人工处理流程。

原理流程

  1. 业务队列声明时绑定 DLX 与死信路由键。
  2. 消息被拒绝(不重回)、过期或队列满,成为死信。
  3. 死信由 DLX 按规则转发到死信队列。
  4. 死信消费者分析原因,补偿处理或人工介入。

代码或图示

// 队列参数示意:死信交换机与路由键
// $channel->queueDeclare($queue, durable: true, arguments: [
//     'x-dead-letter-exchange' => 'dlx.exchange',
//     'x-dead-letter-routing-key' => 'order.dead'
// ]);

常见误区

  • 配了 DLX 却没声明死信队列:死信路由不到队列再次丢失。
  • 死信消息直接丢弃:没有回查流程,业务损失无感知。

追问

  • 队列满怎么触发死信?答:队列达到最大长度后,最老消息被挤出入死信;长度参数 x-max-length,具体行为以版本为准。
  • 死信会再次成为死信吗?答:死信队列不配 DLX 就不会循环;配置不当可能形成循环,需避免。

06.5.8.8-008 延迟队列有哪些实现方式?

一句话结论

延迟消费两种主流方案:消息 TTL + 死信交换机(到期转死信队列被消费),或 delayed message 插件(按延迟时间投递);前者多消息 TTL 存在队头阻塞问题,后者语义更直接,插件是否安装待确认。

概念解释

TTL + DLX:消息设过期时间,过期后转死信队列,消费者从死信队列取到即"延迟到达"。缺陷:队头消息未过期会阻塞后面短 TTL 消息(队列按 FIFO 判断过期)。delayed 插件:交换机按消息延迟时间排期,到期再投队列,支持逐条不同延迟。选型看延迟是否统一、是否依赖插件。

原理流程

  1. 统一延迟:TTL + DLX 方案,过期转死信队列消费。
  2. 逐条不同延迟:评估 delayed 插件支持。
  3. 延迟任务需可追溯:消息体带任务创建时间与到期时间。
  4. 到期消费失败仍走重试与死信兜底。

代码或图示

// TTL + DLX 示意:消息 expiration 字段,过期进死信队列
// $channel->basicPublish($exchange, $routing, $msg, [
//     'delivery_mode' => 2, 'expiration' => '30000'
// ]);
// 插件方案:x-delayed-message 交换机类型,header 带延迟毫秒数(插件状态待确认)

常见误区

  • 用队列级 TTL 混不同延迟:队头阻塞导致短延迟消息排后面超时。
  • 延迟消息不记录状态:到期消费前后任务状态难追踪,需业务表配合。

追问

  • 延迟精度受什么影响?答:代理调度、消费者在线情况与方案实现;不保证严格毫秒级,业务按容忍度设计。
  • 定时大量任务怎么落地?答:超大规模定时调度用专门调度组件,RabbitMQ 延迟队列承接短延迟异步任务。

06.5.8.8-009 PHP 客户端:amqp 扩展与 php-amqplib 如何取舍?

一句话结论

amqp 扩展是 C 扩展,性能好但需编译安装、API 绑定扩展版本;php-amqplib 是纯 PHP 库,Composer 安装、跨环境兼容好;当前 CLI 已装扩展列表中未确认 amqp,选型前先 php -m 核实。

概念解释

amqp 扩展封装 librabbitmq,执行性能优,部署环境需扩展与系统库匹配。php-amqplib 用 PHP 实现 AMQP 协议,无扩展依赖,便于共享主机与版本迁移,性能略低。两者消息模型概念一致,封装层应隔离客户端差异。当前环境已装 redis、pdo_mysql 等扩展,amqp 安装状态待确认;未装 swoole/swow,常驻消费另评估运行时。

原理流程

  1. php -m 核实 amqp 扩展是否安装及版本。
  2. 能装扩展且追求性能:选 amqp 扩展,按版本文档核对 API。
  3. 受限环境或快速接入:composer require php-amqplib/php-amqplib。
  4. 业务代码面向消息服务接口,切换客户端只改适配层。

代码或图示

// 核实扩展:php -m | Select-String amqp
// php-amqplib 安装:composer require php-amqplib/php-amqplib
// 连接参数:host、port、user、password、vhost 走配置,不写进代码库

常见误区

  • 假设扩展已装:部署环境与开发环境不一致,先核实再写扩展 API。
  • 业务代码直接耦合客户端类:换库时消费与生产逻辑大面积改动。

追问

  • 两个库 API 一样吗?答:概念一致(channel/queue/confirm/ack),类名与方法签名不同,切换需对照文档。
  • 连接信息存哪里?答:环境变量或配置中心,代码库不写真实账号密码(项目隐私规则)。

06.5.8.8-010 连接与信道在 PHP 下如何封装,FPM 短连接注意什么?

一句话结论

Connection 是 TCP 连接,Channel 是其上的轻量信道;FPM 短请求场景每次请求建连开销大,可复用连接或按进程管理;信道不要跨请求/线程混用,断线要能重连。

概念解释

AMQP 一条 TCP 连接可开多个信道,信道复用连接减少握手。FPM 每请求独立生命周期,每次新建连接信道消耗握手与资源;可在进程内缓存连接复用,请求结束关闭信道保留连接。常驻消费者则长期持有连接并监控断线重连。信道非线程安全,同一信道不要被并发协程/线程共享。

原理流程

  1. 封装连接工厂:按配置建立连接与信道。
  2. FPM 请求内获取信道,用完关闭信道。
  3. 断线捕获异常,重建连接与信道后重试。
  4. 消费者常驻:连接保活、心跳与断线重连机制。

代码或图示

// 封装示意:获取连接 -> 开信道 -> 声明拓扑 -> 生产/消费 -> 关闭信道
// $conn = new AMQPConnection($params);
// $channel = $conn->channel();
// 注意:信道实例不要在多个并发任务间共享

常见误区

  • 每发一条消息新建连接:握手开销放大,连接数飙升。
  • 长持有信道不处理断线:代理重启后信道失效,发送静默失败。

追问

  • 心跳参数做什么?答:连接心跳检测断线,参数配置按代理与网络环境设定,具体默认值待确认。
  • FPM 能做消费者吗?答:FPM 模型不适合常驻消费,消费者应是独立 CLI 常驻进程或守护任务。

06.5.8.8-011 可靠投递的完整流程怎么设计?

一句话结论

可靠投递链路:业务数据与消息落本地事务 → 发送消息并等 confirm → confirm 成功标记消息已投递;失败重试或进补偿任务;消息持久化与队列绑定配置完整,配合消费者幂等兜底。

概念解释

端到端可靠性分三段:生产投递可靠(confirm + 持久化)、代理存储可靠(durable + 持久化消息)、消费可靠(手动 ack + 幂等)。生产者侧常见做法:本地消息表——事务内写业务数据与待发消息,后台任务扫描未投递消息发送,confirm 后标记。避免"先发消息再写库"导致回滚后消息已发。

原理流程

  1. 本地事务写业务记录与消息记录(待投递状态)。
  2. 后台任务/同步发送消息,开启 confirm 等待确认。
  3. confirm ack:标记消息已投递;nack/超时:重试。
  4. 重试超限转补偿表人工处理;消费端幂等去重。

代码或图示

// 本地消息表示意:id、payload、status(待发/已发/失败)、retry_count
// 事务内:INSERT 业务表 + INSERT 消息表
// 发送任务:取待发消息 -> basicPublish -> confirm -> 更新状态

常见误区

  • 消息在事务外发送:事务回滚后消息已到达,下游执行不存在的业务。
  • 只重试不记录状态:失败消息丢失,无法补偿追溯。

追问

  • confirm 等待超时怎么办?答:超时按"未知状态"处理,查询消息表与代理状态后重试;消费端幂等兜底重复投递。
  • 消息表会不会膨胀?答:已投递成功的消息定期归档清理,保留周期按追溯需求定。

06.5.8.8-012 重复消费成因与幂等设计怎么做?

一句话结论

重复消费来自:消息重投、消费者重启未 ack、生产者重试、网络重连;幂等靠唯一业务键去重(去重表/Redis 标记)+ 状态机校验,保证同一消息执行多次结果一致。

概念解释

MQ 至少一次(at-least-once)投递语义下,重复是常态而非异常。幂等手段:消息带全局唯一业务键(订单号、流水号),消费前查去重记录,已处理直接 ack;状态机校验(订单只能待支付 → 已支付),非法流转拒绝。去重记录持久化,Redis 只做快速拦截,数据库唯一索引兜底。

原理流程

  1. 生产消息时生成唯一业务键并写入消息体。
  2. 消费前查询去重表/Redis 标记,命中即跳过并 ack。
  3. 执行业务,状态机校验当前状态允许流转。
  4. 处理成功写去重记录,再 ack;失败不写标记,允许重试。

代码或图示

// 幂等校验示意
// $redis->setnx("idem:msg:{$msgKey}", "1"); // 快速拦截
// 数据库:UNIQUE KEY uk_msg_key(msg_key) 兜底唯一约束
// 状态机:只允许 order.status 从 pending 走到 paid

常见误区

  • 以为关了自动 ack 就不会重复:重投与重启场景仍会重复,必须业务幂等。
  • 去重记录先于业务提交写入:业务回滚后去重标记残留,后续正常请求被挡。

追问

  • 去重记录保留多久?答:覆盖重试与消息重投周期;过期清理前确认无重复风险。
  • 消息体没有唯一键怎么办?答:用业务自然键(订单号)或消费时生成并落库关联。

06.5.8.8-013 消费失败的重试策略与死信兜底如何设计?

一句话结论

可恢复错误有限次重投(指数退避),超过重试上限转死信队列;不可恢复错误直接死信;重试次数与错误类型记录在消息头或业务表,毒消息不无限循环。

概念解释

失败分类:临时性错误(下游超时、锁冲突)可重试;数据错误、参数非法不可恢复。重试控制:消息头记录重试次数,每次 nack requeue 前判断超限;退避避免立即重投冲击下游。超限进 DLX 死信队列,由补偿任务或人工分析。重试与死信链路要可观测:次数、原因、时间留痕。

原理流程

  1. 消费捕获异常,区分可恢复与不可恢复。
  2. 可恢复且次数未超限:nack requeue,按退避策略重投。
  3. 超限或不可恢复:nack requeue=false 进死信。
  4. 死信队列消费者/人工修复后重放业务队列。

代码或图示

// 重试次数写入消息头;超限转死信
// $retries = (int) ($headers['x-retry'] ?? 0);
// if ($retries < 3) { nack(requeue: true); } else { nack(requeue: false); }
// 退避:可用延迟队列二次投递实现间隔重试

常见误区

  • 所有失败都 requeue:毒消息反复进入队列,占用消费者。
  • 重试不记次数:无法判断超限,死信兜底失效。

追问

  • 指数退避怎么实现?答:立即重投退避差;需要间隔时用延迟队列/插件二次投递,或重试任务表定时扫描。
  • 死信消息怎么重放?答:修复问题后把死信消息重新 publish 到业务队列,保留原消息键保证幂等。

06.5.8.8-014 消息堆积如何成因与处理?

一句话结论

堆积指队列 ready 消息持续增长,成因:消费速率低于生产速率、消费者故障/停机、下游慢、prefetch 或并发不足;处理:扩容消费者、排查下游阻塞、临时分流,事后复盘生产速率与容量规划。

概念解释

积压观察队列深度与消费速率对比。常见原因:消费者进程挂掉未重启、下游接口变慢拉长单条处理时间、并发消费者数不足、消息体量过大。处理顺序:先确认消费者在线与 ack 情况,再扩容实例,下游慢则限流或降级;堆积严重时评估消息时效性,过期消息是否可丢弃。容量规划按峰值生产速率 × 消费能力设定消费者数量。

原理流程

  1. 监控队列深度、ready/unacked、消费速率。
  2. 检查消费者进程存活与错误日志。
  3. 下游慢:排查依赖,扩容消费者或提升并发。
  4. 堆积超阈值告警,事后校准生产峰值与消费容量。

代码或图示

// 监控指标:队列 messages ready、unacked、投递速率、ack 速率
// 扩容:同一队列增加消费者实例,代理轮询分摊
// 下游阻塞:查消费者日志与下游接口耗时定位瓶颈

常见误区

  • 堆积就加消费者:根因是下游慢时,加消费者反而压垮下游。
  • 不看 unacked:消费者挂死时消息全在 unacked,ready 不高但实际停滞。

追问

  • 积压消息还有时效要求吗?答:超时订单类消息过期可能失效,堆积后需判断是否还应处理。
  • 怎么临时削峰?答:临时增加消费者实例,或把非关键消息分流到低优先级队列。

06.5.8.8-015 消息顺序性如何保证?

一句话结论

RabbitMQ 单队列单消费者按投递顺序消费;多消费者并发会打乱顺序;需要顺序的同一业务键消息路由到同一队列(topic/key 分片),由单消费者串行处理。

概念解释

默认多消费者轮询分担队列消息,同一实体的多条消息可能被不同消费者并发处理,顺序无法保证。顺序方案:按业务键(订单 ID)哈希到多个分片队列,同一键落同一队列,每队列单消费者;状态机本身也应容忍乱序(以版本/状态校验为准)。跨实体的消息不要求全局顺序。

原理流程

  1. 确定需要顺序的业务实体与消息序列。
  2. 按实体键路由到分片队列,保证同键同队列。
  3. 分片队列单消费者串行消费。
  4. 状态机用版本/时间戳校验,拒绝过期状态覆盖。

代码或图示

// 按订单 ID 哈希分片到 order.queue.0 ~ 7
// $shard = crc32($orderId) % 8;
// 同一订单消息始终进同一分片队列,单消费者串行处理

常见误区

  • 一个队列挂多消费者还要求顺序:并发消费天然乱序。
  • 只靠消息发送顺序:网络重投与并发消费仍可能乱序,需状态机兜底。

追问

  • 分片队列扩容怎么迁移?答:分片数调整涉及消息重分布,按扩容方案双写迁移;与数据库分片思路一致。
  • 顺序消费吞吐低怎么办?答:只对必须顺序的实体分片,无顺序要求的消息走普通并发队列。

06.5.8.8-016 消息体设计有哪些注意点?

一句话结论

消息体精简、字段稳定、带唯一键与时间戳,序列化格式跨语言一致;避免大报文与嵌套过深,敏感信息不入消息体;版本字段兼容消费者升级。

概念解释

消息长期在队列与日志中流转,体过大增加存储与投递耗时。字段设计:业务键、操作类型、负载数据、产生时间、消息版本。序列化选 JSON(通用可读)或其他约定格式,生产消费两端一致。敏感数据(密码、令牌)不进消息,传引用 ID。结构升级加版本号/可选字段,不直接改字段语义。

原理流程

  1. 定义消息结构:唯一键、事件类型、载荷、时间戳、版本。
  2. 控制体积:大对象传 ID,按需回查,不塞整份快照。
  3. 约定序列化格式与字段命名,两端共用契约。
  4. 结构变更走版本兼容,旧消费者可跳过未知字段。

代码或图示

// 消息体示意(JSON)
// { "msg_key": "order:2001:paid", "event": "order.paid",
//   "order_id": 2001, "occurred_at": 1731900000, "version": 1 }
// 大报文:只传 ID,消费者回查数据库取详情

常见误区

  • 消息塞整份大对象:队列存储膨胀,消费反序列化慢。
  • 字段随意改名/删字段:旧消费者解析失败,消息进死信。

追问

  • 消息需要加密吗?答:敏感字段按合规要求处理;消息体尽量不放隐私与凭据,引用内部存储。
  • 消费失败能看到原始报文吗?答:死信队列保留原消息,排查时回放查看,设计时保留排障字段。

06.5.8.8-017 死信回查与人工处理流程怎么落地?

一句话结论

死信队列配套监控、分类与重放流程:死信消息记录失败原因与上下文,定期巡检;可修复问题修复后重放业务队列,不可修复的归档处理;流程脚本化,避免人工直接改代理数据。

概念解释

死信不是终点。回查流程:死信消费者或定时任务拉取死信,解析错误类型(参数错误、下游故障、序列化失败);参数/数据问题修正后重放;下游故障恢复后批量重放。重放必须走原消息键保证幂等。死信数量与类型纳入监控告警,长期堆积说明消费链路有系统性问题。

原理流程

  1. 死信消息保留原始报文、失败原因、时间与重试记录。
  2. 巡检任务分类死信,标记可重放/需人工/废弃。
  3. 修复后按批次重新 publish 到业务队列。
  4. 重放结果跟踪,处理完成清理或归档死信。

代码或图示

// 死信处理表:msg_key、dead_reason、payload、status(待处理/已重放/废弃)
// 重放:读取死信 payload -> basicPublish 回业务队列 -> 标记已重放
// 幂等:同一 msg_key 重放不产生重复副作用

常见误区

  • 死信队列无人消费:消息堆积无人感知,业务静默失败。
  • 直接改队列里的消息:绕过流程与记录,不可追溯。

追问

  • 重放要不要控制速率?答:批量重放限速,避免瞬间冲击下游;按下游能力分批。
  • 死信保留多久?答:按排查与合规周期设定,超期归档或清理。

06.5.8.8-018 需要监控哪些 RabbitMQ 指标?

一句话结论

核心指标:队列深度(ready/unacked)、投递与 ack 速率、消息生产/消费速率、连接与信道数、死信数量、节点内存与磁盘;指标趋势对比生产消费速率,提前发现堆积与故障。

概念解释

队列深度反映积压;unacked 反映在途处理量;消费速率持续低于生产速率会堆积。连接信道数异常增长提示连接泄漏。死信数量突增说明消费失败率上升。节点内存磁盘水位影响代理稳定性。指标通过管理接口/插件或监控系统采集,告警阈值按容量规划设定。

原理流程

  1. 采集各队列 ready、unacked、messages 总数。
  2. 统计 publish/deliver/ack 速率与死信计数。
  3. 监控连接数、信道数、节点内存磁盘水位。
  4. 超阈值告警:堆积、unacked 停滞、死信突增、水位过高。

代码或图示

// 指标示意(管理 API 或客户端队列声明结果)
// ready: 待投递;unacked: 已投未确认;deliver/ack 速率;dead-letter 计数
// 告警:队列深度连续增长、unacked 长期不下降、死信速率升高

常见误区

  • 只看队列总数:ready 与 unacked 混合看不出真实积压。
  • 不监控代理节点资源:内存磁盘水位过高时代理流控或告警。

追问

  • 流控是什么?答:代理内存/磁盘达阈值后限制或阻塞生产,具体行为版本相关,待确认。
  • 指标在哪看?答:RabbitMQ 管理插件/HTTP API;插件与接口可用性以部署环境为准。

06.5.8.8-019 PHP 常驻消费者如何守护,避免内存泄漏与异常退出?

一句话结论

消费者是独立 CLI 常驻进程:循环消费消息,捕获单条异常不退出进程,限制处理条数/内存后重启,由守护进程(systemd 类或进程管理工具)拉起;注意静态变量累积、连接断线重连与内存水位。

概念解释

FPM 不适合常驻消费,消费者用 CLI 脚本 basic_consume 循环。健壮性要点:单条消息 try/catch,异常不中断主循环;定期检查内存用量,超限后优雅退出由守护进程重启;连接断线重连;避免静态缓存无限增长。守护进程保证崩溃后自动拉起,日志记录每次重启与异常。本环境未装 swoole/swow,消费者基于同步阻塞循环实现。

原理流程

  1. CLI 脚本建立连接信道,声明队列与消费者。
  2. 循环 wait 消费消息,每条独立 try/catch。
  3. 统计处理条数与内存,达阈值退出进程。
  4. 守护进程监控退出状态并重启,断线重连后继续消费。

代码或图示

// 消费者主循环示意
while ($running) {
    $channel->wait(null, false); // 阻塞等待消息
    // 每条消息:try { 处理 + ack } catch { 记日志 + nack/死信 }
    if (memory_get_usage(true) > $limit) { exit(0); } // 交守护进程重启
}

常见误区

  • 单条异常未捕获导致进程退出:队列无人消费,堆积无人发现。
  • 进程内静态缓存只增不清:长时间运行内存泄漏,最终 OOM。

追问

  • 守护工具怎么选?答:按部署环境用 systemd、进程管理器或容器重启策略;本项目不引入额外运行时依赖。
  • 优雅停机怎么做?答:捕获停止信号,停止拉取新消息,处理完在途消息后关闭连接退出。

06.5.8.8-020 本地事务与消息投递如何配合保证最终一致?

一句话结论

采用本地消息表/事务消息思路:业务数据与待发消息在同一本地事务落库,提交后异步投递并 confirm 标记;消费者幂等消费;故障时补偿任务重发,达到最终一致,避免分布式事务强耦合。

概念解释

跨系统一致性不依赖 MQ 强事务:先保证本地库状态与消息记录原子写入,消息投递是后续异步动作。本地消息表方案最通用:事务内写业务与消息,后台扫描投递,confirm 成功标记,失败重试,死信兜底。消费者侧幂等保证重复投递无副作用。整体是最终一致,短暂不一致窗口由补偿任务收敛。

原理流程

  1. 本地事务:写业务记录 + 写待发消息记录。
  2. 提交后投递任务读取待发消息,发送到 MQ。
  3. confirm 成功更新消息状态;失败重试,超限转补偿。
  4. 消费者幂等处理;周期对账业务状态与消息状态。

代码或图示

// 事务内:业务表 + 消息表同写
// $db->beginTransaction();
// $db->exec("INSERT INTO orders ...");
// $db->exec("INSERT INTO msg_outbox (msg_key, payload, status) ...");
// $db->commit();
// 后台:扫 outbox -> publish -> confirm -> status=sent

常见误区

  • 业务库与消息表不在同一事务:两者状态可能不一致。
  • 补偿任务不跑:失败消息长期停留待发状态,下游收不到。

追问

  • 与事务消息(半消息)区别?答:事务消息由 MQ 提供半消息回查机制;本地消息表不依赖 MQ 特性,通用性强,代价是自建投递与补偿。
  • 不一致怎么对账?答:按周期比对业务表状态与 outbox/消费记录,差异触发重发或人工核查。