04.6 阶段 5:数据层、缓存与队列
本页目录
一、阶段定位
阶段 4 解决"用框架交付业务系统"。本阶段解决"业务系统背后的数据层怎么不出事"。PHP 业务系统的稳定性问题,九成不在代码逻辑,而在三个地方:数据库事务与隔离级别、Redis 缓存一致性、消息队列可靠投递。本阶段把这三块的标准用法与高频坑讲透。
与前后阶段的衔接:往上是 04.5 阶段 4 框架主线 Laravel,本阶段讨论 Eloquent 的 N+1、Laravel 队列与 Horizon 的底层;往下接 04.7 阶段 6 FPM 性能与常驻内存,那里会讨论连接池、压测、Opcache。跳过本阶段直接学性能优化,会在"为什么压测时数据库连接数飙升""为什么缓存更新后还是脏数据""为什么队列重复消费产生重复订单"这些问题上反复返工。
原始卡点展开成可判断的现象依据:
- 缓存与数据库更新顺序不当导致脏读:判断标准是更新订单后,列表接口偶尔还返回旧金额——说明缓存先删后写、或写库后缓存没失效。
- 队列重复消费产生重复订单或重复通知:判断标准是同一个订单号收到两条通知,说明消费逻辑没有幂等键。
- 长事务与连接池配置不当导致连接耗尽:判断标准是压测时
SHOW PROCESSLIST里大量Sleep连接,FPM 报too many connections。
二、阶段目标与投入
| 能力目标(可验证的行为) | 验证方式 |
|---|---|
| 能用 PDO 预处理语句写查询,杜绝字符串拼接 SQL | PDO::ATTR_ERRMODE => ERRMODE_EXCEPTION 生效 |
| 能写事务并说明四种隔离级别对应的现象 | 能口述脏读/不可重复读/幻读 |
| 能用 Redis 数据结构选型,能讲清穿透/击穿/雪崩 | 手写三种方案并说明适用场景 |
| 能写 Redis 分布式锁,含过期与 Lua 释放 | 压测下不出现两个 worker 同时持锁 |
| 能配 RabbitMQ 交换机、持久化、手动 ack | 重启 RabbitMQ 后消息不丢 |
| 能写幂等消费逻辑,重复投递不产生脏数据 | 同一条消息投递 3 次,结果与 1 次一致 |
建议学时:
- 全职(每天 4–6 小时):2.5 周,约 70 小时。
- 在职(每天 2 小时、周末补 4 小时):5 周,约 70 小时。
学时分配:PDO 与事务 20%、Redis 数据结构与缓存三兄弟 25%、分布式锁与限流 15%、RabbitMQ 与可靠投递 25%、幂等与延迟队列 15%。缓存三兄弟与幂等是面试高频,时间给够。
三、先修自检
| 先修项 | 合格标准 | 不合格时回到 |
|---|---|---|
| Laravel 基础 | 路由、模型、队列能跑 | 04.5 阶段 4 框架主线 Laravel |
| SQL 基础 | 会 SELECT/INSERT/UPDATE/JOIN | 05.1 关系型数据库通用能力 |
| MySQL 安装 | 本机有 MySQL 可连 | 不属本篇 |
| Redis 安装 | redis-cli ping 返回 PONG |
不属本篇 |
经验判断:写过 Java 的人会把 PHP PDO 与 JDBC 类比;但 PHP 没有连接池概念(FPM 每请求新建连接),这是阶段 6 要重点解决的常驻模型差异。
四、知识地图
| 模块 | 知识点 | 掌握程度 | 对应题库章节 |
|---|---|---|---|
| PDO 预处理 | prepare/bindValue、ATTR_ERRMODE、防注入边界 |
能讲清原理 | 05.1 关系型数据库通用能力 |
| 事务与隔离 | beginTransaction/commit/rollBack、四种隔离级别 |
能讲清原理 | 05.2 MySQL |
| N+1 与连接 | with() 预加载、连接复用、迁移回滚 |
会用 | 05.1 关系型数据库通用能力 |
| Redis 结构 | String/Hash/List/Set/ZSet/Bitmap/HyperLogLog 选型 | 会用 | 05.5 NoSQL 与专用存储 |
| 缓存三兄弟 | 穿透(空值/布隆)、击穿(互斥)、雪崩(TTL 打散) | 能讲清原理 | 09.3 缓存体系 |
| 分布式锁与限流 | SET NX EX、Lua 释放、令牌桶/滑动窗口 |
能讲清原理 | 09.3 缓存体系 |
| RabbitMQ | direct/topic/fanout/headers、持久化、手动 ack | 会用 | 09.4 消息队列 |
| 幂等与延迟 | 幂等键、死信队列、TTL+DLX 延迟 | 能讲清原理 | 09.4 消息队列 |
进度管理建议:事务隔离级别与缓存三兄弟能口述清楚再进阶段 6。全量清单见 04.10 知识点全清单。
五、分模块精讲
5.1 PDO 与预处理语句
为什么需要它:字符串拼接 SQL 是 SQL 注入的根源。PDO 预处理把 SQL 模板与参数分开发送,数据库引擎先编译模板再绑参数,参数永远不会被当作 SQL 语法解析。
核心机制:
- 连接:
new PDO('mysql:host=127.0.0.1;dbname=x;charset=utf8mb4', $user, $pass, $options)。 - 关键 options:
PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION(错误抛异常)、PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC、PDO::ATTR_EMULATE_PREPARES => false(用原生预处理,更安全)。 - 预处理:
$stmt = $pdo->prepare('SELECT * FROM users WHERE id = ?'); $stmt->execute([$id]);。 - 防注入边界:表名、排序字段、LIMIT 不能用预处理占位符,必须白名单校验。
最小可运行示例:
<?php
$pdo = new PDO(
'mysql:host=127.0.0.1;dbname=shop;charset=utf8mb4',
'root', 'secret',
[
PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION,
PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC,
PDO::ATTR_EMULATE_PREPARES => false,
]
);
// 安全:占位符绑定
$stmt = $pdo->prepare('SELECT id, name FROM users WHERE id = ? AND status = ?');
$stmt->execute([$id, 1]);
$user = $stmt->fetch();
// 危险:拼接 SQL,注入
// $sql = "SELECT * FROM users WHERE id = $_GET[id]"; // 永远不要这样
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
SQLSTATE[42000] 注入 |
字符串拼接 SQL | 改预处理占位符 |
LIMIT ? 绑定报错 |
模拟预处理下参数被当字符串 | 设 ATTR_EMULATE_PREPARES => false,或白名单 |
| 报错不抛异常 | ERRMODE 默认 SILENT | 设 ERRMODE_EXCEPTION |
面试考法:"预处理为什么能防注入""表名能预处理吗"。答到:SQL 模板与参数分两次发送,参数不会被解析为语法;表名/排序字段是 SQL 结构,不能占位,必须白名单。
5.2 事务与隔离级别
为什么需要它:转账、下单、扣库存这类多步操作必须原子性。事务保证"要么全成功,要么全回滚";隔离级别决定并发事务之间能看到什么。
核心机制:
- 事务:
$pdo->beginTransaction(); ...; $pdo->commit();失败时rollBack()。 - MySQL 默认隔离级别
REPEATABLE READ(可重复读)。 - 四种隔离级别与现象:
READ UNCOMMITTED:脏读(读到未提交数据);READ COMMITTED:不可重复读(同一事务两次读同一行不同);REPEATABLE READ:幻读(同一事务两次范围查询行数不同,InnoDB 用 Next-Key Lock 缓解);SERIALIZABLE:全部串行,最严最慢。
- 长事务危害:锁持有时间长、连接不释放、主从延迟大。
最小可运行示例:
<?php
try {
$pdo->beginTransaction();
// 扣减库存
$pdo->prepare('UPDATE products SET stock = stock - ? WHERE id = ? AND stock >= ?')
->execute([$qty, $productId, $qty]);
if ($pdo->lastInsertId() === 0 && $qty > 0) {
throw new RuntimeException('库存不足');
}
// 创建订单
$pdo->prepare('INSERT INTO orders (user_id, amount) VALUES (?, ?)')
->execute([$userId, $amount]);
$pdo->commit();
} catch (Throwable $e) {
if ($pdo->inTransaction()) {
$pdo->rollBack();
}
throw $e;
}
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 事务里调外部 API | 长事务,锁持有太久 | 先落库再异步调外部,或用本地消息表 |
rollBack 后仍报错 |
事务已自动提交 | 检查异常路径 |
| 并发下单超卖 | 没加 WHERE stock >= ? 条件 |
乐观锁/悲观锁,见上例 |
面试考法:"四种隔离级别""长事务危害"。答到:分别对应脏读/不可重复读/幻读;长事务占连接、占锁、放大主从延迟。
5.3 Eloquent N+1 与连接池概念
为什么需要它:Eloquent 是 ORM,写起来爽,但 N+1 与连接管理是性能两大坑。本阶段把 FPM 下的连接行为讲清。
核心机制:
- N+1:列表查一次(1),循环里每条查关联(N),用
with()预加载。 - FPM 模型:每请求新建 PDO 连接,请求结束销毁;没有连接池。
- 常驻模型(Swoole/Hyperf):连接复用,必须配连接池大小,否则连接泄漏。
- 慢查询:开启 Laravel 的
DB::listen记录 SQL,或看 MySQL slow log。
最小可运行示例:
<?php
// 预加载嵌套关联
$orders = Order::with(['user', 'items.product'])->get();
// 只查需要的列
$orders = Order::with(['user:id,name'])->select('id', 'user_id', 'amount')->get();
// 调试 N+1
DB::listen(function ($query) {
\Illuminate\Support\Facades\Log::info($query->sql, $query->bindings);
});
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 列表接口 SQL 日志几十条 | 没 with |
预加载 |
select * 后关联报错 |
缺外键列 | select 里带上 user_id |
压测时 MySQL too many connections |
FPM 每请求一连接 | 阶段 6 引入常驻连接池 |
面试考法:"FPM 有连接池吗""怎么定位 N+1"。答到:FPM 没有,每请求新建;用 SQL 监听日志或 Telescope 定位。
5.4 Redis 数据结构选型
为什么需要它:Redis 不是"一个 key-value",而是五种基础结构加若干高级结构。选型错了,要么用 String 存本该用 ZSet 的排行榜,要么用 Hash 存本该用 Set 的关系。
核心机制:
- String:缓存、计数器、分布式锁。
- Hash:对象存储(用户资料)。
- List:队列(简单消息)、栈。
- Set:去重、标签、共同好友。
- ZSet(有序集合):排行榜、延迟队列(按分数排序)。
- Bitmap:签到、在线状态。
- HyperLogLog:UV 统计(误差 0.81%)。
最小可运行示例:
<?php
use Illuminate\Support\Facades\Redis;
// String:缓存
Redis::setex("user:{$id}", 3600, json_encode($user));
// Hash:用户资料
Redis::hset("user:{$id}", 'name', 'Ann');
Redis::hset("user:{$id}", 'age', 30);
// ZSet:本周销量榜
Redis::zadd('sales:week', $amount, "order:{$orderId}");
$top10 = Redis::zrevrange('sales:week', 0, 9, true);
// Set:标签
Redis::sadd("article:{$id}:tags", 'php', 'laravel');
// 计数器:incr 原子自增
Redis::incr("pageview:{$articleId}");
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 排行榜用 String 存 | 选型错 | 改 ZSet |
| 大 key 占内存 | Hash 存了几万个字段 | 拆 key,或用 Redis 4+ 的大 key 清理 |
| 计数器并发丢 | 用 get+set |
用 incr 原子操作 |
面试考法:"排行榜用什么结构""UV 用什么"。答到:ZSet;HyperLogLog。
5.5 缓存穿透、击穿与雪崩
为什么需要它:缓存是数据库前面的盾牌。盾牌破了,数据库直接被打挂。这三个概念是 Redis 面试的必考题。
核心机制:
- 穿透:查不存在的 key,每次都打到数据库。方案:空值缓存(短 TTL)、布隆过滤器。
- 击穿:热点 key 过期瞬间,大量请求同时打到数据库。方案:互斥锁(只放一个请求去重建缓存)、逻辑过期。
- 雪崩:大量 key 同时过期,或 Redis 宕机。方案:TTL 加随机抖动、Redis 集群、降级兜底。
最小可运行示例:
<?php
// 空值缓存防穿透
$cacheKey = "user:{$id}";
$user = Redis::get($cacheKey);
if ($user === null) {
$user = DB::table('users')->where('id', $id)->first();
// 不存在也缓存,短 TTL 60 秒,防穿透
Redis::setex($cacheKey, $user ? 3600 : 60, json_encode($user ?? ['__null' => true]));
}
// 互斥锁防击穿
$lockKey = "lock:{$cacheKey}";
if (Redis::set($lockKey, 1, 'NX', 'EX', 10)) {
try {
// 只有一个请求重建缓存
$user = DB::table('users')->where('id', $id)->first();
Redis::setex($cacheKey, 3600, json_encode($user));
} finally {
Redis::del($lockKey);
}
} else {
usleep(100000); // 其他请求等 100ms 后重试
$user = json_decode(Redis::get($cacheKey), true);
}
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 恶意请求 id=-1 打挂数据库 | 穿透 | 空值缓存 + 布隆过滤器 |
| 热点 key 过期瞬间 DB CPU 100% | 击穿 | 互斥锁重建 |
| 整点缓存同时失效 | TTL 固定 | TTL 加随机抖动(3600+rand(0,600)) |
面试考法:"穿透、击穿、雪崩区别"。答到:穿透是查不存在,击穿是热点 key 过期,雪崩是大量 key 同时失效或 Redis 宕机。
5.6 分布式锁与限流
为什么需要它:单机锁(Redis 单实例本地)在多实例部署下失效;限流保护接口不被打垮。
核心机制:
- 加锁:
SET lock_key unique_value NX EX 10(原子操作,NX 只在 key 不存在时设置,EX 过期)。 - 释放:必须用 Lua 脚本,先判断 value 是不是自己的,再删,避免误删别人的锁。
- 续期:长任务用看门狗自动续期(如 Redisson,但 PHP 生态常用简单锁)。
- 限流:固定窗口(简单但临界问题)、滑动窗口(精确)、令牌桶(允许突发)。
最小可运行示例:
<?php
$lockKey = "lock:order:{$orderId}";
$token = bin2hex(random_bytes(8));
$ok = Redis::set($lockKey, $token, 'NX', 'EX', 10);
if (!$ok) {
throw new RuntimeException('订单正在处理中');
}
try {
// 处理订单
} finally {
// Lua 释放:只删自己的锁
Lua::script(<<<LUA
if redis.call('get', KEYS[1]) == ARGV[1] then
return redis.call('del', KEYS[1])
end
return 0
LUA, 1, $lockKey, $token);
}
// 简单限流:固定窗口
$key = "rate:{$userId}:".date('i');
$count = Redis::incr($key);
if ($count === 1) Redis::expire($key, 60);
if ($count > 100) throw new RuntimeException('限流');
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 误删别人的锁 | 释放时没校验 value | 用 Lua 脚本先判断再删 |
| 锁过期但任务还在跑 | 没续期 | 加看门狗,或缩短任务粒度 |
| 限流临界问题 | 固定窗口 | 改滑动窗口或令牌桶 |
面试考法:"Redis 锁怎么释放才安全""为什么要加过期时间"。答到:Lua 先校验 value 再删;过期时间防止进程崩溃后锁永不释放。
5.7 RabbitMQ 交换机与可靠投递
为什么需要它:数据库队列(Laravel database driver)性能差、无路由。RabbitMQ 提供交换机路由、持久化、确认机制,是生产级异步方案。
核心机制:
- 四种交换机:
- direct:精确匹配 routing key;
- topic:模式匹配(
order.*); - fanout:广播到所有绑定队列;
- headers:按属性匹配,少用。
- 可靠投递三要素:
- 队列与消息都设为 durable(持久化);
- 生产者开启 publisher confirm(Broker 确认收到);
- 消费者手动 ack(处理完才确认,失败 nack 重投)。
- 连接:每个 worker 一个连接,多通道。
最小可运行示例(php-amqplib 概念):
<?php
use PhpAmqpLib\Connection\AMQPStreamConnection;
use PhpAmqpLib\Message\AMQPMessage;
$conn = new AMQPStreamConnection('localhost', 5672, 'guest', 'guest');
$ch = $conn->channel();
// 声明持久化队列
$ch->queue_declare('orders', durable: true);
// 发布持久化消息
$msg = new AMQPMessage(
json_encode(['order_id' => 123]),
['delivery_mode' => AMQPMessage::DELIVERY_MODE_PERSISTENT]
);
$ch->basic_publish($msg, exchange: '', routing_key: 'orders');
// 消费:手动 ack
$ch->basic_consume('orders', '', false, false, false, false, function ($msg) {
try {
// 处理
$ch->basic_ack($msg->delivery_info['delivery_tag']);
} catch (Throwable $e) {
// 失败 nack,重投或进死信
$ch->basic_nack($msg->delivery_info['delivery_tag'], requeue: false);
}
});
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 重启 RabbitMQ 后消息丢了 | 队列/消息没设 durable | 双方都持久化 |
| 消费者崩了消息丢 | 自动 ack | 改手动 ack |
| 消息无限重投 | nack requeue=true | 失败进死信队列 |
面试考法:"四种交换机区别""怎么保证消息不丢"。答到:direct 精确、topic 模式、fanout 广播;持久化 + publisher confirm + 手动 ack。
5.8 死信、幂等消费与延迟队列
为什么需要它:失败消息必须有兜底(死信);重复投递必须幂等(业务键);超时任务需要延迟队列。
核心机制:
- 死信队列(DLX):被拒绝(nack requeue=false)、过期、队列满的消息会转发到死信交换机,进死信队列,由人工或补偿任务处理。
- 幂等消费:业务上用唯一键(如 order_id)判断是否已处理,已处理直接 ack。
- 延迟队列:用 TTL + DLX 实现——消息先发到一个带 TTL 的队列,过期后进死信交换机,路由到真正的消费队列。
最小可运行示例:
<?php
// 幂等消费:用 Redis 记录已处理
public function handle(array $data): void {
$idempotencyKey = "consumed:order:{$data['order_id']}";
if (Redis::set($idempotencyKey, 1, 'NX', 'EX', 86400)) {
// 第一次处理
$this->doBusiness($data);
}
// 已处理过,直接 ack,不重复执行业务
}
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 重复消费产生重复订单 | 没幂等键 | 用业务唯一键去重 |
| 失败消息无限重试 | 没死信 | 配 DLX,进死信队列人工处理 |
| 延迟任务不准 | TTL 队列队头阻塞 | 用 rabbitmq-delayed-message-exchange 插件 |
面试考法:"怎么保证消费幂等""延迟队列怎么实现"。答到:业务唯一键 + Redis/DB 记录已处理;TTL + DLX 或延迟插件。
六、分层练习
6.1 复现型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| PDO 预处理 | 写一个查询,故意用拼接演示注入 | 改预处理后注入失败 | 1 小时 |
| 事务转账 | 两个账户扣减,失败回滚 | 手动抛异常,余额不变 | 2 小时 |
| Redis 缓存 | 给用户列表加缓存 | 第二次请求不查库 | 1.5 小时 |
| 互斥锁重建 | 复现击穿后加锁 | 压测下 DB QPS 平稳 | 2 小时 |
| RabbitMQ 收发 | 用 php-amqplib 发一条消费一条 | 手动 ack 生效 | 2 小时 |
6.2 改造型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 消除 N+1 | 把列表接口加 with |
SQL 日志从 N 条降到 2 条 | 1 小时 |
| 缓存更新策略 | 写"先删缓存→写库→再删缓存" | 并发下脏读率下降 | 2 小时 |
| 幂等消费 | 给订单消费加 Redis 幂等键 | 同消息投递 3 次结果一致 | 2 小时 |
| 限流 | 给接口加滑动窗口限流 | 超过阈值返回 429 | 2 小时 |
6.3 设计型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 订单异步闭环 | 下单→扣库存→发通知→延迟取消 | 见 04.13 实战项目阶梯 项目五 | 15 小时 |
| 缓存方案文档 | 写清楚穿透/击穿/雪崩方案 | 团队 review 无歧义 | 2 小时 |
| 死信处理流程 | 失败消息进 DLX,人工补偿脚本 | 死信队列有消费者 | 3 小时 |
七、排障表
| 现象 | 可能原因 | 排查步骤 | 解决办法 |
|---|---|---|---|
| SQL 注入 | 字符串拼接 | 开 SQL 日志看实际语句 | 改预处理占位符 |
压测时 too many connections |
FPM 每请求一连接 | SHOW PROCESSLIST |
阶段 6 常驻连接池 |
| 列表接口 SQL 日志几十条 | N+1 | 开 DB::listen | with() 预加载 |
| 缓存更新后脏读 | 缓存先于库失效 | 看更新顺序 | 先写库再删缓存 |
| 热点 key 过期 DB 打挂 | 击穿 | 看 Redis slowlog | 互斥锁重建 |
| 重复消费产生重复订单 | 没幂等键 | 看业务日志 | 加唯一键去重 |
| 重启 RabbitMQ 消息丢 | 没持久化 | 看队列声明 | durable + persistent |
| 分布式锁误删 | 释放没校验 value | 看 Lua 脚本 | 先 get 比对再 del |
八、出口条件
全部勾选后进入 04.7 阶段 6 FPM 性能与常驻内存。
- [ ] 能用 PDO 预处理写查询,杜绝拼接 SQL
- [ ] 能写事务并口述四种隔离级别对应现象
- [ ] 能用 Redis 五种结构选型,讲清缓存三兄弟方案
- [ ] 能写 Lua 安全释放分布式锁
- [ ] 能配 RabbitMQ 持久化 + 手动 ack,重启不丢消息
- [ ] 能写幂等消费逻辑,重复投递不产生脏数据
- [ ] 排障表随机抽三个现象,5 分钟内给出排查路径
自测题:
- 预处理为什么能防注入?表名能占位吗?
- 要点:SQL 模板与参数分两次发送,参数不会被解析为语法;表名是结构,必须白名单。
- 四种隔离级别分别对应什么现象?
- 要点:读未提交→脏读;读提交→不可重复读;可重复读→幻读;串行化→无。
- 缓存穿透、击穿、雪崩区别?
- 要点:穿透是查不存在(空值/布隆);击穿是热点 key 过期(互斥);雪崩是大量 key 同时失效(TTL 抖动)。
- Redis 锁怎么安全释放?
- 要点:Lua 脚本先 get 比对 value 再 del,避免误删别人的锁。
- RabbitMQ 怎么保证消息不丢?
- 要点:队列 durable + 消息 persistent + publisher confirm + 手动 ack。
- 消费端怎么保证幂等?
- 要点:业务唯一键 + Redis/DB 记录已处理,重复消息直接 ack。
- FPM 模型下有连接池吗?
- 要点:没有,每请求新建 PDO 连接,请求结束销毁;常驻模型才有连接池。