罗罗编程学习记录
本页内容 展开查看

04.6 阶段 5:数据层、缓存与队列

所属:全栈开发面试题库 / 学习路径 / 04 PHP 全栈

本页目录

一、阶段定位

阶段 4 解决"用框架交付业务系统"。本阶段解决"业务系统背后的数据层怎么不出事"。PHP 业务系统的稳定性问题,九成不在代码逻辑,而在三个地方:数据库事务与隔离级别、Redis 缓存一致性、消息队列可靠投递。本阶段把这三块的标准用法与高频坑讲透。

与前后阶段的衔接:往上是 04.5 阶段 4 框架主线 Laravel,本阶段讨论 Eloquent 的 N+1、Laravel 队列与 Horizon 的底层;往下接 04.7 阶段 6 FPM 性能与常驻内存,那里会讨论连接池、压测、Opcache。跳过本阶段直接学性能优化,会在"为什么压测时数据库连接数飙升""为什么缓存更新后还是脏数据""为什么队列重复消费产生重复订单"这些问题上反复返工。

原始卡点展开成可判断的现象依据:

  • 缓存与数据库更新顺序不当导致脏读:判断标准是更新订单后,列表接口偶尔还返回旧金额——说明缓存先删后写、或写库后缓存没失效。
  • 队列重复消费产生重复订单或重复通知:判断标准是同一个订单号收到两条通知,说明消费逻辑没有幂等键。
  • 长事务与连接池配置不当导致连接耗尽:判断标准是压测时 SHOW PROCESSLIST 里大量 Sleep 连接,FPM 报 too many connections。

二、阶段目标与投入

能力目标(可验证的行为) 验证方式
能用 PDO 预处理语句写查询,杜绝字符串拼接 SQL PDO::ATTR_ERRMODE => ERRMODE_EXCEPTION 生效
能写事务并说明四种隔离级别对应的现象 能口述脏读/不可重复读/幻读
能用 Redis 数据结构选型,能讲清穿透/击穿/雪崩 手写三种方案并说明适用场景
能写 Redis 分布式锁,含过期与 Lua 释放 压测下不出现两个 worker 同时持锁
能配 RabbitMQ 交换机、持久化、手动 ack 重启 RabbitMQ 后消息不丢
能写幂等消费逻辑,重复投递不产生脏数据 同一条消息投递 3 次,结果与 1 次一致

建议学时:

  • 全职(每天 4–6 小时):2.5 周,约 70 小时。
  • 在职(每天 2 小时、周末补 4 小时):5 周,约 70 小时。

学时分配:PDO 与事务 20%、Redis 数据结构与缓存三兄弟 25%、分布式锁与限流 15%、RabbitMQ 与可靠投递 25%、幂等与延迟队列 15%。缓存三兄弟与幂等是面试高频,时间给够。

三、先修自检

先修项 合格标准 不合格时回到
Laravel 基础 路由、模型、队列能跑 04.5 阶段 4 框架主线 Laravel
SQL 基础 会 SELECT/INSERT/UPDATE/JOIN 05.1 关系型数据库通用能力
MySQL 安装 本机有 MySQL 可连 不属本篇
Redis 安装 redis-cli ping 返回 PONG 不属本篇

经验判断:写过 Java 的人会把 PHP PDO 与 JDBC 类比;但 PHP 没有连接池概念(FPM 每请求新建连接),这是阶段 6 要重点解决的常驻模型差异。

四、知识地图

模块 知识点 掌握程度 对应题库章节
PDO 预处理 prepare/bindValue、ATTR_ERRMODE、防注入边界 能讲清原理 05.1 关系型数据库通用能力
事务与隔离 beginTransaction/commit/rollBack、四种隔离级别 能讲清原理 05.2 MySQL
N+1 与连接 with() 预加载、连接复用、迁移回滚 会用 05.1 关系型数据库通用能力
Redis 结构 String/Hash/List/Set/ZSet/Bitmap/HyperLogLog 选型 会用 05.5 NoSQL 与专用存储
缓存三兄弟 穿透(空值/布隆)、击穿(互斥)、雪崩(TTL 打散) 能讲清原理 09.3 缓存体系
分布式锁与限流 SET NX EX、Lua 释放、令牌桶/滑动窗口 能讲清原理 09.3 缓存体系
RabbitMQ direct/topic/fanout/headers、持久化、手动 ack 会用 09.4 消息队列
幂等与延迟 幂等键、死信队列、TTL+DLX 延迟 能讲清原理 09.4 消息队列

进度管理建议:事务隔离级别与缓存三兄弟能口述清楚再进阶段 6。全量清单见 04.10 知识点全清单。

五、分模块精讲

5.1 PDO 与预处理语句

为什么需要它:字符串拼接 SQL 是 SQL 注入的根源。PDO 预处理把 SQL 模板与参数分开发送,数据库引擎先编译模板再绑参数,参数永远不会被当作 SQL 语法解析。

核心机制:

  • 连接:new PDO('mysql:host=127.0.0.1;dbname=x;charset=utf8mb4', $user, $pass, $options)。
  • 关键 options:PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION(错误抛异常)、PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC、PDO::ATTR_EMULATE_PREPARES => false(用原生预处理,更安全)。
  • 预处理:$stmt = $pdo->prepare('SELECT * FROM users WHERE id = ?'); $stmt->execute([$id]);。
  • 防注入边界:表名、排序字段、LIMIT 不能用预处理占位符,必须白名单校验。

最小可运行示例:

<?php
$pdo = new PDO(
    'mysql:host=127.0.0.1;dbname=shop;charset=utf8mb4',
    'root', 'secret',
    [
        PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION,
        PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC,
        PDO::ATTR_EMULATE_PREPARES => false,
    ]
);

// 安全:占位符绑定
$stmt = $pdo->prepare('SELECT id, name FROM users WHERE id = ? AND status = ?');
$stmt->execute([$id, 1]);
$user = $stmt->fetch();

// 危险:拼接 SQL,注入
// $sql = "SELECT * FROM users WHERE id = $_GET[id]"; // 永远不要这样

常见坑:

现象 原因 修法
SQLSTATE[42000] 注入 字符串拼接 SQL 改预处理占位符
LIMIT ? 绑定报错 模拟预处理下参数被当字符串 设 ATTR_EMULATE_PREPARES => false,或白名单
报错不抛异常 ERRMODE 默认 SILENT 设 ERRMODE_EXCEPTION

面试考法:"预处理为什么能防注入""表名能预处理吗"。答到:SQL 模板与参数分两次发送,参数不会被解析为语法;表名/排序字段是 SQL 结构,不能占位,必须白名单。

5.2 事务与隔离级别

为什么需要它:转账、下单、扣库存这类多步操作必须原子性。事务保证"要么全成功,要么全回滚";隔离级别决定并发事务之间能看到什么。

核心机制:

  • 事务:$pdo->beginTransaction(); ...; $pdo->commit(); 失败时 rollBack()。
  • MySQL 默认隔离级别 REPEATABLE READ(可重复读)。
  • 四种隔离级别与现象:
    • READ UNCOMMITTED:脏读(读到未提交数据);
    • READ COMMITTED:不可重复读(同一事务两次读同一行不同);
    • REPEATABLE READ:幻读(同一事务两次范围查询行数不同,InnoDB 用 Next-Key Lock 缓解);
    • SERIALIZABLE:全部串行,最严最慢。
  • 长事务危害:锁持有时间长、连接不释放、主从延迟大。

最小可运行示例:

<?php
try {
    $pdo->beginTransaction();

    // 扣减库存
    $pdo->prepare('UPDATE products SET stock = stock - ? WHERE id = ? AND stock >= ?')
        ->execute([$qty, $productId, $qty]);
    if ($pdo->lastInsertId() === 0 && $qty > 0) {
        throw new RuntimeException('库存不足');
    }

    // 创建订单
    $pdo->prepare('INSERT INTO orders (user_id, amount) VALUES (?, ?)')
        ->execute([$userId, $amount]);

    $pdo->commit();
} catch (Throwable $e) {
    if ($pdo->inTransaction()) {
        $pdo->rollBack();
    }
    throw $e;
}

常见坑:

现象 原因 修法
事务里调外部 API 长事务,锁持有太久 先落库再异步调外部,或用本地消息表
rollBack 后仍报错 事务已自动提交 检查异常路径
并发下单超卖 没加 WHERE stock >= ? 条件 乐观锁/悲观锁,见上例

面试考法:"四种隔离级别""长事务危害"。答到:分别对应脏读/不可重复读/幻读;长事务占连接、占锁、放大主从延迟。

5.3 Eloquent N+1 与连接池概念

为什么需要它:Eloquent 是 ORM,写起来爽,但 N+1 与连接管理是性能两大坑。本阶段把 FPM 下的连接行为讲清。

核心机制:

  • N+1:列表查一次(1),循环里每条查关联(N),用 with() 预加载。
  • FPM 模型:每请求新建 PDO 连接,请求结束销毁;没有连接池。
  • 常驻模型(Swoole/Hyperf):连接复用,必须配连接池大小,否则连接泄漏。
  • 慢查询:开启 Laravel 的 DB::listen 记录 SQL,或看 MySQL slow log。

最小可运行示例:

<?php
// 预加载嵌套关联
$orders = Order::with(['user', 'items.product'])->get();

// 只查需要的列
$orders = Order::with(['user:id,name'])->select('id', 'user_id', 'amount')->get();

// 调试 N+1
DB::listen(function ($query) {
    \Illuminate\Support\Facades\Log::info($query->sql, $query->bindings);
});

常见坑:

现象 原因 修法
列表接口 SQL 日志几十条 没 with 预加载
select * 后关联报错 缺外键列 select 里带上 user_id
压测时 MySQL too many connections FPM 每请求一连接 阶段 6 引入常驻连接池

面试考法:"FPM 有连接池吗""怎么定位 N+1"。答到:FPM 没有,每请求新建;用 SQL 监听日志或 Telescope 定位。

5.4 Redis 数据结构选型

为什么需要它:Redis 不是"一个 key-value",而是五种基础结构加若干高级结构。选型错了,要么用 String 存本该用 ZSet 的排行榜,要么用 Hash 存本该用 Set 的关系。

核心机制:

  • String:缓存、计数器、分布式锁。
  • Hash:对象存储(用户资料)。
  • List:队列(简单消息)、栈。
  • Set:去重、标签、共同好友。
  • ZSet(有序集合):排行榜、延迟队列(按分数排序)。
  • Bitmap:签到、在线状态。
  • HyperLogLog:UV 统计(误差 0.81%)。

最小可运行示例:

<?php
use Illuminate\Support\Facades\Redis;

// String:缓存
Redis::setex("user:{$id}", 3600, json_encode($user));

// Hash:用户资料
Redis::hset("user:{$id}", 'name', 'Ann');
Redis::hset("user:{$id}", 'age', 30);

// ZSet:本周销量榜
Redis::zadd('sales:week', $amount, "order:{$orderId}");
$top10 = Redis::zrevrange('sales:week', 0, 9, true);

// Set:标签
Redis::sadd("article:{$id}:tags", 'php', 'laravel');

// 计数器:incr 原子自增
Redis::incr("pageview:{$articleId}");

常见坑:

现象 原因 修法
排行榜用 String 存 选型错 改 ZSet
大 key 占内存 Hash 存了几万个字段 拆 key,或用 Redis 4+ 的大 key 清理
计数器并发丢 用 get+set 用 incr 原子操作

面试考法:"排行榜用什么结构""UV 用什么"。答到:ZSet;HyperLogLog。

5.5 缓存穿透、击穿与雪崩

为什么需要它:缓存是数据库前面的盾牌。盾牌破了,数据库直接被打挂。这三个概念是 Redis 面试的必考题。

核心机制:

  • 穿透:查不存在的 key,每次都打到数据库。方案:空值缓存(短 TTL)、布隆过滤器。
  • 击穿:热点 key 过期瞬间,大量请求同时打到数据库。方案:互斥锁(只放一个请求去重建缓存)、逻辑过期。
  • 雪崩:大量 key 同时过期,或 Redis 宕机。方案:TTL 加随机抖动、Redis 集群、降级兜底。

最小可运行示例:

<?php
// 空值缓存防穿透
$cacheKey = "user:{$id}";
$user = Redis::get($cacheKey);
if ($user === null) {
    $user = DB::table('users')->where('id', $id)->first();
    // 不存在也缓存,短 TTL 60 秒,防穿透
    Redis::setex($cacheKey, $user ? 3600 : 60, json_encode($user ?? ['__null' => true]));
}

// 互斥锁防击穿
$lockKey = "lock:{$cacheKey}";
if (Redis::set($lockKey, 1, 'NX', 'EX', 10)) {
    try {
        // 只有一个请求重建缓存
        $user = DB::table('users')->where('id', $id)->first();
        Redis::setex($cacheKey, 3600, json_encode($user));
    } finally {
        Redis::del($lockKey);
    }
} else {
    usleep(100000); // 其他请求等 100ms 后重试
    $user = json_decode(Redis::get($cacheKey), true);
}

常见坑:

现象 原因 修法
恶意请求 id=-1 打挂数据库 穿透 空值缓存 + 布隆过滤器
热点 key 过期瞬间 DB CPU 100% 击穿 互斥锁重建
整点缓存同时失效 TTL 固定 TTL 加随机抖动(3600+rand(0,600))

面试考法:"穿透、击穿、雪崩区别"。答到:穿透是查不存在,击穿是热点 key 过期,雪崩是大量 key 同时失效或 Redis 宕机。

5.6 分布式锁与限流

为什么需要它:单机锁(Redis 单实例本地)在多实例部署下失效;限流保护接口不被打垮。

核心机制:

  • 加锁:SET lock_key unique_value NX EX 10(原子操作,NX 只在 key 不存在时设置,EX 过期)。
  • 释放:必须用 Lua 脚本,先判断 value 是不是自己的,再删,避免误删别人的锁。
  • 续期:长任务用看门狗自动续期(如 Redisson,但 PHP 生态常用简单锁)。
  • 限流:固定窗口(简单但临界问题)、滑动窗口(精确)、令牌桶(允许突发)。

最小可运行示例:

<?php
$lockKey = "lock:order:{$orderId}";
$token = bin2hex(random_bytes(8));
$ok = Redis::set($lockKey, $token, 'NX', 'EX', 10);

if (!$ok) {
    throw new RuntimeException('订单正在处理中');
}

try {
    // 处理订单
} finally {
    // Lua 释放:只删自己的锁
    Lua::script(<<<LUA
        if redis.call('get', KEYS[1]) == ARGV[1] then
            return redis.call('del', KEYS[1])
        end
        return 0
    LUA, 1, $lockKey, $token);
}

// 简单限流:固定窗口
$key = "rate:{$userId}:".date('i');
$count = Redis::incr($key);
if ($count === 1) Redis::expire($key, 60);
if ($count > 100) throw new RuntimeException('限流');

常见坑:

现象 原因 修法
误删别人的锁 释放时没校验 value 用 Lua 脚本先判断再删
锁过期但任务还在跑 没续期 加看门狗,或缩短任务粒度
限流临界问题 固定窗口 改滑动窗口或令牌桶

面试考法:"Redis 锁怎么释放才安全""为什么要加过期时间"。答到:Lua 先校验 value 再删;过期时间防止进程崩溃后锁永不释放。

5.7 RabbitMQ 交换机与可靠投递

为什么需要它:数据库队列(Laravel database driver)性能差、无路由。RabbitMQ 提供交换机路由、持久化、确认机制,是生产级异步方案。

核心机制:

  • 四种交换机:
    • direct:精确匹配 routing key;
    • topic:模式匹配(order.*);
    • fanout:广播到所有绑定队列;
    • headers:按属性匹配,少用。
  • 可靠投递三要素:
    • 队列与消息都设为 durable(持久化);
    • 生产者开启 publisher confirm(Broker 确认收到);
    • 消费者手动 ack(处理完才确认,失败 nack 重投)。
  • 连接:每个 worker 一个连接,多通道。

最小可运行示例(php-amqplib 概念):

<?php
use PhpAmqpLib\Connection\AMQPStreamConnection;
use PhpAmqpLib\Message\AMQPMessage;

$conn = new AMQPStreamConnection('localhost', 5672, 'guest', 'guest');
$ch = $conn->channel();

// 声明持久化队列
$ch->queue_declare('orders', durable: true);

// 发布持久化消息
$msg = new AMQPMessage(
    json_encode(['order_id' => 123]),
    ['delivery_mode' => AMQPMessage::DELIVERY_MODE_PERSISTENT]
);
$ch->basic_publish($msg, exchange: '', routing_key: 'orders');

// 消费:手动 ack
$ch->basic_consume('orders', '', false, false, false, false, function ($msg) {
    try {
        // 处理
        $ch->basic_ack($msg->delivery_info['delivery_tag']);
    } catch (Throwable $e) {
        // 失败 nack,重投或进死信
        $ch->basic_nack($msg->delivery_info['delivery_tag'], requeue: false);
    }
});

常见坑:

现象 原因 修法
重启 RabbitMQ 后消息丢了 队列/消息没设 durable 双方都持久化
消费者崩了消息丢 自动 ack 改手动 ack
消息无限重投 nack requeue=true 失败进死信队列

面试考法:"四种交换机区别""怎么保证消息不丢"。答到:direct 精确、topic 模式、fanout 广播;持久化 + publisher confirm + 手动 ack。

5.8 死信、幂等消费与延迟队列

为什么需要它:失败消息必须有兜底(死信);重复投递必须幂等(业务键);超时任务需要延迟队列。

核心机制:

  • 死信队列(DLX):被拒绝(nack requeue=false)、过期、队列满的消息会转发到死信交换机,进死信队列,由人工或补偿任务处理。
  • 幂等消费:业务上用唯一键(如 order_id)判断是否已处理,已处理直接 ack。
  • 延迟队列:用 TTL + DLX 实现——消息先发到一个带 TTL 的队列,过期后进死信交换机,路由到真正的消费队列。

最小可运行示例:

<?php
// 幂等消费:用 Redis 记录已处理
public function handle(array $data): void {
    $idempotencyKey = "consumed:order:{$data['order_id']}";
    if (Redis::set($idempotencyKey, 1, 'NX', 'EX', 86400)) {
        // 第一次处理
        $this->doBusiness($data);
    }
    // 已处理过,直接 ack,不重复执行业务
}

常见坑:

现象 原因 修法
重复消费产生重复订单 没幂等键 用业务唯一键去重
失败消息无限重试 没死信 配 DLX,进死信队列人工处理
延迟任务不准 TTL 队列队头阻塞 用 rabbitmq-delayed-message-exchange 插件

面试考法:"怎么保证消费幂等""延迟队列怎么实现"。答到:业务唯一键 + Redis/DB 记录已处理;TTL + DLX 或延迟插件。

六、分层练习

6.1 复现型

练习 要求 验收标准 预计耗时
PDO 预处理 写一个查询,故意用拼接演示注入 改预处理后注入失败 1 小时
事务转账 两个账户扣减,失败回滚 手动抛异常,余额不变 2 小时
Redis 缓存 给用户列表加缓存 第二次请求不查库 1.5 小时
互斥锁重建 复现击穿后加锁 压测下 DB QPS 平稳 2 小时
RabbitMQ 收发 用 php-amqplib 发一条消费一条 手动 ack 生效 2 小时

6.2 改造型

练习 要求 验收标准 预计耗时
消除 N+1 把列表接口加 with SQL 日志从 N 条降到 2 条 1 小时
缓存更新策略 写"先删缓存→写库→再删缓存" 并发下脏读率下降 2 小时
幂等消费 给订单消费加 Redis 幂等键 同消息投递 3 次结果一致 2 小时
限流 给接口加滑动窗口限流 超过阈值返回 429 2 小时

6.3 设计型

练习 要求 验收标准 预计耗时
订单异步闭环 下单→扣库存→发通知→延迟取消 见 04.13 实战项目阶梯 项目五 15 小时
缓存方案文档 写清楚穿透/击穿/雪崩方案 团队 review 无歧义 2 小时
死信处理流程 失败消息进 DLX,人工补偿脚本 死信队列有消费者 3 小时

七、排障表

现象 可能原因 排查步骤 解决办法
SQL 注入 字符串拼接 开 SQL 日志看实际语句 改预处理占位符
压测时 too many connections FPM 每请求一连接 SHOW PROCESSLIST 阶段 6 常驻连接池
列表接口 SQL 日志几十条 N+1 开 DB::listen with() 预加载
缓存更新后脏读 缓存先于库失效 看更新顺序 先写库再删缓存
热点 key 过期 DB 打挂 击穿 看 Redis slowlog 互斥锁重建
重复消费产生重复订单 没幂等键 看业务日志 加唯一键去重
重启 RabbitMQ 消息丢 没持久化 看队列声明 durable + persistent
分布式锁误删 释放没校验 value 看 Lua 脚本 先 get 比对再 del

八、出口条件

全部勾选后进入 04.7 阶段 6 FPM 性能与常驻内存。

  • [ ] 能用 PDO 预处理写查询,杜绝拼接 SQL
  • [ ] 能写事务并口述四种隔离级别对应现象
  • [ ] 能用 Redis 五种结构选型,讲清缓存三兄弟方案
  • [ ] 能写 Lua 安全释放分布式锁
  • [ ] 能配 RabbitMQ 持久化 + 手动 ack,重启不丢消息
  • [ ] 能写幂等消费逻辑,重复投递不产生脏数据
  • [ ] 排障表随机抽三个现象,5 分钟内给出排查路径

自测题:

  1. 预处理为什么能防注入?表名能占位吗?
    • 要点:SQL 模板与参数分两次发送,参数不会被解析为语法;表名是结构,必须白名单。
  2. 四种隔离级别分别对应什么现象?
    • 要点:读未提交→脏读;读提交→不可重复读;可重复读→幻读;串行化→无。
  3. 缓存穿透、击穿、雪崩区别?
    • 要点:穿透是查不存在(空值/布隆);击穿是热点 key 过期(互斥);雪崩是大量 key 同时失效(TTL 抖动)。
  4. Redis 锁怎么安全释放?
    • 要点:Lua 脚本先 get 比对 value 再 del,避免误删别人的锁。
  5. RabbitMQ 怎么保证消息不丢?
    • 要点:队列 durable + 消息 persistent + publisher confirm + 手动 ack。
  6. 消费端怎么保证幂等?
    • 要点:业务唯一键 + Redis/DB 记录已处理,重复消息直接 ack。
  7. FPM 模型下有连接池吗?
    • 要点:没有,每请求新建 PDO 连接,请求结束销毁;常驻模型才有连接池。