罗罗编程学习记录
本页内容 展开查看

01.7 阶段 6 数据访问、缓存与消息

所属:全栈开发面试题库 / 学习路径 / 01 Java 与 Spring 全栈

本页目录

一、阶段定位

阶段 5 让你能写 REST 服务。本阶段解决服务真正"读写数据"时的核心问题:怎么连数据库、怎么查得快、怎么用缓存扛热点、怎么用消息队列解耦。因为线上 80% 的性能与一致性问题出在这一层——连接池配太小接口超时、缓存策略不当导致数据库被打穿、消息消费不幂等导致重复扣款、多数据源事务边界不清导致数据不一致。

不掌握本阶段会卡在:(1) HikariCP 的 maximumPoolSize 凭感觉填 500,结果数据库先被压垮;(2) 缓存穿透、击穿、雪崩三个名词背得滚瓜烂熟,但问"你的热点 key 过期瞬间 1000 QPS 打数据库怎么办"答不出;(3) 消息消费失败直接重试,导致同一笔订单扣两次库存;(4) 读写分离下主从延迟导致刚写入读不到;(5) 多数据源下 @Transactional 只对第一个数据源生效。

本阶段原有"卡点"落到现象:(1) 让你设计一个热点商品详情接口的缓存方案,你只会"查库后塞 Redis",不考虑穿透与过期;(2) 消息消费代码里没有任何幂等判断;(3) 问你 @Transactional 在多数据源下管哪些库,答"管所有"。出现任一现象,补齐再进 阶段 7 微服务与分布式治理。

二、阶段目标与投入

能力目标(可验证的行为) 验证方式
能配置 HikariCP 并给出连接数依据 写出 maximumPoolSize 与理由
能写 MyBatis Mapper 与动态 SQL、分页 一个带条件分页查询 DAO 测试通过
能说清缓存穿透/击穿/雪崩与对策 针对热点 key 设计方案
能实现 Redis 分布式锁并说清续约边界 写一个带 lease 的锁
能写出消费幂等方案 用业务唯一键去重
能区分缓存一致性与主从延迟 给出判断方法

建议学时:

  • 全职:3 周,约 80 小时。JDBC/连接池 10、MyBatis/SQL 索引 20、事务与多数据源 10、Redis 20、消息队列 20。
  • 在职:6 周,约 90 小时。

三、先修自检

先修项 合格标准 不合格时回到
Spring 事务 知道 @Transactional 01.6 阶段 5
SQL 基础 会 select/join/group by 数据库分册深入
并发 知道锁与原子类 01.4 阶段 3
测试 会 Testcontainers 01.5 阶段 4

四、知识地图

模块 知识点 掌握程度 对应题库章节
JDBC/连接池 DataSource、HikariCP 参数、池大小依据 能讲清原理 05.1 关系型数据库通用能力
MyBatis Mapper、动态 SQL、分页、缓存 会用 05.2 MySQL
SQL 与索引 执行计划、最左前缀、覆盖索引 能讲清原理 05.2 MySQL
事务/多数据源 服务层事务、多数据源限制、读写分离 能讲清原理 05.1 关系型数据库通用能力
Redis 数据结构、过期/淘汰、持久化 会用 09.3 缓存体系
缓存问题 穿透/击穿/雪崩、分布式锁 能讲清原理 09.3 缓存体系
消息队列 Topic/Partition、顺序、幂等、堆积 能讲清原理 09.4 消息队列

五、分模块精讲

5.1 JDBC 与 HikariCP 连接池

为什么需要它:每次请求新建 TCP 连接 + 认证要几毫秒到几十毫秒,高并发下连接建立本身就成瓶颈。连接池复用连接,但池大小配错会压垮数据库。

核心机制:

  • JDBC 流程:DriverManager/DataSource 拿到 Connection → 创建 Statement/PreparedStatement → 执行 → ResultSet → 关闭。
  • HikariCP(Spring Boot 默认)关键参数:maximumPoolSize(默认 10)、minimumIdle(默认同 max)、connectionTimeout(默认 30s)、idleTimeout(默认 10min)、maxLifetime(默认 30min,应小于数据库 wait_timeout)。
  • 池大小依据:数据库侧公式约 connections = ((core_count * 2) + effective_spindle_count);经验值远小于直觉,Web 应用 10–30 常见。池越大,数据库上下文切换越频繁,反而更慢。
  • PreparedStatement 预编译防注入、可缓存执行计划。

最小可运行示例:

spring:
  datasource:
    hikari:
      maximum-pool-size: 20
      minimum-idle: 5
      connection-timeout: 3000
      max-lifetime: 1800000
      pool-name: OrderHikariPool

常见坑:

现象 原因 修法
连接等待超时 池太小/慢查询占连接 调大、查慢 SQL
connection is not available 连接泄漏(没关) 用 try-with-resources,监控 leak-detection-threshold
数据库 max_connections 打满 多实例池累加超 DB 上限 总和不超 DB 上限

面试考法:问"HikariCP 为什么快""连接池大小怎么定""为什么不是越大越好"。

5.2 MyBatis 与动态 SQL

为什么需要它:国内主流持久层。Mapper 接口 + XML/注解,动态 SQL 处理条件查询,分页插件避免手写 limit。

核心机制:

  • Mapper 接口与 XML 命名空间绑定;方法名对应 statement id。
  • 动态 SQL:<if>、<where>、<foreach>、<choose>;#{} 预编译占位,${} 字符串拼接(有注入风险,仅用于排序字段等白名单)。
  • 一级缓存:同一个 SqlSession 内缓存;二级缓存:Mapper 级别(多表场景易脏,生产慎用)。
  • 分页插件(PageHelper/MyBatis-Plus)自动追加 limit。

最小可运行示例:

<select id="search" resultType="Order">
  SELECT * FROM t_order
  <where>
    <if test="userId != null">user_id = #{userId}</if>
    <if test="status != null">AND status = #{status}</if>
  </where>
  ORDER BY id DESC
</select>

常见坑:

现象 原因 修法
SQL 注入 用 ${} 接用户输入 用 #{},白名单枚举排序
一级缓存脏读 同 session 跨方法 Spring 每个请求新 session
大结果集 OOM 不分页全表查 强制分页

面试考法:问"#{} 与 ${} 区别""一级/二级缓存""动态 SQL"。

5.3 索引与 SQL 执行计划

为什么需要它:慢查询是数据库被打挂的首要原因。看懂 explain、会建索引,比加缓存优先级更高。

核心机制:

  • 联合索引最左前缀:(a,b,c) 能支撑 a、a+b、a+b+c,不支持 b、c 单独查询。
  • 覆盖索引:查询列都在索引里,不用回表。
  • 执行计划关键列:type(range/ref/const 好,ALL 全表扫差)、key(实际用的索引)、rows(预估扫描行)、Extra(Using filesort/Using temporary 要警惕)。
  • 常见慢查询:select *、未命中索引、函数包裹索引列、深分页 limit 100000,10。

最小可运行示例:

EXPLAIN SELECT id, user_id FROM t_order WHERE user_id = 123 AND status = 'PAID';
-- 建覆盖索引
CREATE INDEX idx_user_status ON t_order(user_id, status);

常见坑:

现象 原因 修法
type=ALL 没命中索引 加索引、避免函数包裹列
深分页慢 offset 大 用游标/where id > last_id
索引建了不用 区分度低/优化器选错 analyze、强制索引

面试考法:问"最左前缀""覆盖索引""怎么排查慢 SQL"。

5.4 Redis 与缓存三兄弟

为什么需要它:热点查询扛不住数据库时,Redis 是第一道防线。但缓存用错比不用更糟。

核心机制:

  • 常用结构:String(缓存对象/计数器)、Hash(对象字段)、List(队列)、Set(标签)、ZSet(排行榜)、Bitmap(签到)、HyperLogLog(UV)。
  • 过期与淘汰:expire 设 TTL;内存满时按 maxmemory-policy 淘汰(noeviction/allkeys-lru/volatile-lru/allkeys-lfu 等)。
  • 持久化:RDB(快照,恢复快可能丢数据)、AOF(追加命令,更安全)。
  • 三兄弟:
    • 穿透:查不存在的 key,每次打 DB。对策:缓存空值(短 TTL)、布隆过滤器。
    • 击穿:热点 key 过期瞬间大量并发打 DB。对策:互斥锁重建、逻辑不过期。
    • 雪崩:大量 key 同时过期或 Redis 宕机。对策:过期时间加随机值、Redis 集群、本地缓存兜底。

最小可运行示例:

public Product getProduct(Long id) {
    String key = "product:" + id;
    String json = redis.get(key);
    if (json != null) return parse(json);
    // 重建加锁,避免击穿
    Product p = db.select(id);
    if (p == null) {
        redis.setex(key, 60, "NULL"); // 空值短缓存防穿透
        return null;
    }
    // 过期加随机,防雪崩
    redis.setex(key, 3600 + ThreadLocalRandom.current().nextInt(300), toJson(p));
    return p;
}

常见坑:

现象 原因 修法
缓存与 DB 不一致 先更 DB 再删缓存失败 延迟双删/订阅 binlog
热点 key 打挂 DB key 过期瞬间 互斥锁重建
Redis 内存满 没设 maxmemory 设策略,监控淘汰

面试考法:必问"穿透/击穿/雪崩区别""缓存与 DB 一致性""Redis 淘汰策略"。

5.5 分布式锁

为什么需要它:多实例部署下,本地锁(synchronized)只锁单 JVM。跨实例互斥要用 Redis 或 ZooKeeper。

核心机制:

  • 基础:SET key uuid NX EX 30(原子:不存在才设 + 过期)。
  • 解锁必须比对 value(自己的 uuid),避免误删别人的锁:Lua 脚本原子"比较+删除"。
  • 续约:业务执行超过锁 TTL 会被别人拿到锁,需要看门狗(如 Redisson 的 watchdog 自动续期)。
  • 可重入:Redisson 用 Hash 结构记录重入次数。
  • 边界:Redis 主从切换可能丢锁;强一致场景用 ZooKeeper/etcd。

最小可运行示例:

String uuid = UUID.randomUUID().toString();
String ok = redis.set("lock:order:" + orderId, uuid, "NX", "EX", 30);
if (!"OK".equals(ok)) { throw new BizException("获取锁失败"); }
try {
    // 业务
} finally {
    // Lua:只删自己的锁
    redis.eval("if redis.call('get',KEYS[1])==ARGV[1] then return redis.call('del',KEYS[1]) else return 0 end", 1, "lock:order:"+orderId, uuid);
}

常见坑:

现象 原因 修法
锁被别人误删 解锁没比对 value Lua 比较删除
业务没执行完锁过期 TTL 太短 Redisson 续约
主从切换丢锁 异步复制 强一致用 etcd

面试考法:问"Redis 锁怎么实现""为什么要 Lua""Redisson 看门狗"。

5.6 消息队列与消费幂等

为什么需要它:下单后通知库存、积分、推送,同步调用会让接口变慢且耦合。消息队列异步解耦,但"重复投递"是常态,幂等必须做。

核心机制:

  • 模型:Kafka(Topic → Partition,消费者组,顺序保证在 Partition 内);RocketMQ(Topic、MessageQueue、支持事务消息、延迟消息)。
  • 顺序:同一业务 key(如 orderId)路由到同一 Partition,单线程消费。
  • 幂等:消费端用业务唯一键去重(Redis setnx 或 DB 唯一索引),不能依赖"消息只投一次"。
  • 堆积:消费慢/下游故障导致 lag 涨,要监控并扩容消费者。
  • 事务消息(RocketMQ):半消息 + 本地事务提交/回查,保证"本地事务与发消息"一致。
  • 最终一致:本地消息表(业务表 + 消息表同事务写,后台投递)是更通用的方案。

最小可运行示例:

public void onMessage(OrderPaidEvent e) {
    String dedupKey = "consume:" + e.getEventId();
    // 幂等:已处理过直接 ack
    if (!redis.setNX(dedupKey, "1", Duration.ofDays(7))) return;
    try {
        inventoryService.deduct(e);
    } catch (Exception ex) {
        redis.del(dedupKey); // 失败让消息重试
        throw ex;
    }
}

常见坑:

现象 原因 修法
重复扣库存 消费无幂等 唯一键去重
消息乱序 多 Partition 并发 同 key 路由同 Partition
堆积 lag 涨 消费慢 扩容、查下游
发消息成功但本地事务回滚 没用事务消息 本地消息表/事务消息

面试考法:必问"怎么保证不重复消费""消息堆积怎么办""事务消息原理""最终一致方案"。

六、分层练习

6.1 复现型

练习 要求 验收标准 预计耗时
分页查询 DAO 条件 + 分页,Testcontainers 测试通过 3 小时
执行计划 对一条慢 SQL explain 能指出 type 与索引 1 小时
缓存商品详情 含空值缓存与随机过期 穿透/雪崩考虑 3 小时
分布式锁 SET NX EX + Lua 解锁 不误删 2 小时
幂等消费 eventId 去重 重复消息不重复处理 2 小时

6.2 改造型

练习 要求 验收标准 预计耗时
修连接池 给定 maximumPoolSize=500 改为合理值并说明 1 小时
修 ${} 注入 给定动态 SQL 改 #{}/白名单 1 小时
缓存击穿改造 热点 key 加互斥重建 压测 DB QPS 下降 3 小时
消息重试 失败删除去重键 可重试不丢 2 小时

6.3 设计型

练习 要求 验收标准 预计耗时
下单异步流程 下单→库存→积分→通知 幂等、堆积监控、最终一致 6 小时
读写分离方案 主写从读 说清主从延迟应对 4 小时
排行榜 ZSet 实现 能讲数据结构 3 小时

七、排障表

现象 可能原因 排查步骤 解决办法
connection is not available 池满/泄漏 看 Hikari 监控、leak-detection 调池、关连接
接口慢 慢 SQL explain 加索引/分页
缓存命中低 key 设计错/过期太短 看 Redis info 调整 TTL
热点打挂 DB key 过期 看 DB QPS 突增 互斥重建/逻辑不过期
重复扣库存 消费无幂等 看业务日志 唯一键去重
消息堆积 下游慢 看 lag 扩容、降级
刚写入读不到 主从延迟 看从库延迟 写后读主/延迟双删
多数据源事务只对一个库生效 @Transactional 只管理能 DataSource 看事务配置 用 JTA/分片事务

八、出口条件

全部勾选后进入 阶段 7 微服务与分布式治理。

  • [ ] 能给出 HikariCP 连接数依据而非拍脑袋
  • [ ] 能写动态 SQL 并区分 #{} 与 ${}
  • [ ] 能针对热点 key 设计防击穿方案
  • [ ] 能写带续约的分布式锁并说清边界
  • [ ] 能写出消费幂等方案
  • [ ] 能区分缓存一致性与主从延迟
  • [ ] 排障表随机抽三个能定位

自测题:

  1. 连接池越大越好吗?为什么?
    • 要点:不是,数据库处理能力有限,池大导致上下文切换,反而慢。
  2. 缓存穿透、击穿、雪崩的区别与对策?
    • 要点:不存在的 key / 热点 key 过期 / 批量同时过期;空值+布隆 / 互斥锁 / 随机 TTL+集群。
  3. Redis 分布式锁为什么要 Lua 解锁?
    • 要点:比较 value 与删除必须原子,否则可能误删他人锁。
  4. 消息消费如何保证幂等?
    • 要点:业务唯一键去重(setnx/唯一索引),失败回滚去重键。
  5. @Transactional 在多数据源下管哪些库?
    • 要点:只管声明的那个 DataSource 的事务,跨库需要 JTA/Seata。
  6. 最左前缀是什么?
    • 要点:联合索引按列顺序匹配,跳过前列无法用后续列。