01.7 阶段 6 数据访问、缓存与消息
所属:全栈开发面试题库 / 学习路径 / 01 Java 与 Spring 全栈
本页目录
一、阶段定位
阶段 5 让你能写 REST 服务。本阶段解决服务真正"读写数据"时的核心问题:怎么连数据库、怎么查得快、怎么用缓存扛热点、怎么用消息队列解耦。因为线上 80% 的性能与一致性问题出在这一层——连接池配太小接口超时、缓存策略不当导致数据库被打穿、消息消费不幂等导致重复扣款、多数据源事务边界不清导致数据不一致。
不掌握本阶段会卡在:(1) HikariCP 的 maximumPoolSize 凭感觉填 500,结果数据库先被压垮;(2) 缓存穿透、击穿、雪崩三个名词背得滚瓜烂熟,但问"你的热点 key 过期瞬间 1000 QPS 打数据库怎么办"答不出;(3) 消息消费失败直接重试,导致同一笔订单扣两次库存;(4) 读写分离下主从延迟导致刚写入读不到;(5) 多数据源下 @Transactional 只对第一个数据源生效。
本阶段原有"卡点"落到现象:(1) 让你设计一个热点商品详情接口的缓存方案,你只会"查库后塞 Redis",不考虑穿透与过期;(2) 消息消费代码里没有任何幂等判断;(3) 问你 @Transactional 在多数据源下管哪些库,答"管所有"。出现任一现象,补齐再进 阶段 7 微服务与分布式治理。
二、阶段目标与投入
| 能力目标(可验证的行为) | 验证方式 |
|---|---|
| 能配置 HikariCP 并给出连接数依据 | 写出 maximumPoolSize 与理由 |
| 能写 MyBatis Mapper 与动态 SQL、分页 | 一个带条件分页查询 DAO 测试通过 |
| 能说清缓存穿透/击穿/雪崩与对策 | 针对热点 key 设计方案 |
| 能实现 Redis 分布式锁并说清续约边界 | 写一个带 lease 的锁 |
| 能写出消费幂等方案 | 用业务唯一键去重 |
| 能区分缓存一致性与主从延迟 | 给出判断方法 |
建议学时:
- 全职:3 周,约 80 小时。JDBC/连接池 10、MyBatis/SQL 索引 20、事务与多数据源 10、Redis 20、消息队列 20。
- 在职:6 周,约 90 小时。
三、先修自检
| 先修项 | 合格标准 | 不合格时回到 |
|---|---|---|
| Spring 事务 | 知道 @Transactional | 01.6 阶段 5 |
| SQL 基础 | 会 select/join/group by | 数据库分册深入 |
| 并发 | 知道锁与原子类 | 01.4 阶段 3 |
| 测试 | 会 Testcontainers | 01.5 阶段 4 |
四、知识地图
| 模块 | 知识点 | 掌握程度 | 对应题库章节 |
|---|---|---|---|
| JDBC/连接池 | DataSource、HikariCP 参数、池大小依据 | 能讲清原理 | 05.1 关系型数据库通用能力 |
| MyBatis | Mapper、动态 SQL、分页、缓存 | 会用 | 05.2 MySQL |
| SQL 与索引 | 执行计划、最左前缀、覆盖索引 | 能讲清原理 | 05.2 MySQL |
| 事务/多数据源 | 服务层事务、多数据源限制、读写分离 | 能讲清原理 | 05.1 关系型数据库通用能力 |
| Redis | 数据结构、过期/淘汰、持久化 | 会用 | 09.3 缓存体系 |
| 缓存问题 | 穿透/击穿/雪崩、分布式锁 | 能讲清原理 | 09.3 缓存体系 |
| 消息队列 | Topic/Partition、顺序、幂等、堆积 | 能讲清原理 | 09.4 消息队列 |
五、分模块精讲
5.1 JDBC 与 HikariCP 连接池
为什么需要它:每次请求新建 TCP 连接 + 认证要几毫秒到几十毫秒,高并发下连接建立本身就成瓶颈。连接池复用连接,但池大小配错会压垮数据库。
核心机制:
- JDBC 流程:
DriverManager/DataSource拿到Connection→ 创建Statement/PreparedStatement→ 执行 →ResultSet→ 关闭。 - HikariCP(Spring Boot 默认)关键参数:
maximumPoolSize(默认 10)、minimumIdle(默认同 max)、connectionTimeout(默认 30s)、idleTimeout(默认 10min)、maxLifetime(默认 30min,应小于数据库 wait_timeout)。 - 池大小依据:数据库侧公式约
connections = ((core_count * 2) + effective_spindle_count);经验值远小于直觉,Web 应用 10–30 常见。池越大,数据库上下文切换越频繁,反而更慢。 PreparedStatement预编译防注入、可缓存执行计划。
最小可运行示例:
spring:
datasource:
hikari:
maximum-pool-size: 20
minimum-idle: 5
connection-timeout: 3000
max-lifetime: 1800000
pool-name: OrderHikariPool
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 连接等待超时 | 池太小/慢查询占连接 | 调大、查慢 SQL |
connection is not available |
连接泄漏(没关) | 用 try-with-resources,监控 leak-detection-threshold |
| 数据库 max_connections 打满 | 多实例池累加超 DB 上限 | 总和不超 DB 上限 |
面试考法:问"HikariCP 为什么快""连接池大小怎么定""为什么不是越大越好"。
5.2 MyBatis 与动态 SQL
为什么需要它:国内主流持久层。Mapper 接口 + XML/注解,动态 SQL 处理条件查询,分页插件避免手写 limit。
核心机制:
- Mapper 接口与 XML 命名空间绑定;方法名对应 statement id。
- 动态 SQL:
<if>、<where>、<foreach>、<choose>;#{}预编译占位,${}字符串拼接(有注入风险,仅用于排序字段等白名单)。 - 一级缓存:同一个 SqlSession 内缓存;二级缓存:Mapper 级别(多表场景易脏,生产慎用)。
- 分页插件(PageHelper/MyBatis-Plus)自动追加 limit。
最小可运行示例:
<select id="search" resultType="Order">
SELECT * FROM t_order
<where>
<if test="userId != null">user_id = #{userId}</if>
<if test="status != null">AND status = #{status}</if>
</where>
ORDER BY id DESC
</select>
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| SQL 注入 | 用 ${} 接用户输入 | 用 #{},白名单枚举排序 |
| 一级缓存脏读 | 同 session 跨方法 | Spring 每个请求新 session |
| 大结果集 OOM | 不分页全表查 | 强制分页 |
面试考法:问"#{} 与 ${} 区别""一级/二级缓存""动态 SQL"。
5.3 索引与 SQL 执行计划
为什么需要它:慢查询是数据库被打挂的首要原因。看懂 explain、会建索引,比加缓存优先级更高。
核心机制:
- 联合索引最左前缀:
(a,b,c)能支撑 a、a+b、a+b+c,不支持 b、c 单独查询。 - 覆盖索引:查询列都在索引里,不用回表。
- 执行计划关键列:
type(range/ref/const 好,ALL 全表扫差)、key(实际用的索引)、rows(预估扫描行)、Extra(Using filesort/Using temporary 要警惕)。 - 常见慢查询:
select *、未命中索引、函数包裹索引列、深分页limit 100000,10。
最小可运行示例:
EXPLAIN SELECT id, user_id FROM t_order WHERE user_id = 123 AND status = 'PAID';
-- 建覆盖索引
CREATE INDEX idx_user_status ON t_order(user_id, status);
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| type=ALL | 没命中索引 | 加索引、避免函数包裹列 |
| 深分页慢 | offset 大 | 用游标/where id > last_id |
| 索引建了不用 | 区分度低/优化器选错 | analyze、强制索引 |
面试考法:问"最左前缀""覆盖索引""怎么排查慢 SQL"。
5.4 Redis 与缓存三兄弟
为什么需要它:热点查询扛不住数据库时,Redis 是第一道防线。但缓存用错比不用更糟。
核心机制:
- 常用结构:String(缓存对象/计数器)、Hash(对象字段)、List(队列)、Set(标签)、ZSet(排行榜)、Bitmap(签到)、HyperLogLog(UV)。
- 过期与淘汰:
expire设 TTL;内存满时按maxmemory-policy淘汰(noeviction/allkeys-lru/volatile-lru/allkeys-lfu 等)。 - 持久化:RDB(快照,恢复快可能丢数据)、AOF(追加命令,更安全)。
- 三兄弟:
- 穿透:查不存在的 key,每次打 DB。对策:缓存空值(短 TTL)、布隆过滤器。
- 击穿:热点 key 过期瞬间大量并发打 DB。对策:互斥锁重建、逻辑不过期。
- 雪崩:大量 key 同时过期或 Redis 宕机。对策:过期时间加随机值、Redis 集群、本地缓存兜底。
最小可运行示例:
public Product getProduct(Long id) {
String key = "product:" + id;
String json = redis.get(key);
if (json != null) return parse(json);
// 重建加锁,避免击穿
Product p = db.select(id);
if (p == null) {
redis.setex(key, 60, "NULL"); // 空值短缓存防穿透
return null;
}
// 过期加随机,防雪崩
redis.setex(key, 3600 + ThreadLocalRandom.current().nextInt(300), toJson(p));
return p;
}
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 缓存与 DB 不一致 | 先更 DB 再删缓存失败 | 延迟双删/订阅 binlog |
| 热点 key 打挂 DB | key 过期瞬间 | 互斥锁重建 |
| Redis 内存满 | 没设 maxmemory | 设策略,监控淘汰 |
面试考法:必问"穿透/击穿/雪崩区别""缓存与 DB 一致性""Redis 淘汰策略"。
5.5 分布式锁
为什么需要它:多实例部署下,本地锁(synchronized)只锁单 JVM。跨实例互斥要用 Redis 或 ZooKeeper。
核心机制:
- 基础:
SET key uuid NX EX 30(原子:不存在才设 + 过期)。 - 解锁必须比对 value(自己的 uuid),避免误删别人的锁:Lua 脚本原子"比较+删除"。
- 续约:业务执行超过锁 TTL 会被别人拿到锁,需要看门狗(如 Redisson 的 watchdog 自动续期)。
- 可重入:Redisson 用 Hash 结构记录重入次数。
- 边界:Redis 主从切换可能丢锁;强一致场景用 ZooKeeper/etcd。
最小可运行示例:
String uuid = UUID.randomUUID().toString();
String ok = redis.set("lock:order:" + orderId, uuid, "NX", "EX", 30);
if (!"OK".equals(ok)) { throw new BizException("获取锁失败"); }
try {
// 业务
} finally {
// Lua:只删自己的锁
redis.eval("if redis.call('get',KEYS[1])==ARGV[1] then return redis.call('del',KEYS[1]) else return 0 end", 1, "lock:order:"+orderId, uuid);
}
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 锁被别人误删 | 解锁没比对 value | Lua 比较删除 |
| 业务没执行完锁过期 | TTL 太短 | Redisson 续约 |
| 主从切换丢锁 | 异步复制 | 强一致用 etcd |
面试考法:问"Redis 锁怎么实现""为什么要 Lua""Redisson 看门狗"。
5.6 消息队列与消费幂等
为什么需要它:下单后通知库存、积分、推送,同步调用会让接口变慢且耦合。消息队列异步解耦,但"重复投递"是常态,幂等必须做。
核心机制:
- 模型:Kafka(Topic → Partition,消费者组,顺序保证在 Partition 内);RocketMQ(Topic、MessageQueue、支持事务消息、延迟消息)。
- 顺序:同一业务 key(如 orderId)路由到同一 Partition,单线程消费。
- 幂等:消费端用业务唯一键去重(Redis setnx 或 DB 唯一索引),不能依赖"消息只投一次"。
- 堆积:消费慢/下游故障导致 lag 涨,要监控并扩容消费者。
- 事务消息(RocketMQ):半消息 + 本地事务提交/回查,保证"本地事务与发消息"一致。
- 最终一致:本地消息表(业务表 + 消息表同事务写,后台投递)是更通用的方案。
最小可运行示例:
public void onMessage(OrderPaidEvent e) {
String dedupKey = "consume:" + e.getEventId();
// 幂等:已处理过直接 ack
if (!redis.setNX(dedupKey, "1", Duration.ofDays(7))) return;
try {
inventoryService.deduct(e);
} catch (Exception ex) {
redis.del(dedupKey); // 失败让消息重试
throw ex;
}
}
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 重复扣库存 | 消费无幂等 | 唯一键去重 |
| 消息乱序 | 多 Partition 并发 | 同 key 路由同 Partition |
| 堆积 lag 涨 | 消费慢 | 扩容、查下游 |
| 发消息成功但本地事务回滚 | 没用事务消息 | 本地消息表/事务消息 |
面试考法:必问"怎么保证不重复消费""消息堆积怎么办""事务消息原理""最终一致方案"。
六、分层练习
6.1 复现型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 分页查询 DAO | 条件 + 分页,Testcontainers | 测试通过 | 3 小时 |
| 执行计划 | 对一条慢 SQL explain | 能指出 type 与索引 | 1 小时 |
| 缓存商品详情 | 含空值缓存与随机过期 | 穿透/雪崩考虑 | 3 小时 |
| 分布式锁 | SET NX EX + Lua 解锁 | 不误删 | 2 小时 |
| 幂等消费 | eventId 去重 | 重复消息不重复处理 | 2 小时 |
6.2 改造型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 修连接池 | 给定 maximumPoolSize=500 | 改为合理值并说明 | 1 小时 |
| 修 ${} 注入 | 给定动态 SQL | 改 #{}/白名单 | 1 小时 |
| 缓存击穿改造 | 热点 key 加互斥重建 | 压测 DB QPS 下降 | 3 小时 |
| 消息重试 | 失败删除去重键 | 可重试不丢 | 2 小时 |
6.3 设计型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 下单异步流程 | 下单→库存→积分→通知 | 幂等、堆积监控、最终一致 | 6 小时 |
| 读写分离方案 | 主写从读 | 说清主从延迟应对 | 4 小时 |
| 排行榜 | ZSet 实现 | 能讲数据结构 | 3 小时 |
七、排障表
| 现象 | 可能原因 | 排查步骤 | 解决办法 |
|---|---|---|---|
connection is not available |
池满/泄漏 | 看 Hikari 监控、leak-detection | 调池、关连接 |
| 接口慢 | 慢 SQL | explain | 加索引/分页 |
| 缓存命中低 | key 设计错/过期太短 | 看 Redis info | 调整 TTL |
| 热点打挂 DB | key 过期 | 看 DB QPS 突增 | 互斥重建/逻辑不过期 |
| 重复扣库存 | 消费无幂等 | 看业务日志 | 唯一键去重 |
| 消息堆积 | 下游慢 | 看 lag | 扩容、降级 |
| 刚写入读不到 | 主从延迟 | 看从库延迟 | 写后读主/延迟双删 |
| 多数据源事务只对一个库生效 | @Transactional 只管理能 DataSource | 看事务配置 | 用 JTA/分片事务 |
八、出口条件
全部勾选后进入 阶段 7 微服务与分布式治理。
- [ ] 能给出 HikariCP 连接数依据而非拍脑袋
- [ ] 能写动态 SQL 并区分 #{} 与 ${}
- [ ] 能针对热点 key 设计防击穿方案
- [ ] 能写带续约的分布式锁并说清边界
- [ ] 能写出消费幂等方案
- [ ] 能区分缓存一致性与主从延迟
- [ ] 排障表随机抽三个能定位
自测题:
- 连接池越大越好吗?为什么?
- 要点:不是,数据库处理能力有限,池大导致上下文切换,反而慢。
- 缓存穿透、击穿、雪崩的区别与对策?
- 要点:不存在的 key / 热点 key 过期 / 批量同时过期;空值+布隆 / 互斥锁 / 随机 TTL+集群。
- Redis 分布式锁为什么要 Lua 解锁?
- 要点:比较 value 与删除必须原子,否则可能误删他人锁。
- 消息消费如何保证幂等?
- 要点:业务唯一键去重(setnx/唯一索引),失败回滚去重键。
- @Transactional 在多数据源下管哪些库?
- 要点:只管声明的那个 DataSource 的事务,跨库需要 JTA/Seata。
- 最左前缀是什么?
- 要点:联合索引按列顺序匹配,跳过前列无法用后续列。