罗罗编程学习记录
本页内容 展开查看

09.3.2.1 缓存穿透、击穿、雪崩与预热

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.3 缓存体系 / 09.3.2 缓存一致性与治理

09.3.2.1-001 什么是缓存穿透?

一句话结论

缓存穿透是查询一个缓存和数据库都不存在的数据,每次请求都绕过缓存直达 DB;攻击者或异常参数用大量不存在的 key 扫描,会把无效流量压到数据库。

概念解释

  • 特征:key 在缓存中查不到,DB 也查不到。
  • 流量路径:请求 → 缓存未命中 → DB 查询为空 → 仍未缓存有效结果。
  • 危害:DB 被不存在数据的查询打满,挤占真实请求资源。

原理流程

请求非法/不存在 key
  → 缓存未命中
  → DB 查询为空
  → 未拦截 → 重复请求再次直达 DB

常见误区

  • 误区:穿透就是缓存命中率低。命中率低可能是容量不足或 TTL 过短;穿透的 key 离散且 DB 结果为空,根因不同。
  • 误区:加缓存能解决穿透。不存在的数据写不进有效缓存,需要拦截层(校验/布隆/空值)。

追问

  • 问:穿透常见入口是什么?答:伪造 ID、枚举参数、爬虫扫描,参数未校验的接口最易被利用。
  • 问:怎么快速识别?答:未命中 key 高度离散、DB 空结果占比高、缓存命中率极低且不随预热改善。

09.3.2.1-002 穿透会造成什么危害?

一句话结论

穿透让无效查询持续消耗 DB 连接、CPU 与磁盘 IO,真实业务请求排队超时;大量并发穿透还可能拖垮数据库,进而影响整条链路;它绕过了缓存本该承担的读防护。

概念解释

  • 资源占用:每一次穿透都是一次真实 DB 查询,连接与 IO 被无效请求占用。
  • 连锁反应:DB 变慢 → 应用线程阻塞 → 上游超时与重试放大流量。
  • 成本:空查询仍消耗数据库资源与云资源费用。

原理流程

穿透请求 → 占用 DB 连接与 IO
  → DB 响应变慢 → 应用线程堆积
  → 超时重试 → 流量进一步放大

常见误区

  • 误区:穿透只影响缓存层。缓存本就拦不住,压力直接落在 DB,危害在数据库侧。
  • 误区:流量小就无所谓。穿透是持续性扫描,累积连接占用与慢查询同样危险。

追问

  • 问:哪些 DB 查询最容易被穿透打垮?答:无索引、模糊匹配、跨表关联的空结果查询,单次成本高。
  • 问:防护先后顺序?答:入口参数校验 → 布隆/空值拦截 → DB 前限流兜底。

09.3.2.1-003 布隆过滤器原理是什么?

一句话结论

布隆过滤器用一个位数组 + 多个哈希函数标记元素:写入时把多个哈希位置 1,查询时这些位全为 1 才“可能存在”,任一为 0 则一定不存在;它有假阳性(可能误判存在),但不会假阴性(判不存在就一定不存在)。

概念解释

  • 结构:m 位的位数组,k 个哈希函数。
  • 写入:元素经 k 个哈希映射到 k 个位,置 1。
  • 查询:k 个位都为 1 → 可能存在;存在 0 → 一定不存在。
  • 特点:省内存、不存原始元素;不能删除元素(普通布隆)。

原理流程(伪代码)

add(x):
  for h in hash_functions(x): bit[h(x)] = 1

might_contain(x):
  for h in hash_functions(x):
    if bit[h(x)] == 0: return false
  return true   // 可能存在,需回源确认

常见误区

  • 误区:布隆过滤器判存在就不用查 DB。它只能排除一定不存在的,判“存在”仍要回源确认,假阳性会放行少量无效请求。
  • 误区:布隆可以随便删元素。普通布隆位被多个元素共享,删除会误删其他元素;需要删除用计数布隆或定期重建。

追问

  • 问:位数组大小和哈希个数怎么定?答:按预计元素数与可接受误判率计算 m 与 k,参数公式见布隆标准分析;线上误判率要压测校准。
  • 问:布隆过滤器放哪一层?答:可放本地内存(快但各实例独立)或 Redis(共享视图),按全集规模与一致性需求选择。

09.3.2.1-004 空值缓存怎么防穿透?

一句话结论

DB 查询为空时把空结果(标记为不存在)写入缓存并设短 TTL,后续相同 key 直接返回空,不再回源;空值必须短过期或在数据创建时主动清除,避免屏蔽后来才写入的真实数据。

概念解释

  • 空值标记:与正常 value 区分,标明“不存在”及到期时间。
  • 短 TTL:避免不存在数据长期占位。
  • 失效联动:数据写入 DB 时删除对应空值缓存。

原理流程

查 DB 为空 → 写空值缓存(短 TTL)
  → 相同 key 再来 → 直接返回空
  → 数据后续创建 → 主动删空值缓存

常见误区

  • 误区:空值和正常结果用同一个 TTL。不存在数据可能长期不变,长 TTL 会导致新数据读不到;空值 TTL 应更短。
  • 误区:空值缓存能挡住所有穿透。它只挡重复的相同 key,离散枚举的新 key 仍需布隆或限流配合。

追问

  • 问:空值用什么结构存?答:独立标记位或特殊 value,读取时识别为空值直接返回,不回源。
  • 问:空值缓存占多少内存?答:按穿透 key 规模估算,短 TTL 控制残留条目,避免被空结果占满内存。

09.3.2.1-005 参数校验在穿透防护里起什么作用?

一句话结论

入口层先校验格式、范围、必填项,非法参数直接拒绝,不进入缓存与 DB;它是第一道防线,成本最低,能挡掉大量枚举、越界与畸形请求,减轻后续布隆与空值缓存压力。

概念解释

  • 校验内容:类型、长度、取值范围、必填、格式(ID/手机号等)。
  • 位置:网关或接口入口,在缓存查询之前。
  • 效果:非法 key 不产生 DB 查询。

原理流程

请求 → 参数校验
  合法 → 进入缓存流程
  非法 → 直接拒绝并记录

常见误区

  • 误区:校验放在 DB 查询前就够了。应用内部多层入口都要校验,避免绕过网关直接调用的内部接口被枚举。
  • 误区:校验过严影响正常请求。规则按业务合法集合设定,错误请求返回明确参数错误而非系统异常。

追问

  • 问:ID 类请求怎么校验?答:校验长度、字符集、范围;雪花 ID/自增 ID 各有格式规则,不符合直接拒绝。
  • 问:校验命中怎么统计?答:记录非法参数请求量,作为被拦截穿透的观测指标。

09.3.2.1-006 什么是缓存击穿?

一句话结论

击穿是某个热点 key 在过期瞬间,大量并发请求同时发现未命中,一起回源 DB 重建该 key;与穿透不同,key 本身存在且是热点,问题发生在热点失效的并发重建上。

概念解释

  • 对象:访问量极高的热点单 key。
  • 时机:key 过期的同一时刻。
  • 后果:并发回源把 DB 瞬时打满,热点重建期间 RT 飙升。

原理流程

热点 key 到期 → 并发请求同时未命中
  → 多个线程同时回源重建
  → DB 瞬时压力倍增 → 重建完成后恢复

常见误区

  • 误区:击穿和穿透是一回事。穿透查的是不存在的数据;击穿查的是存在的热点,只是恰好过期。
  • 误区:给热点加 TTL 就不会击穿。TTL 到期时刻仍会并发重建,需要互斥或逻辑过期手段。

追问

  • 问:击穿通常发生在什么场景?答:秒杀商品、热门详情、配置项等单 key 高并发、集中过期的场景。
  • 问:怎么观察到击穿?答:某 key 未命中瞬间 DB QPS 尖峰、回源并发数上升,命中恢复后回落。

09.3.2.1-007 互斥重建(单飞)怎么防击穿?

一句话结论

未命中时只允许一个线程拿锁重建缓存,其他线程等待后读缓存或返回旧值;重建完成释放锁,后续请求命中;用本地锁或分布式锁保证同一 key 的回源并发被收敛到一个。

概念解释

  • 单飞:同一 key 同时只有一个加载动作。
  • 锁粒度:按 key 加锁,避免锁整个缓存入口。
  • 等待策略:等重建完成读新值,或短暂等待后返回旧值/降级。

原理流程(伪代码)

get(key):
  命中 → 返回
  未命中 → 尝试拿 key 锁
    拿到:回源 DB → 写缓存 → 释放锁
    没拿到:短暂等待 → 重读缓存;仍无则降级返回旧值

常见误区

  • 误区:锁一直持有到请求结束。锁只覆盖回源重建段,写入缓存后即释放,避免长锁阻塞。
  • 误区:拿不到锁就直接回源。那样互斥失效,等待或读旧值才是收敛并发的关键。

追问

  • 问:本地锁和分布式锁怎么选?答:单实例内用本地锁收敛;多实例同时回源同一 key 需要分布式锁,注意锁超时与死锁兜底。
  • 问:重建失败怎么办?答:锁释放并记录失败,避免线程死等;可缓存短时间空值或旧值防反复击穿。

09.3.2.1-008 逻辑过期 + 异步刷新怎么做?

一句话结论

缓存中不设物理 TTL,value 内带逻辑过期时间;读到逻辑过期的 key 时,返回旧值并放一个异步任务刷新缓存,期间请求不阻塞;适合允许短旧值、不能接受击穿的热点数据。

概念解释

  • 物理不过期:key 常驻,避免集中失效。
  • 逻辑过期:value 内字段记录到期时间。
  • 异步刷新:发现过期后后台重建,前台返回旧值。

原理流程

读缓存 → 未到逻辑过期 → 返回新值
  已过期 → 返回旧值 + 触发异步刷新
  → 刷新任务回源 → 更新缓存

常见误区

  • 误区:逻辑过期数据永远新鲜。刷新有延迟,这段时间读到的是旧值,业务要能接受。
  • 误区:每个过期请求都触发刷新。需要用标记/锁防止并发重复触发多个刷新任务。

追问

  • 问:异步刷新失败怎么兜底?答:保留旧值继续服务,记录刷新失败指标,重试或下次请求再触发;不可无限重试。
  • 问:哪些数据适合逻辑过期?答:热点展示类、可容忍秒级旧值;强一致状态不适用。

09.3.2.1-009 热点 key 永不过期策略怎么用?

一句话结论

对绝对热点且更新可控的 key 不设物理过期,由写操作主动更新/失效;避免被动 TTL 到期引发击穿,但要防止数据陈旧,必须配套主动刷新与版本校验。

概念解释

  • 策略:key 常驻内存,不靠过期清理。
  • 更新路径:写 DB 后更新或删除缓存。
  • 风险:忘记主动失效会长期保留旧值;需容量控制。

原理流程

热点 key 不设 TTL
  → 写变更 → 主动更新/删除缓存
  → 读时版本校验,发现旧值触发刷新

常见误区

  • 误区:永不过期 = 不用管。没有 TTL 兜底,主动失效遗漏就会一直读到旧值,风险更高。
  • 误区:所有热点都永不过期。常驻 key 占用内存不释放,集合多了会挤压其他热点。

追问

  • 问:永不过期 key 怎么治理?答:登记清单、定期校验数据版本与新鲜度,冷下来后改回带 TTL。
  • 问:主动更新失败怎么办?答:重试与补偿机制,配合版本号防止旧值回写覆盖新值。

09.3.2.1-010 什么是缓存雪崩?

一句话结论

雪崩是大量缓存 key 在同一时刻集中失效,或缓存集群整体故障,请求批量回源 DB,导致 DB 瞬时压力过载甚至被打垮;影响面是成片数据而非单个热点。

概念解释

  • 成因一:大量 key 相同 TTL,同一时刻过期。
  • 成因二:缓存节点/集群故障不可用。
  • 后果:回源流量整体淹没 DB,链路连锁超时。

原理流程

大量 key 同时过期 / 缓存宕机
  → 缓存命中率骤降
  → 批量请求回源 DB
  → DB 过载 → 上游超时与重试放大

常见误区

  • 误区:雪崩就是击穿放大版。击穿是单热点并发重建;雪崩是批量失效或整体故障,范围与量级不同。
  • 误区:加了缓存就不会雪崩。缓存自身故障也是雪崩来源,必须有集群冗余与 DB 兜底限流。

追问

  • 问:雪崩和穿透怎么区分?答:穿透是不存在的数据持续回源;雪崩是缓存层整体失效导致的批量回源。
  • 问:雪崩时 DB 为什么容易被打垮?答:缓存平时分担了大部分读流量,失效后全部读压到 DB,连接与 IO 瞬时超限。

09.3.2.1-011 雪崩有哪些常见成因?

一句话结论

成因分三类:TTL 相同导致集中过期、缓存节点或集群故障、缓存数据被批量错误清除;此外预热不全、大促后批量 key 到期也会触发;治理要分别针对过期节奏、集群高可用与失效操作控制。

概念解释

  • 集中过期:批量写入用了同一固定 TTL。
  • 基础设施:节点宕机、网络分区、集群不可用。
  • 人为/逻辑:误删、批量失效脚本、编码切换导致缓存不命中。

原理流程

相同 TTL 批量写入 → 同刻到期
节点故障 → 缓存层不可用
误操作 → 批量 key 被清除

常见误区

  • 误区:只有宕机才算雪崩。集中过期同样能造成批量回源,是最常见的可预防成因。
  • 误区:雪崩都是缓存的问题。DB 自身能力不足、连接池过小,在回源峰值时更容易被压垮。

追问

  • 问:怎么检查是否存在集中过期?答:统计 key 的到期时间分布,看是否聚集在同一时间点;监控过期 key 速率曲线。
  • 问:大促后为什么容易雪崩?答:活动缓存批量写入、统一 TTL,活动结束前后集中到期,回源叠加业务高峰。

09.3.2.1-012 TTL 随机抖动怎么打散雪崩?

一句话结论

在基础 TTL 上叠加随机偏移(如 TTL ± 随机比例或随机秒数),让到期时间分布在一个区间内,避免大量 key 同刻过期;抖动幅度按数据可接受的新鲜度与到期分布宽度设定。

概念解释

  • 基础 TTL:数据允许的最大陈旧时间。
  • 随机偏移:在基础值上加随机量,打散到期时刻。
  • 口径:随机范围不能让数据过期过早或过晚失控。

原理流程(伪代码)

ttl = base_ttl + random(0, jitter_range)
例:base = 3600s,jitter = 0~600s
各 key 到期时间散布在 3600~4200s 区间

常见误区

  • 误区:抖动越大越好。过大随机让部分数据过早过期,命中率下降;过短又打散不充分。
  • 误区:所有 key 用同一个随机种子。固定种子等于没打散,随机要在写入时分别生成。

追问

  • 问:抖动区间怎么定?答:按基础 TTL 的比例或固定秒数,结合到期高峰观测调整,压测验证命中率影响。
  • 问:逻辑过期 key 需要抖动吗?答:主动刷新的常驻 key 不依赖物理 TTL,抖动主要作用在带 TTL 的缓存条目。

09.3.2.1-013 雪崩的兜底防护有哪些层?

一句话结论

多层防护:集群冗余保证缓存高可用、TTL 抖动避免集中失效、本地缓存承接热点、DB 前限流降级、兜底默认数据;任一层失效时上游还有退路,避免回源流量直接压垮 DB。

概念解释

  • 缓存层:主从/集群冗余,单节点故障不整体失效。
  • 应用层:本地缓存、限流、降级、熔断。
  • 数据层:DB 连接池与安全水位,超出能力的请求快速失败。

原理流程

缓存大面积失效
  → 本地缓存先承接热点
  → 未命中走限流,控制回源 QPS
  → 超出能力部分降级返回兜底数据
  → DB 在安全水位内逐步重建缓存

常见误区

  • 误区:只靠限流防雪崩。限流挡住请求但热点没被重建,配合预热与异步回填才能恢复。
  • 误区:兜底数据可以长期展示。降级是临时措施,缓存恢复后要切回真实数据。

追问

  • 问:限流阈值按什么定?答:DB 安全 QPS 水位,留出连接与 IO 余量,不能按缓存峰值流量设。
  • 问:本地缓存能兜多少?答:只兜极热点小对象,无法承担全量回源,是缓冲不是替代。

09.3.2.1-014 缓存预热是什么,为什么要做?

一句话结论

预热是在流量到来前把热点数据提前加载进缓存,避免冷缓存状态下请求全部回源;目的是让命中率在放量前达到水位,保护 DB 与接口 RT,尤其适用于新上线、重启恢复与大促场景。

概念解释

  • 时机:实例启动、集群扩容、活动开始前。
  • 内容:热点 key 清单与对应数据。
  • 目标:命中率与回源 QPS 进入可承受区间后再放开流量。

原理流程

生成热点名单 → 分批回源加载缓存
  → 命中率爬升 → 达标后放量

常见误区

  • 误区:预热就是把全库搬进缓存。只装热点子集,全量加载压垮 DB 与缓存,且冷数据用不上。
  • 误区:预热一次永久有效。热点会随业务变化,名单要定期更新。

追问

  • 问:不预热会怎样?答:冷启动期大量回源,DB 与 RT 承压,请求超时比例升高。
  • 问:预热完成怎么判断?答:命中率达到目标水位、回源 QPS 低于 DB 安全线,再逐步扩流量。

09.3.2.1-015 预热有哪些方式?

一句话结论

常见方式:启动时按名单加载、离线数据导入、订阅业务消息触发加载、访问时懒加载;按数据量、时效性与启动时间要求组合使用,大批量场景优先离线/分批预热,避免启动同步阻塞。

概念解释

  • 启动加载:实例启动读名单回填。
  • 离线导入:离线任务生成快照批量写入。
  • 消息触发:变更事件主动刷新对应 key。
  • 懒加载:自然访问回源,不做主动预热。

原理流程

离线名单/快照 → 批量写入缓存
启动任务 → 分批加载热点
业务事件 → 定向刷新 key
未覆盖部分 → 懒加载回源

常见误区

  • 误区:懒加载等于不用预热。纯懒加载在高并发启动期仍是冷缓存击穿风险,热点必须主动铺垫。
  • 误区:离线导入可以随便写。批量写入要限速,控制 DB 读取与缓存写入压力。

追问

  • 问:预热名单从哪来?答:历史访问日志 top N、业务活动名单、离线画像;定期更新。
  • 问:启动加载阻塞怎么办?答:异步分批加载,先启动服务再逐步回填,未命中走限流兜底。

09.3.2.1-016 预热的数据量与 DB 压力怎么控制?

一句话结论

按预热条目数 × 单条大小估算写入量,按允许的预热窗口反推加载速率;分批限速、错峰执行,预热 DB 读取 QPS 不超过 DB 安全水位;大批量场景离线生成快照,避免在线 DB 被预热任务打满。

概念解释

  • 容量:预热内存与条目规模。
  • 速率:分批批次大小与间隔,控制 DB 读与缓存写。
  • 窗口:在放量前的可用时间内完成,不拖慢启动。

原理流程(估算式)

预热 DB QPS = 预热条目数 / 预热窗口秒数
要求该 QPS ≤ DB 安全水位
批次大小 × 批次间隔 → 控制瞬时并发

常见误区

  • 误区:预热越快越好。高速批量回源把 DB 打成第二个热点,反而影响在线业务。
  • 误区:预热和在线业务抢资源无所谓。预热任务应错峰、限速,必要时走只读副本取数。

追问

  • 问:大促预热多少合适?答:以活动商品/用户名单为准,配合历史访问分布估算 top 集,不全量装载。
  • 问:预热中断怎么处理?答:记录已加载进度,断点续跑;未加载部分懒加载并配合限流。

09.3.2.1-017 预热不全的回源风险怎么兜底?

一句话结论

未预热到的 key 仍会回源,要靠限流控制回源速率、互斥重建防击穿、空值/旧值兜底降级;预热完成度用命中率与回源 QPS 监控,未达标前不放全量流量,避免把冷缓存直接暴露给高峰。

概念解释

  • 风险:漏预热的热点在高峰并发回源。
  • 兜底:限流、单飞重建、降级数据、本地缓存。
  • 观测:命中率、回源 QPS、未命中 top key。

原理流程

未预热 key 到达 → 未命中
  → 限流后回源,单飞重建
  → 失败返回旧值/兜底
  → 监控未命中清单 → 补预热

常见误区

  • 误区:预热名单覆盖了就不用防护。名单总会有遗漏与新热点,回源防护不能省。
  • 误区:预热失败静默继续放量。命中率不达标仍放量,等于把风险留给 DB。

追问

  • 问:怎么发现漏预热?答:放量初期观察未命中 top key,对照预热名单补缺。
  • 问:兜底旧值从哪来?答:上次缓存快照、本地副本或默认展示值,标注降级状态。

09.3.2.1-018 热点 key 怎么提前刷新?

一句话结论

对识别出的热点 key 在到期前由后台任务异步刷新,而等到期再重建;刷新带版本与并发控制,避免重复刷新;热点名单来自访问统计、活动预测与实时探测,刷新节奏错开 TTL 窗口。

概念解释

  • 提前量:在逻辑/物理过期前预留刷新时间。
  • 并发控制:同一 key 刷新任务互斥。
  • 名单:离线预测 + 实时探测双通道更新。

原理流程

热点名单 → 到期前触发异步刷新
  → 单飞回源 → 更新缓存新版本
  → 旧版本继续服务到切换

常见误区

  • 误区:提前刷新会干扰在线读。刷新在后台完成,读旧值直到新版本写入,不阻塞请求。
  • 误区:刷新任务可以并发跑。同一 key 多个刷新会重复回源,需要标记或锁互斥。

追问

  • 问:刷新失败的 key 怎么办?答:保留旧值、记录失败、下次周期重试,超阈值告警人工介入。
  • 问:热点名单多久更新?答:实时热点按探测周期更新,预测名单活动前生成,上线后用访问数据校准。

09.3.2.1-019 穿透、击穿、雪崩怎么对比记忆?

一句话结论

穿透:查不存在的数据,长期绕过缓存打 DB;击穿:单热点过期瞬间并发回源;雪崩:批量失效或缓存故障导致成片回源。三者对象、时机与规模不同,防护手段分别是拦截过滤、互斥/逻辑过期、冗余+抖动+限流降级。

概念解释

类型 对象 时机 规模 主要手段
穿透 不存在的 key 持续 离散请求 校验、布隆、空值短缓存
击穿 存在的热点 key 过期瞬间 单 key 并发 互斥重建、逻辑过期、常驻
雪崩 大量 key / 缓存整体 同刻失效或故障 成片回源 集群冗余、TTL 抖动、限流降级

原理流程

先判数据是否存在 → 穿透
存在且单热点并发重建 → 击穿
成片失效/整体故障 → 雪崩

常见误区

  • 误区:一道防穿透措施能防所有问题。三类问题根因不同,布隆过滤器挡不住击穿,互斥重建也解决不了集群宕机。
  • 误区:只记名词不记场景。面试要能从现象(key 是否存在、单热点还是批量、是否故障)反推类型与手段。

追问

  • 问:同一个接口可能同时出现哪几种?答:故障导致雪崩,雪崩中夹着热点击穿,非法参数引发穿透;防护层要同时具备。
  • 问:三类问题的监控特征?答:穿透看离散空结果占比;击穿看单 key 未命中尖峰;雪崩看命中率骤降与整体回源量。

09.3.2.1-020 大促突发流量的缓存预案怎么设计?

一句话结论

预案按事前、事中、事后组织:事前预热热点名单、校验容量与 TTL 抖动、压测回源水位;事中本地缓存+限流+降级兜底、监控命中率与回源;事后补预热、复盘未命中与淘汰;预案要在演练中验证 DB 能承受的回源峰值。

概念解释

  • 事前:名单、容量、冗余、防护策略与压测。
  • 事中:监控阈值、限流降级开关、热点刷新。
  • 事后:数据复盘、名单更新、问题修复。

原理流程

事前:预热 + 容量校验 + 压测回源水位
事中:命中率/回源监控 → 必要时限流降级
事后:复盘未命中与淘汰 → 更新名单与策略

常见误区

  • 误区:预案只写“加缓存”。没有预热名单、回源水位与降级开关,真到峰值缓存失效时无法执行。
  • 误区:预案做完不演练。假设的回源能力与实际 DB 水位可能不符,必须压测验证。

追问

  • 问:大促前重点核对什么?答:热点 key 清单与容量、集群冗余、本地缓存副本、限流阈值、降级兜底数据。
  • 问:事中触发降级的信号?答:命中率快速下降、回源 QPS 逼近 DB 水位、RT 长尾上升。