罗罗编程学习记录
本页内容 展开查看

09.3.2.3 多级缓存与热点探测

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.3 缓存体系 / 09.3.2 缓存一致性与治理

09.3.2.3-001 多级缓存有哪些层级?

一句话结论

典型层级:浏览器/客户端缓存 → CDN/网关缓存 → 应用本地缓存 → 分布式缓存(Redis)→ 数据库;越靠前访问越快、失效半径越大,越靠后数据越权威;按资源类型与一致性要求放在合适层级。

概念解释

  • 客户端/CDN:静态资源与公共读,就近命中。
  • 本地缓存:进程内热点小对象,零网络。
  • 分布式缓存:共享视图,承载主要可缓存数据。
  • DB:权威数据源,缓存未命中与不可重建时回源。

原理流程

请求 → 客户端/CDN → 网关 → 本地缓存 → Redis → DB
任一层命中即返回,未命中继续向下层回源并逐级回填

常见误区

  • 误区:层级越多越好。每多一层就多一份副本与一致性问题,层级按收益与旧值容忍度选择。
  • 误区:CDN 能缓存动态接口。强个性化、实时状态内容不适合长缓存,需按响应头与失效策略控制。

追问

  • 问:静态资源放哪层?答:CDN + 客户端缓存,带版本号与长 TTL,更新时刷新/换版本。
  • 问:动态热点数据放哪?答:本地 + Redis 两级,DB 兜底,一致性窗口按字段分级。

09.3.2.3-002 各级缓存的职责与失效半径?

一句话结论

职责上,前端层挡静态与公共读,本地层挡进程内热点,分布式层承载共享缓存;失效半径随层级变大:改一份本地只影响一个实例,改 CDN 要全局刷新;越靠前的副本更新传播越慢,旧值窗口越长。

概念解释

  • 本地:单实例副本,失效只影响本进程。
  • Redis:集群共享,删除后所有实例看到一致视图。
  • CDN/客户端:多节点、多终端副本,刷新成本最高。

原理流程

数据变更 → 按层级反向失效:
  本地广播删除 → Redis 删除 → CDN 刷新/版本更新
越靠前的副本,失效传播越慢、半径越大

常见误区

  • 误区:只删 Redis 就全部生效。本地副本、CDN、客户端仍可能持有旧值,需要分层失效。
  • 误区:前端缓存和后端缓存策略一样。前端长缓存配合版本号,后端短 TTL + 主动删除,口径不同。

追问

  • 问:失效顺序怎么定?答:通常先删后端共享缓存再刷前端,避免回源又把旧值带到上层。
  • 问:哪些层可以接受长 TTL?答:不变或极少变的静态资源;动态数据前端层只做短缓存或不缓存。

09.3.2.3-003 本地加 Redis 两级读写流程怎么走?

一句话结论

读:先查本地,未命中查 Redis,再未命中查 DB 并回填 Redis 与本地;写:更新 DB → 删 Redis → 广播删本地;本地副本通过事件失效,TTL 兜底,读路径要控制并发回填防击穿。

概念解释

  • 读回填:DB 结果先写 Redis,再写本地。
  • 写失效:DB 成功后反向删除两级缓存。
  • 并发控制:同一 key 单飞回源,避免多级同时击穿。

原理流程

读:本地 miss → Redis miss → DB → 回填 Redis → 回填本地
写:DB 更新 → 删 Redis → 广播删本地

常见误区

  • 误区:两级都回填一样的长 TTL。本地副本应更短并依赖广播失效,避免本地旧值比 Redis 还久。
  • 误区:Redis 命中就不看本地。先本地命中最快,本地未命中再走网络到 Redis。

追问

  • 问:回填顺序有讲究吗?答:先写共享的 Redis 再写本地,本地失效可由广播纠正;异常时以 Redis/DB 为准。
  • 问:本地缓存穿透怎么挡?答:本地空值短缓存 + 布隆,未命中再查 Redis。

09.3.2.3-004 多级缓存一致性失效链路怎么闭环?

一句话结论

变更事件沿本地 → Redis → CDN 反向逐层删除/刷新;每层失效动作要有失败重试与补偿,本地副本靠广播 + 短 TTL,CDN 靠版本号/主动刷新;链路要能监控每层命中率与残留旧值,不能假设删除一定到达。

概念解释

  • 反向失效:从权威层向前层清理副本。
  • 闭环:每层删除都有重试、兜底与对账。
  • 观测:分层命中率、失效事件成功率、旧值校验。

原理流程

DB 变更 → 失效事件
  → 删 Redis → 广播删本地 → 刷新 CDN/版本
  任一步失败 → 补偿重试 → TTL/对账兜底

常见误区

  • 误区:广播删本地成功就不用 TTL。事件可能丢失,本地短 TTL 是最后兜底。
  • 误区:CDN 旧值能等自然过期。关键内容应主动刷新或换版本,不能依赖长 TTL 到期。

追问

  • 问:分层失效失败怎么发现?答:对账任务比对各层与 DB 版本,差异告警;失效事件记录投递结果。
  • 问:多级副本冲突以谁为准?答:以 DB 为准,Redis 其次,本地与前端是加速副本。

09.3.2.3-005 热点 key 是什么,有什么危害?

一句话结论

热点 key 是访问频次远高于平均水平的单个 key,流量集中打到一个 Redis 分片或一个本地实例,造成该节点 CPU/网卡打满、其他节点空闲;它还放大击穿风险,单 key 失效瞬间并发回源。

概念解释

  • 度量:单位时间访问次数、占总流量比例。
  • 集中点:单分片、单槽、单进程。
  • 危害:节点倾斜、RT 升高、击穿放大、整体吞吐受单点限制。

原理流程

热门对象对应单 key
  → 大量请求集中到该 key 所在分片
  → 单点资源打满 → 集群整体能力被短板限制

常见误区

  • 误区:集群节点多了就没有热点。分片按 key 哈希,热点仍落在固定槽位,扩容不自动打散单 key。
  • 误区:热点只影响 Redis。本地副本同样集中访问,应用节点之间回源压力也不均。

追问

  • 问:热点 key 怎么识别?答:统计访问频次 top key,结合代理/网关日志与 Redis 热点探测命令。
  • 问:热点 key 能拆分吗?答:按副本/分桶拆成多个 key 分散到不同槽,配合本地副本承接。

09.3.2.3-006 热点探测有哪些方法?

一句话结论

三条路径:离线统计访问日志排序 top key;实时在代理/网关/客户端汇总频次;用 Redis 自带的热点 key 探测命令或监控统计;离线用于预测预热,实时用于突发热点发现与自动下沉本地缓存。

概念解释

  • 离线:日志/埋点周期聚合,输出 top N 名单。
  • 实时:入口层滑动窗口计数,发现频次突增。
  • 存储侧:Redis 热点探测按访问统计识别(具体命令与版本支持以官方文档为准)。

原理流程

日志埋点 → 周期聚合 top N(离线预测)
入口计数 → 滑动窗口频次(实时发现)
Redis 探测 → 热点 key 清单(存储侧视角)

常见误区

  • 误区:只靠 Redis 探测就够。存储侧发现时流量已经打到分片,提前预测与入口实时统计能更早承接。
  • 误区:热点名单一次生成永久用。热点随活动、事件变化,名单要定期更新。

追问

  • 问:实时计数放哪?答:网关/代理或应用入口,按 key 滑动窗口统计,避免每个 Redis 节点各自视图不一致。
  • 问:探测结果怎么用?答:推送本地缓存、拆分热点 key、预热副本、调整路由。

09.3.2.3-007 怎么用命令查看热点与大 key?

一句话结论

Redis 侧可用 MEMORY USAGE 看单 key 占用,OBJECT ENCODING 看编码,结合 SCAN 分批遍历统计长度;热点 key 探测命令的名称、版本支持与开销因版本而异,生产上避免在线执行全量阻塞命令,优先走监控与离线分析。

概念解释

  • 大 key:字节数与元素数量双口径。
  • 热点:访问频次统计,部分版本提供 hotkeys 类探测。
  • 生产约束:遍历命令分批、限速,避免阻塞主线程。

原理流程

SCAN 分批扫 key → 按类型取 LLEN/SCARD/HLEN
  → MEMORY USAGE 采样大小 → 汇总大 key 清单
  频次来自访问日志/入口计数

常见误区

  • 误区:KEYS * 在线扫全库。KEYS 阻塞主线程,生产用 SCAN 游标分批。
  • 误区:探测命令结果代表长期热点。单次采样只反映当时分布,热点要看时间序列。

追问

  • 问:具体命令参数记不准怎么办?答:以所用版本官方文档为准,探测类命令的开销与返回口径先在测试环境验证。
  • 问:大 key 清单怎么落地?答:输出到巡检报表,关联业务 owner 拆分治理。

09.3.2.3-008 热点 key 有哪些解决方案?

一句话结论

主要手段:本地缓存副本承接读流量、把热点 key 拆成多个副本 key 分散到不同槽、读请求扩容副本节点、热点提前预热与常驻;按热点持续时间与体量选择,短期突发用本地副本,长期热点做拆分。

概念解释

  • 本地副本:热点数据在各进程缓存,读不走 Redis 单分片。
  • 拆分副本:key 加后缀分成 N 个副本,轮询读取分散槽位。
  • 预热常驻:预测热点提前加载并保持新鲜度。

原理流程

发现热点 key
  → 下沉本地缓存 / 拆副本 key 分散分片
  → 提前预热,失效异步刷新

常见误区

  • 误区:拆分副本不考虑一致性。副本 key 都源自同一 DB 数据,更新时要同步失效所有副本,否则多份旧值。
  • 误区:本地缓存能无限承接热点。本地内存有限,热点对象大小与实例数决定副本能挡多少流量。

追问

  • 问:副本 key 怎么读?答:客户端按规则选副本(轮询/随机),写失效时遍历全部副本删除。
  • 问:热点拆分后单副本还热怎么办?答:增加副本数或下沉本地,必要时评估静态化/CDN 承接。

09.3.2.3-009 离线与实时两条探测路径怎么配合?

一句话结论

离线路径基于历史与活动名单预测已知热点,提前预热和建副本;实时路径捕捉突发热点并自动下沉;两者互补:离线防大促可预见流量,实时防突发与预测遗漏;探测结果统一汇入热点名单并标注来源。

概念解释

  • 离线:日志聚合、活动名单、画像,周期更新。
  • 实时:入口滑动窗口,秒级发现突增。
  • 合并:名单去重,标注预测/实时,驱动不同处置动作。

原理流程

离线名单 → 预热 + 常驻副本
实时突增 → 自动本地缓存/告警
两条结果合并 → 统一热点清单与处置记录

常见误区

  • 误区:实时探测替代离线预热。实时发现时流量已上来,预热需要提前量,两者不能互相替代。
  • 误区:名单只增不减。冷下来的热点要及时下线副本,避免长期占用内存。

追问

  • 问:实时热点多久下沉一次?答:按窗口与阈值,达到频次门槛即推本地缓存,避免抖动 key 反复进出缓存。
  • 问:离线名单提前多久准备?答:活动前按预热周期生成,上线前校验数据可用性与容量。

09.3.2.3-010 热点预测看哪些输入?

一句话结论

预测输入:历史同期访问数据、活动计划与商品/用户名单、舆情与事件趋势、搜索推荐热词;结合业务排期提前加载可预见热点,预测结果标注置信度,上线后用实时数据校准。

概念解释

  • 历史:访问频次、季节性、大促峰值分布。
  • 计划:运营活动、上新、发布日程。
  • 外部:热搜、事件驱动的突发流量。

原理流程

历史基线 + 活动名单 + 趋势信号
  → 预测热点清单与预估量级
  → 预热容量与副本准备
  → 上线后实时校准预测偏差

常见误区

  • 误区:只看历史数据。新品、突发事件没有历史样本,需要活动名单与外部趋势补充。
  • 误区:预测量按峰值满配。预测存在不确定性,容量留冗余,实际以实时监控调整。

追问

  • 问:预测不准怎么办?答:保留实时探测兜底,预热分批进行,避免一次性按最坏情况占满内存。
  • 问:预测结果给谁用?答:缓存预热、副本拆分、CDN 静态化与容量规划共同参考。

09.3.2.3-011 预热怎么和热点名单对齐?

一句话结论

预热清单直接来自热点预测与实时名单,按访问优先级分批加载;热点数据在放量前进入本地与 Redis 两级,实时新增热点触发补预热;预热后核对命中率与单 key 访问量,确认名单与实际热点对齐。

概念解释

  • 优先级:top 热点先装,长尾后装或懒加载。
  • 对齐:预热名单覆盖实际访问 top key。
  • 校验:命中率、未命中 top key 对照名单补缺。

原理流程

热点名单 → 按优先级分批预热
  → 放量监控未命中 top key
  → 遗漏项补预热,冷项下线

常见误区

  • 误区:预热名单凭业务感觉列。应以访问数据排序为准,名单与实际热点脱节会造成内存浪费与回源并存。
  • 误区:预热完成即结束。热点切换后旧名单不更新,命中率会逐步下降。

追问

  • 问:怎么判断预热对齐了?答:top 访问 key 命中率高,未命中清单里没有反复出现的大 key。
  • 问:名单多久更新一次?答:常规周期更新,活动期按小时/天跟踪实时变化。

09.3.2.3-012 热点 key 怎么按前缀分桶拆分?

一句话结论

把一个逻辑 key 拆成 N 个物理副本 key(如 key#0~key#N-1),读时按随机/轮询选副本,写失效时遍历删除全部副本;拆分分散槽位与访问压力,代价是多份副本内存与失效复杂度。

概念解释

  • 副本数:按热点程度与分片分散需要定。
  • 选择策略:随机或轮询,保证负载均匀。
  • 失效:更新 DB 后删除全部副本 key。

原理流程(伪代码)

读:bucket = hash(请求) % N; GET key#bucket
写:DB 更新 → for i in 0..N-1: DEL key#i

常见误区

  • 误区:拆了副本就不用本地缓存。副本仍在 Redis 集群内,超热点时本地副本承担第二层分流。
  • 误区:副本数越多越好。副本越多内存占用与失效成本越高,按热点量级逐步扩容。

追问

  • 问:副本数据怎么保持一致?答:都从同一 DB 回填,不各自计算;失效时全删,下次读重建。
  • 问:怎么选 bucket 不倾斜?答:用请求标识哈希或随机,避免固定打到同一副本。

09.3.2.3-013 热点更新推送怎么做?

一句话结论

热点数据变更时,通过事件通知各实例刷新本地副本与 Redis 副本;推送带版本号,旧版本不覆盖;对可预测的热点也可异步定时刷新;推送失败由 TTL 与下次回源兜底。

概念解释

  • 推送触发:写变更事件或定时刷新任务。
  • 版本控制:事件带新版本,消费端比较后更新。
  • 失败兜底:事件重试、本地 TTL、对账纠正。

原理流程

热点数据变更 → 推送事件(key, value, version)
  → 各实例比对版本 → 更新本地/副本
  → 失败 → 重试 + TTL 兜底

常见误区

  • 误区:推送全量 value 到所有实例。事件只带 key 与版本更轻,实例按需回源拉取,避免事件体量放大。
  • 误区:推送到达即一致。乱序与丢失仍需版本和兜底机制。

追问

  • 问:推送通道选什么?答:MQ 广播、配置中心推送或订阅变更流,按实例规模与延迟要求选。
  • 问:热点数据刷新频率?答:按更新频率与新鲜度要求,写事件优先,低频数据可定时校验版本。

09.3.2.3-014 多级缓存命中率怎么分层统计?

一句话结论

分别统计本地命中率、Redis 命中率、整体回源 DB 比例;分层定位未命中发生在哪一级:本地低命中说明副本不足或失效过快,Redis 低命中看容量与穿透,整体回源高才是缓存体系问题;不能只看一个总命中率。

概念解释

  • 本地层:进程内命中比例。
  • Redis 层:本地未命中后的命中比例。
  • 回源率:最终打到 DB 的比例。

原理流程(计算式)

本地命中率 = 本地命中 / 总请求
Redis 命中率 = Redis 命中 / 本地未命中请求
DB 回源率 = DB 请求 / 总请求

常见误区

  • 误区:总命中率高就说明每一层都健康。本地副本不足时流量压到 Redis,总命中率可能还行但网络开销偏高。
  • 误区:命中率不分业务域。不同接口热点模式不同,混合均值会掩盖局部低命中。

追问

  • 问:本地命中率低怎么调?答:检查副本范围、容量上限、失效广播是否及时、TTL 是否过短。
  • 问:Redis 命中率低怎么调?答:看容量淘汰、TTL、穿透 key 与大对象挤占。

09.3.2.3-015 CDN 静态化与接口缓存的边界?

一句话结论

CDN 静态化承接不变或缓变的公共内容(图片、页面片段、静态资源),接口缓存承接动态但可缓存的读结果;个性化强、实时性高的接口不进 CDN;边界按内容公共度、个性化程度与一致性窗口划分。

概念解释

  • 静态化:可输出独立 URL/文件,CDN 就近缓存。
  • 接口缓存:网关/应用层缓存响应结果,按用户维度或公共维度。
  • 排除:登录个性化、实时状态、强一致数据。

原理流程

内容公共且缓变 → 静态化/CDN
动态可缓存 → 网关/Redis 接口缓存
强个性化/实时 → 不缓存,直读服务

常见误区

  • 误区:所有接口响应都让 CDN 缓存。带用户标识、会话的响应被公共缓存会串数据,必须按缓存键与头控制。
  • 误区:静态化更新立刻全网生效。CDN 有节点缓存周期,要主动刷新或版本号路由。

追问

  • 问:接口缓存键怎么构造?答:按可公共化的维度(资源 ID、地区、版本),排除用户会话标识。
  • 问:静态资源怎么更新?答:文件名带版本/哈希,新旧 URL 并存,发布后切换引用。

09.3.2.3-016 分布式下本地缓存副本数怎么权衡?

一句话结论

副本数越多,本地分流越多但内存占用与一致性失效成本越高;按热点对象大小、实例数与可接受旧值窗口权衡:小对象、强热点可多副本,大对象或易变数据少副本;副本只在热点存活期保留。

概念解释

  • 收益:本地命中减少 Redis 访问与网络。
  • 成本:每实例一份内存、广播失效开销、旧值窗口。
  • 动态:热点冷下来即摘除副本回收内存。

原理流程

热点对象大小 × 实例数 = 本地副本总内存
  副本越多 → 分流越强、内存/失效成本越高
  按热点等级动态增减副本

常见误区

  • 误区:每个实例都缓存所有热点。大对象在多实例复制会放大总内存,应只给极热点小对象建本地副本。
  • 误区:本地副本永久保留。无 TTL 与下线机制会让冷数据长期占堆。

追问

  • 问:副本失效广播量怎么估?答:变更事件数 × 实例数,事件只带 key 与版本,避免大 value 广播。
  • 问:哪些对象不适合本地副本?答:大对象、写频繁、强一致要求高、实例间数据差异大的内容。

09.3.2.3-017 热点击穿在多级缓存下怎么兜底?

一句话结论

热点失效时本地副本先挡一轮,未命中到 Redis,Redis 未命中回源时单飞重建;任一层都要有互斥重建与旧值/降级兜底;多级放大了并发回源风险,每层未命中都要控制并发,不能让请求逐层穿透到 DB。

概念解释

  • 层级击穿:本地、Redis 先后失效。
  • 每层控制:单飞、逻辑过期、旧值返回。
  • 兜底:限流、降级、静态快照。

原理流程

热点失效 → 本地副本承接
  → Redis 重建(单飞)
  → 仍未命中 → 限流 + 旧值/兜底

常见误区

  • 误区:有了多级缓存就不会击穿。每层都可能未命中,并发请求在每一层都可能同时回源。
  • 误区:击穿只在 Redis 层防护。本地副本过期同样会把流量推向 Redis,需要同样的重建控制。

追问

  • 问:热点常驻怎么配合?答:核心热点用逻辑过期/常驻 + 异步刷新,避免物理到期引发击穿。
  • 问:重建失败返回什么?答:旧值优先,其次降级快照;标注非最新状态,不返回误导性新值。

09.3.2.3-018 缓存层级怎么决策选择?

一句话结论

决策顺序:先判断数据是否可缓存与一致性级别,再看访问量与对象大小:公共静态走 CDN,极热点小对象进本地,共享热点进 Redis,权威状态留 DB;层级不是一次定死,按命中率、热点变化与容量动态调整。

概念解释

  • 第一步:可缓存性与一致性。
  • 第二步:访问模式与体量匹配层级。
  • 第三步:上线后按分层命中率调整。

原理流程

可否缓存/一致性级别?
  公共静态 → CDN
  极热点小对象 → 本地
  共享热点 → Redis
  权威状态 → DB

常见误区

  • 误区:先选框架再放数据。应先分析数据特性与访问模式,再决定层级和结构。
  • 误区:层级选定后不调整。热点迁移、数据大小变化都会让原方案低效,要按指标复盘。

追问

  • 问:一个数据能放多层吗?答:可以,但每层职责明确、失效链路闭环,避免多层都存大对象。
  • 问:决策时参考哪些指标?答:访问频次、value 大小、更新频率、旧值容忍度、下游回源成本。

09.3.2.3-019 场景:Feed 流与商品详情热点怎么处理?

一句话结论

商品详情:公共展示字段可 CDN/本地/Redis 多级缓存,按商品 ID 构造缓存键,热点商品拆副本并预热;Feed 流个性化强,整体不宜公共缓存,可缓存单条内容摘要、用户首屏结果短时缓存,关注关系与实时状态走服务层。

概念解释

  • 详情:公共度高、可静态化,热点集中在爆款商品。
  • Feed:个性化组合,缓存单位是单条内容或短时首屏结果。
  • 边界:个性化排序、最新状态不做长缓存。

原理流程

商品详情 → 多级缓存 + 热点副本 + 预热
Feed 单条内容 → 摘要缓存
Feed 首屏 → 短时结果缓存(按用户)
个性化/实时 → 服务层直读

常见误区

  • 误区:Feed 列表整体缓存通用版本。不同用户关注与排序不同,公共缓存会串内容。
  • 误区:详情缓存包含库存/价格等实时字段。这些字段一致性要求高,应单独处理或直读服务。

追问

  • 问:爆款商品热点怎么发现?答:活动名单预测 + 实时访问统计,提前预热并拆副本。
  • 问:Feed 缓存键怎么设计?答:按用户 + 内容版本/时间窗,避免跨用户复用。

09.3.2.3-020 热点治理监控看哪些指标?

一句话结论

监控:各 key 访问频次与 top N 变化、分片/节点流量倾斜、本地副本命中率与占用、热点上下线时间、失效事件成功率;倾斜度、热点数量与内存占用趋势一起看,发现单点过热与冷副本残留。

概念解释

  • 频次:top key 榜与突增告警。
  • 倾斜:各分片 QPS/内存对比。
  • 副本:本地命中率、条目数、下线回收情况。

原理流程

采集访问频次 → 排名 top key
  → 对比分片负载找倾斜
  → 跟踪副本命中率与内存
  → 冷热点下线回收

常见误区

  • 误区:只监控总量 QPS。总量正常也可能单分片被热点打满,必须看节点与 key 维度分布。
  • 误区:热点上线后不管下线。冷副本长期占用内存,要跟踪热度衰减及时清理。

追问

  • 问:倾斜告警阈值怎么定?答:按节点负载离散度,明显偏离平均且持续一段时间即告警,避免瞬时抖动误报。
  • 问:热点治理效果怎么验收?答:单点访问量下降、分片负载均衡、本地命中率提升、回源 DB 比例降低。