09.3.2.4 大 Key、热 Key 与缓存治理
所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.3 缓存体系 / 09.3.2 缓存一致性与治理
09.3.2.4-001 大 key 怎么定义?
一句话结论
大 key 从两个口径判定:value 字节数过大,或集合元素数量过多;两者都可能造成阻塞、网络放大与槽位倾斜,具体阈值按节点能力与业务规模定,不背固定数字,但要在巡检中按口径识别并登记。
概念解释
- 字节口径:单个 string/序列化对象占用过大。
- 元素口径:Hash/Set/ZSet/List 成员数过多。
- 判定来源:MEMORY USAGE、集合长度命令、巡检扫描结果。
原理流程
遍历 key → 取类型与长度/占用
→ 超字节阈值或元素阈值 → 登记大 key 清单
→ 关联业务 owner 与拆分方案
常见误区
- 误区:只有字符串才算大 key。集合元素多同样是大 key,遍历类命令阻塞风险更高。
- 误区:阈值可以照搬官方默认。不同实例内存、网络与业务包大小不同,阈值要结合压测与线上分布定。
追问
- 问:大 key 阈值怎么起步?答:先看线上元素数与大小分布,按分位数划出明显离群的条目作为候选,再压测验证阻塞影响。
- 问:大 key 一定是问题吗?答:低频访问的大对象影响小,高频访问的大 key 才优先治理。
09.3.2.4-002 大 key 有哪些危害?
一句话结论
大 key 拖慢单次命令(O(n) 遍历)、放大网络传输与序列化成本、阻塞 Redis 主线程、删除时同步回收内存造成停顿,并导致槽位数据倾斜;高频访问时还会集中占用带宽与连接。
概念解释
- 阻塞:主线程遍历海量元素,其他命令排队。
- 网络:一次返回/写入大量数据占满带宽。
- 倾斜:单 key 数据量集中到一个分片。
- 删除:同步释放大块内存引发停顿。
原理流程
访问大 key → 命令遍历元素 → 主线程耗时 + 带宽占用
删除大 key → 同步回收大块内存 → 停顿抖动
常见误区
- 误区:大 key 主要是占内存。阻塞 RT 与网络倾斜对在线业务的影响往往比内存占用更直接。
- 误区:读大 key 没事,只有写危险。全量读命令同样遍历元素并返回海量数据,主线程与网络都受影响。
追问
- 问:大 key 怎么影响集群均衡?答:数据量集中在单槽,节点内存与流量不均,扩容也无法自动拆开这个 key。
- 问:怎么观察阻塞?答:慢日志、命令耗时分布、主线程 RT 与网络带宽指标。
09.3.2.4-003 大 key 怎么发现?
一句话结论
三条途径:离线 SCAN 分批扫描统计长度与 MEMORY USAGE;在线监控集合长度与大对象告警;访问日志结合元素规模定位高频大 key;扫描要分批限速,避免在线 KEYS 全量阻塞。
概念解释
- 离线扫描:游标遍历,按类型取 HLEN/SCARD/LLEN/ZCARD 与内存占用。
- 在线告警:条目数/字节超阈值触发记录。
- 关联:把大 key 与访问频次、业务模块关联起来排治理优先级。
原理流程
SCAN 分批 → 判定类型 → 取长度/内存
→ 超阈值入清单 → 关联访问频次与 owner
→ 输出大 key 报表
常见误区
- 误区:用 KEYS 全量扫一遍找大 key。KEYS 阻塞主线程,生产必须用 SCAN 分批。
- 误区:只看内存不看频次。低频大对象可暂缓,高频大 key 才是优先治理对象。
追问
- 问:扫描多久跑一次?答:按数据变化周期定期巡检,新增大 key 通过在线阈值告警即时记录。
- 问:MEMROY USAGE 估算不准怎么办?答:集合按样本估算,结合元素数与单元素大小综合判断。
09.3.2.4-004 大 key 拆分策略有哪些?
一句话结论
按业务维度拆分:集合按字段/时间/范围切成多个小 key,对象只缓存展示所需字段;必要时副本分桶分散访问;拆分后读取按规则聚合,写失效覆盖全部拆分 key;根因是把“一个大对象”改成“一组可控小条目”。
概念解释
- 字段拆分:大 Hash 按子域拆多个 Hash。
- 范围拆分:按时间分片、分页段、业务 ID 分桶。
- 字段裁剪:只缓存展示摘要,完整数据留 DB。
原理流程
大 key → 识别可切分维度
→ 拆成 key#子段(多个小条目)
→ 读:按需取段/聚合;写:失效全部子段
常见误区
- 误区:拆分后一次读回所有子段。那样只是把大 key 换成多次小查询,仍有聚合成本;应按需读取,避免全量拉回。
- 误区:拆分维度随意选。维度要匹配访问模式(常按什么条件查),否则聚合复杂度更高。
追问
- 问:大列表怎么拆?答:按分页/时间段存独立 key,支持范围读取;成员数控制在阈值内。
- 问:拆分后一致性怎么保证?答:所有子段同源自 DB,变更时整体失效重建,版本号防止旧值回填。
09.3.2.4-005 大 key 怎么渐进删除?
一句话结论
避免一次性 DEL 大 key 同步回收:用 UNLINK 异步释放,或 SCAN/HSCAN/SSCAN 分批遍历成员逐批删除,控制每批数量与间隔;删除动作低峰执行,观察主线程耗时与内存回收曲线。
概念解释
- UNLINK:把大 key 释放交给后台线程,不阻塞主线程(版本支持以官方文档为准)。
- 分批删除:游标遍历成员,逐批移除,间隔限速。
- 时机:低峰期,避开业务高峰。
原理流程(伪代码)
方式一:UNLINK key(后台异步回收)
方式二:
SCAN 成员 → 每批移除少量成员
批间 sleep 限速 → 直到清空 → 删除 key
常见误区
- 误区:DEL 大 key 只是一条命令不影响性能。命令在主线程内回收全部内存,对象越大停顿越明显。
- 误区:分批删除可以全速跑。批次过大仍会阻塞,需要控制批量大小与间隔。
追问
- 问:UNLINK 和 DEL 怎么选?答:大 key 优先异步释放;小对象直接 DEL 即可,具体能力按版本确认。
- 问:删除过程中还能读吗?答:分批期间部分成员仍在,读取要容忍不全或先做只读标记,避免半删状态返回错误结果。
09.3.2.4-006 热 key 怎么定义和发现?
一句话结论
热 key 是访问频次远高于平均水平、流量集中的单个 key;发现方式包括入口/网关频次统计、离线日志 top N、Redis 侧热点探测;与大 key 正交:热 key 不一定大,大 key 不一定热,两者可能叠加。
概念解释
- 频次口径:单位时间访问次数、占总流量比例。
- 发现路径:实时计数、离线排序、存储侧探测。
- 叠加风险:又热又大的 key 阻塞与倾斜最严重。
原理流程
入口计数 / 日志聚合 / Redis 探测
→ 频次排名 → 超门槛标记热 key
→ 与大 key 清单交叉 → 优先治理叠加项
常见误区
- 误区:热 key 和大 key 是一回事。小对象高频访问同样是热 key;治理手段也不同:热 key 分流,大 key 拆分。
- 误区:集群分片能自动分散热 key。单 key 固定落一个槽,扩容不会自动拆开。
追问
- 问:热 key 门槛怎么定?答:按频次分布分位数与流量占比,明显离群且持续一段时间才标记,避免瞬时抖动误报。
- 问:热 key 清单给谁用?答:本地缓存下沉、副本拆分、预热与限流保护共同参考。
09.3.2.4-007 热 key 怎么打散和加本地副本?
一句话结论
打散手段:拆成多个副本 key 分散到不同槽位,读时随机/轮询选择;同时在应用本地缓存热点副本承接大部分读流量;写失效覆盖所有副本与本地条目;打散后要监控各副本负载是否均衡。
概念解释
- 副本 key:逻辑 key 对应 N 个物理副本。
- 本地副本:进程内缓存,减少到 Redis 的访问。
- 失效:变更时遍历副本删除 + 广播本地删除。
原理流程
读:选副本 key 读取 → 本地命中优先
写:DB 更新 → 删全部副本 → 广播删本地
常见误区
- 误区:只拆副本不做本地缓存。副本仍在集群内,超热点时单分片网络仍可能饱和。
- 误区:副本失效只删主 key。遗漏副本会留下多份旧值,必须遍历全部副本删除。
追问
- 问:副本数怎么定?答:按热点程度逐步增加,观察分散后各分片负载,避免过度复制浪费内存。
- 问:本地副本过期策略?答:短 TTL + 主动失效广播,热点冷下来及时摘除。
09.3.2.4-008 key 命名规范怎么定?
一句话结论
命名格式统一为 业务:模块:标识[:子段],前缀可读且尽量简短,标识用稳定业务 ID;避免空格、特殊字符与过长描述,同类 key 可按前缀批量巡检;命名要能从 key 反查业务 owner 与数据含义。
概念解释
- 分层:业务域 → 模块 → 业务标识 → 可选子段。
- 长度:在可读前提下压缩,减少元数据开销。
- 可维护:前缀对应业务模块,便于统计、过期与治理。
原理流程
例:order:detail:100123
product:stock:200456:bucket3
前缀可按模块聚合巡检与批量处理
常见误区
- 误区:key 里堆中文描述和长注释。key 每个条目都占内存,冗长前缀放大元数据成本。
- 误区:不同业务随手拼 key 格式。格式不统一导致无法按前缀巡检、批量失效与问题定位。
追问
- 问:key 里要不要放版本?答:数据结构大版本变更可加版本段,避免新旧结构混杂;不要把每次更新时间塞进 key。
- 问:多租户怎么标识?答:租户 ID 作为命名段或哈希维度,便于隔离与统计。
09.3.2.4-009 TTL 设计原则是什么?
一句话结论
TTL 按数据可容忍的陈旧窗口与更新频率设定:易变数据短 TTL + 主动失效,稳定数据可长 TTL;同类 key 加随机抖动防集中过期;关键数据不能只依赖 TTL,必须有主动失效链路。
概念解释
- 依据:一致性窗口、更新频率、回源成本。
- 抖动:基础 TTL + 随机偏移打散到期时刻。
- 兜底:TTL 是主动失效失败后的最后防线。
原理流程
评估陈旧窗口 → 定基础 TTL
→ 叠加随机抖动
→ 写变更主动失效 → TTL 兜底重建
常见误区
- 误区:TTL 越长命中率越高。长 TTL 保留旧值风险大,过期清理不及时也会占内存。
- 误区:所有 key 统一 30 分钟。不同数据更新频率与一致性要求不同,TTL 应分级设定。
追问
- 问:什么 key 不设 TTL?答:常驻热点与配置类,必须有主动更新/失效与版本校验,并纳入无过期清单巡检。
- 问:TTL 抖动幅度怎么取?答:按基础时长比例或固定秒数,到期分布观测后调整。
09.3.2.4-010 无过期 key 有什么风险,怎么管?
一句话结论
无过期 key 不会被自然清理,只靠主动删除与淘汰;漏删会长期占内存并保留旧值;应建立无过期清单,标注用途、owner、新鲜度校验方式,定期盘点;除配置与常驻热点外,业务数据原则上都应有 TTL。
概念解释
- 来源:忘记设 TTL、常驻设计、历史遗留。
- 风险:内存只增不减、旧值陈旧、淘汰时挤走其他热点。
- 管理:清单登记、版本校验、定期清理冷条目。
原理流程
扫描无 TTL key → 登记清单(用途/owner/刷新方式)
→ 定期校验新鲜度与必要性
→ 可加 TTL 的补 TTL,无用的清理
常见误区
- 误区:常驻 key 就不需要管理。常驻数据同样会过时,必须有版本校验与下线机制。
- 误区:淘汰策略会兜住无过期 key。淘汰只在内存满时被动清,且按策略可能先清有 TTL 的热点。
追问
- 问:怎么找出无 TTL key?答:TTL 返回 -1 的条目纳入巡检,按前缀与业务分组核对。
- 问:配置类常驻怎么刷新?答:配置变更事件推送刷新,带版本号,失败回滚到默认配置。
09.3.2.4-011 缓存 key 怎么带数据版本?
一句话结论
缓存条目附带数据版本号或更新时间,用于判断新旧、防止旧值回写、支撑对账与失效广播;版本随 DB 查询带出,写入缓存前比较;版本字段不参与业务展示,只做一致性控制。
概念解释
- 来源:DB 乐观锁版本号或更新时间戳。
- 用途:覆盖判断、乱序丢弃、对账比对。
- 存储:随 value 一起缓存,结构上区分数据体与版本字段。
原理流程
读取 (value, version)
写缓存前比较版本:新版本才覆盖
失效事件携带版本供消费端判断
常见误区
- 误区:用系统时间戳当版本就安全。时钟回拨与并发写入可能产生相同/倒退时间,优先用单调序列号。
- 误区:版本字段要返回给前端。版本是内部控制字段,不对外暴露业务含义。
追问
- 问:版本从 DB 怎么取?答:行版本列(乐观锁)或 updated_at,随业务查询一起读出。
- 问:对账怎么用版本?答:比对 DB 行版本与缓存版本,不一致即刷新。
09.3.2.4-012 value 压缩与序列化怎么选?
一句话结论
序列化要紧凑(字段名短、结构精简),大 value 可评估压缩;选择兼顾序列化/反序列化 CPU 成本与内存节省;缓存条目越小,元数据占比越低、网络传输越少;压缩收益要在大对象上才明显,小对象不必强行压缩。
概念解释
- 序列化:JSON 可读但字段名冗余,二进制格式更紧凑。
- 压缩:对大 value 减内存与带宽,增加 CPU 开销。
- 权衡:内存/网络 vs CPU,按对象大小与访问频次评估。
原理流程
value 较大 → 评估压缩比与 CPU 成本
→ 紧凑序列化优先
→ 小对象不做额外压缩,避免反序列化开销
常见误区
- 误区:JSON 最通用就直接缓存。字段名重复占用大量空间,对象多时内存差距明显。
- 误区:所有 value 都压缩。小对象压缩收益有限,解压 CPU 反而拖慢命中路径。
追问
- 问:压缩在哪一层做?答:写入缓存前压缩、读取后解压;本地缓存副本可存对象不压缩,分布式缓存按大小决定。
- 问:序列化兼容性注意什么?答:结构变更要向前兼容,避免老版本读到新结构反序列化失败。
09.3.2.4-013 批量操作怎么用 pipeline 与 MGET?
一句话结论
批量读取用 MGET 按多 key 一次往返,批量写用 pipeline 打包多条命令减少网络 RTT;但批量集合类命令不能一次拉海量成员,分批控制;pipeline 不等同于事务,命令仍逐条执行。
概念解释
- MGET:多 key 批量读,一次网络往返。
- pipeline:客户端打包多条命令顺序发送,减少往返次数。
- 约束:批量大小受限,避免单次命令包过大。
原理流程
多条单命令 → pipeline 批量发送
多 key 读取 → MGET 一次返回
大集合 → 分批 LRANGE/HSCAN 控制批量
常见误区
- 误区:pipeline 保证原子性。pipeline 只是减少往返,命令之间仍可能插入其他客户端命令;原子性要靠 Lua/事务。
- 误区:一次 MGET 几百上千 key 没问题。包过大占网络与主线程,应分批并观测耗时。
追问
- 问:pipeline 批量多大合适?答:按网络包大小与命令耗时分批,压测不同批量下的 RT 与吞吐。
- 问:批量写失败怎么处理?答:分批结果逐条核对,失败 key 重试,不能假设整批成功。
09.3.2.4-014 缓存代码规范要封装哪些能力?
一句话结论
统一缓存组件封装:get/put/invalidate 入口、穿透保护(空值/布隆)、回填单飞、埋点命中率与回源指标、序列化与异常降级;业务代码不直接散落操作 Redis,保证容量、过期、监控口径一致。
概念解释
- 入口封装:读写删统一走组件。
- 保护:参数校验、空值缓存、并发回填控制。
- 可观测:命中/未命中、回源 RT、异常计数。
原理流程
业务调用缓存组件接口
→ 组件内:校验 → 查缓存 → 未命中单飞回源 → 回填 → 埋点
→ 失效走统一删除接口
常见误区
- 误区:业务代码各自写 Redis 命令。过期策略、序列化、监控口径分散,问题难以统一治理。
- 误区:封装里吞掉异常。缓存故障要上抛或明确降级返回,不能让业务误以为拿到新值。
追问
- 问:组件暴露哪些接口?答:按业务语义 get/put/evict,回源 loader 由业务传入,内部保护与指标统一。
- 问:缓存异常怎么降级?答:组件捕获后回源或返回兜底,记录异常指标,避免缓存故障直接打断业务。
09.3.2.4-015 DB 字段变更怎么联动缓存?
一句话结论
DB 表结构或字段含义变更时,同步评估缓存结构、序列化格式与 key 版本;缓存值带版本或加新 key 前缀,避免新旧结构混杂;上线按先更新兼容读取、再切换写入、最后清理旧缓存的顺序。
概念解释
- 结构变更:新增/删除/改名字段、类型调整。
- 兼容:新老格式可互相解析,或按版本区分。
- 清理:旧结构缓存自然过期或主动清除。
原理流程
DB 字段变更评审 → 缓存结构/版本同步调整
→ 兼容读取新旧格式
→ 切换写入 → 清理旧版本缓存
常见误区
- 误区:改了 DB 表不用管缓存。旧结构缓存继续被读取,反序列化失败或返回错误字段。
- 误区:直接覆盖旧 key 结构。未发布实例可能还在读旧格式,强行切换会造成兼容问题。
追问
- 问:怎么避免新旧混杂?答:key 加版本段,或 value 内带格式版本号,读取按版本解析。
- 问:旧缓存什么时候清?答:兼容期过后主动清理或等 TTL 过期,确认无老版本读取后下线。
09.3.2.4-016 缓存治理巡检看哪些报表?
一句话结论
定期报表:大 key 清单、热 key 排名、无 TTL key 清单、低命中率模块、慢命令 TOP、内存与淘汰趋势;每项关联业务 owner 与处置状态,形成发现—治理—验收闭环,而不是只看集群健康度。
概念解释
- 结构类:大 key、无 TTL、集合长度分布。
- 性能类:热 key、慢命令、命中率、淘汰计数。
- 闭环:清单分派、整改、复测指标改善。
原理流程
周期采集 → 生成分类清单
→ 分派 owner 整改
→ 复测大 key/热 key/命中率变化
→ 归档治理记录
常见误区
- 误区:巡检只在故障后做。周期性报表才能提前发现内存膨胀与倾斜,故障后排查为时已晚。
- 误区:清单生成后不跟踪状态。没有整改闭环,大 key 与无 TTL 条目会长期残留。
追问
- 问:巡检频率怎么定?答:常规周期报表 + 阈值实时告警,大促前专项盘点。
- 问:报表关联哪些信息?答:key 前缀对应模块、owner、访问频次、最近访问时间,便于判断保留价值。
09.3.2.4-017 缓存成本与淘汰取舍怎么权衡?
一句话结论
缓存收益是降低回源 DB 压力与 RT,成本是内存、运维与一致性风险;容量受限时按业务优先级保留热点:核心高频数据留缓存,冷数据与大对象降级到 DB;淘汰策略配合主动治理,而不是让内存满后盲目驱逐。
概念解释
- 收益:命中率、回源减少、RT 改善。
- 成本:内存费用、副本开销、失效与一致性维护。
- 取舍:数据价值 vs 占用,分级保留。
原理流程
内存紧张 → 按访问频次/业务优先级排序
→ 保留核心热点 → 清理冷数据与大对象
→ 评估淘汰策略与主动下线结合
常见误区
- 误区:缓存容量越大越划算。低命中冷数据占内存不产生收益,应收敛范围而非单纯扩容。
- 误区:淘汰策略自动解决取舍。策略不区分业务优先级,关键数据可能被挤出,需要主动治理。
追问
- 问:怎么评估一条数据值不值得缓存?答:看访问频次、回源成本、value 大小与旧值容忍度,四项综合判断。
- 问:成本上涨先做什么?答:清理低命中与无主条目、压缩 value,再评估扩容。
09.3.2.4-018 哪些数据应禁止进缓存?
一句话结论
禁止缓存:会话与登录态等需要强实时且有安全边界的数据、事务中间状态、不可重建的唯一权威数据、超大对象全集、频繁写覆盖的状态;这些数据进缓存要么一致性/安全风险高,要么命中率低且占用大。
概念解释
- 安全类:登录态、权限凭证,泄露或旧值风险高。
- 状态类:事务中间态、临时锁定。
- 不可重建:唯一副本,丢失无法从 DB 恢复。
- 低效类:大对象、写频繁、低命中。
原理流程
评估能否缓存 → 命中禁止清单 → 留 DB/专用存储
→ 其余按一致性级别与访问模式纳入缓存
常见误区
- 误区:会话放缓存是常见做法所以没问题。会话缓存要有安全边界、过期与失效控制,不能随便复制到本地副本。
- 误区:临时状态放缓存加速读写。中间态回滚/超时后残留会污染后续判断。
追问
- 问:权限数据怎么缓存?答:可缓存只读权限快照,短 TTL + 主动失效,判定仍以权威权限服务为准。
- 问:不确定能否缓存怎么办?答:先按不可缓存处理,验证访问模式与一致性窗口后再纳入。
09.3.2.4-019 灰度发布期间缓存怎么兼容?
一句话结论
灰度阶段新旧版本可能同时读取缓存:value 结构带版本或 key 加版本段,新老版本各自兼容解析;失效广播覆盖灰度与全量实例,避免旧版本读到新格式报错;发布完成后清理旧版本缓存。
概念解释
- 兼容:结构变更前后可解析。
- 隔离:版本段避免新旧混杂。
- 失效:变更事件到达所有实例(含灰度)。
原理流程
灰度实例上线 → 读取带版本缓存
→ 新旧格式兼容解析
→ 失效事件覆盖灰度/全量
→ 全量后清理旧版本 key
常见误区
- 误区:灰度比例小不用管缓存。少数灰度实例读到不兼容旧格式就会报错,影响小流量但故障真实存在。
- 误区:新版本直接覆盖旧 key 结构。未升级实例仍在运行,需要兼容期过渡。
追问
- 问:回滚时缓存怎么处理?答:回滚前确认旧版本可解析当前缓存结构,必要时清理新版本 key 让其按旧结构重建。
- 问:灰度期间 key 版本怎么管理?答:结构不兼容时用版本前缀;兼容演进时用 value 内版本号区分。
09.3.2.4-020 缓存治理的完整流程是什么?
一句话结论
流程:评审数据是否可缓存与一致性级别 → 设计 key/结构/TTL → 上线封装与埋点 → 周期巡检(大 key、热 key、无 TTL、命中率)→ 整改拆分/下线/扩容 → 复测指标并归档;治理是持续循环,不是一次性上线动作。
概念解释
- 事前:评审、设计、封装。
- 事中:监控告警、热点响应。
- 事后:巡检整改、复测复盘。
原理流程
评审 → 设计 → 上线埋点
→ 巡检发现问题 → 整改
→ 复测命中率/倾斜/内存 → 归档
→ 随业务变化循环更新
常见误区
- 误区:缓存上线即结束。热点、数据结构、业务规模都会变化,没有持续治理会重新堆积问题。
- 误区:治理只由缓存负责人做。业务 owner 要参与数据可缓存性评估与旧值风险确认。
追问
- 问:治理成果怎么衡量?答:命中率提升、大 key/无 TTL 条目下降、分片负载均衡、回源 DB 比例降低。
- 问:治理动作优先级?答:先治理高频大 key 与热点击穿风险,再清理低命中与无主条目,最后做容量优化。