罗罗编程学习记录
本页内容 展开查看

06.1.2.4 数据访问边界与密钥管理

所属:全栈开发面试题库 / 06 后端框架与工程实践 / 06.1 通用后端工程 / 06.1.2 认证授权与安全

本节要解决的问题

  • ORM 与手写 SQL 如何取舍,连接池与事务边界怎么定?
  • 缓存与数据库一致性如何保证?
  • 密钥与配置如何存放、加密、轮换,服务账号如何最小权限?

06.1.2.4-001 ORM 与手写 SQL 怎么选?

一句话结论

基础 CRUD、跨库映射用 ORM 提效率;复杂报表、性能敏感、批量操作用原生 SQL;两者混合,ORM 不掩盖 SQL 与索引事实。

概念解释

  • ORM:对象-表映射,减少样板代码,类型安全,便于重构。
  • 代价:隐式查询、N+1、生成 SQL 不一定最优;复杂表达能力受限。
  • 手写 SQL:可控执行计划与批量性能,但要处理参数化、映射与跨库差异。

对比

维度 ORM 手写 SQL
开发效率 高 中低
复杂查询 弱 强
性能可控 需调优 直接
跨库适配 好 需自行处理方言

常见误区

  • 认为 ORM 生成的 SQL 天然高效:不看执行计划仍会慢查询。
  • 一切手写 SQL:基础查询重复劳动且易出注入。

追问

  • ORM 出现性能瓶颈先看什么?开启 SQL 日志,定位 N+1 与缺索引,再考虑原生 SQL。
  • 混合使用时边界在哪?Repository 内封装:常用方法走 ORM,复杂方法走受控原生 SQL。

06.1.2.4-002 N+1 问题如何识别与消除?

一句话结论

N+1 是取主列表 1 次、逐条加载关联 N 次导致 N+1 条查询;识别靠 SQL 日志/慢查询,消除用预加载、批量取数或投影查询。

概念解释

  • 场景:遍历订单列表,每条订单再查其订单项/用户,循环内触发单条查询。
  • 识别:日志中同一句查询重复 N 次;列表接口耗时随条目数线性增长。
  • 消除:预加载关联(Include/join)、按 ID 批量查询后内存装配、投影只取需要字段。

示例

// 反例:循环内查询
for order in orders:
    user = userRepo.get(order.userId)   // 每条一次 SQL

// 正例:批量
userIds = orders.map(userId)
users = userRepo.findByIds(userIds)    // 一次 IN 查询

常见误区

  • 依赖懒加载:序列化/遍历时机不可控,N+1 在线上才暴露。
  • 预加载所有关联:又造成笛卡尔积与大结果集(见 06.3.2.2 条目)。

追问

  • 如何在代码评审时发现 N+1?警惕循环内调用 Repository/外部服务。
  • 懒加载在什么场景可用?短生命周期上下文内明确需要,且数据量受控。

06.1.2.4-003 数据库连接池大小如何估算?

一句话结论

池大小按数据库承载能力与并发工作单元估算,不是越大越好;参考公式与压测结果,连接数受数据库最大连接、实例数、上下文切换共同约束。

概念解释

  • 理论估算:连接数 ≈ 核心数 × (1 + 磁盘/IO 等待),再按数据库上限校正。
  • 全局预算:总连接 = 应用实例数 × 单实例池大小,不能超过数据库 max_connections。
  • 监控:活跃连接、空闲连接、获取等待队列、等待耗时。

示例

DB 最大连接 200
应用实例 4 个 → 单实例池 ≈ 200/4 并留余量
池过小:请求排队等待连接;池过大:DB 侧上下文切换与竞争加剧

常见误区

  • 池大小设成几百:数据库连接数打满,反而整体变慢。
  • 多实例部署不全局核算连接预算。

追问

  • 等待队列过长说明什么?池偏小或查询慢;先看慢 SQL,再调池大小。
  • 连接池与线程池关系?Web 请求线程等连接,连接池耗尽时线程被占用堆积。

06.1.2.4-004 连接池耗尽的表现与排查?

一句话结论

表现为获取连接超时、请求堆积、线程池占满;排查方向:慢查询长占连接、连接未释放、池配置过小、连接泄漏(未关闭/事务未结束)。

概念解释

  • 监控指标:活跃连接数、等待获取连接数、等待时长、连接存活时间。
  • 泄漏排查:哪些查询/事务持有连接最久;上下文是否正确释放。
  • 检查:事务边界、异步路径是否复用了已释放连接、长批处理。

常见误区

  • 耗尽就盲目调大池:掩盖慢查询与泄漏,数据库先被压垮。
  • 只看应用日志:连接占用要结合数据库侧活动会话。

追问

  • 连接泄漏常见原因?获取后异常路径未归还;DbContext/连接生命周期错误(见 06.3.2.3)。
  • 如何快速止血?限流入口、kill 超长事务、扩容实例,再修根因。

06.1.2.4-005 数据库连接为什么要设最大生命周期?

一句话结论

连接长期存活可能遇到数据库重启、网络中间件超时、负载均衡摘除等问题;设最大生命周期让连接定期回收重建,避免拿到已经失效的陈旧连接。

概念解释

  • 配置项:最大生命周期(max lifetime)、空闲超时、测试连接有效性(validation query/keepalive)。
  • 陈旧连接:网络设备静默断开、DB 重启,应用侧连接对象仍存在。
  • 回收周期应短于数据库与中间件的强制断连时间。

常见误区

  • 连接永久复用:失效后首次请求才报错,偶发连接异常难排查。
  • max lifetime 长于 DB wait_timeout:连接被 DB 单方面关闭。

追问

  • 借池时如何校验连接可用?取出时做轻量校验或开启 keepalive 探测。
  • 最大生命周期与空闲回收区别?生命周期限制连接总年龄;空闲回收清理长期闲置连接。

06.1.2.4-006 事务边界应该包多大?

一句话结论

事务只包住需要一致提交的数据库操作,尽量短;不包含 RPC、消息发送、文件 IO、人工等待;跨操作的一致性用最终一致方案解决。

概念解释

  • 边界:Service 用例层开启,覆盖同一用例内的多表读写。
  • 短事务:减少行锁持有时间与锁等待,降低死锁与阻塞。
  • 禁忌:事务内调远程接口、发 MQ、等待回调、跑批量大更新。

示例

事务内:订单表 + 订单项表 写入
事务外:发送通知、积分调用、推送消息(提交后事件/Outbox)

常见误区

  • 事务边界放到 Controller 或覆盖整个请求:连接与锁持有过久。
  • 长批量更新包在一个事务:undo log 膨胀、锁范围大。

追问

  • 事务内必须发消息怎么办?Outbox:业务表与消息表同事务写入,异步投递(见 06.1.2.4-009)。
  • 多个写操作必须一致但跨库怎么办?本地事务 + 补偿/ Saga,不靠一个分布式大事务。

06.1.2.4-007 事务内为什么不能发 RPC/消息?

一句话结论

远程调用耗时长且结果不可控,会拉长事务、放大锁持有;远程失败无法随本地事务回滚;消息可能在提交前发出,回滚后消费者读到脏数据。

概念解释

  • 风险一:持锁等待远程响应,吞吐下降、死锁概率上升。
  • 风险二:本地回滚但消息已发出,下游执行了不存在的业务。
  • 正确做法:先提交本地事务,再发消息/调用;或用 Outbox 保证「提交与记录待发消息」原子。

常见误区

  • 以为发消息失败可以靠事务回滚:消息已经离开本地,回滚收不回。
  • 同步 RPC 在事务内做权限/校验:只读远程调用也应尽量前置到事务外。

追问

  • 消息重复/乱序怎么办?消费者幂等 + 去重 + 版本顺序控制,不依赖本地事务保证。
  • 提交后事件怎么保证不丢?发布失败进重试/补偿队列,结合 Outbox 表。

06.1.2.4-008 本地事务与跨服务最终一致性怎么取舍?

一句话结论

单库内强一致用本地事务;跨服务/跨库不用分布式长事务,采用最终一致:事务消息、Outbox、Saga 补偿、TCC 按业务选择,明确不一致窗口与补偿路径。

概念解释

  • 本地事务:ACID,覆盖同一数据库内操作。
  • 最终一致:接受短暂不一致,通过消息驱动 + 补偿/对账收敛。
  • 模式:
    • Outbox:本地事务写业务 + 消息表,异步投递。
    • Saga:本地事务序列 + 补偿动作。
    • TCC:Try-Confirm-Cancel,预留资源。

常见误区

  • 跨服务强行两阶段提交:耦合强、可用性差、失败恢复复杂。
  • 只发消息不做补偿:下游失败后状态永久不一致。

追问

  • 哪些业务可接受最终一致?积分、通知、统计;资金扣减需更严格的对账与补偿。
  • 一致性如何验证?对账任务比对跨系统状态,差异自动/人工补偿。

06.1.2.4-009 Outbox 模式怎么做?

一句话结论

在同一本地事务中写业务数据与待发消息表(Outbox),提交后由后台进程读取未投递消息发往 MQ/API,成功后标记;保证业务提交与消息记录原子。

原理流程

  1. 事务内:更新业务表 + 插入 outbox 记录(目标、载荷、状态 pending)。
  2. 提交事务。
  3. 投递器轮询/订阅 outbox,发送消息。
  4. 发送成功标记 sent;失败重试,超过阈值告警/死信。
  5. 消息消费者幂等处理。

常见误区

  • 直接在事务里发消息:提交前泄露(见 06.1.2.4-007)。
  • outbox 记录不清理/不限制表增长:定期归档已发送记录。

追问

  • 多实例如何避免重复投递?投递器加锁/租约,或按分区抢占;消费者侧幂等兜底。
  • 与事务消息(半消息)区别?事务消息由 MQ 提供半消息回查;Outbox 用本地表实现,不依赖 MQ 特性。

06.1.2.4-010 缓存与数据库一致性策略?

一句话结论

常用 Cache Aside:读时回填缓存,写时先更库再删缓存;并发下配合延迟双删、版本号或订阅 binlog 失效;缓存必须有 TTL 兜底,强一致需求读库。

概念解释

  • Cache Aside(旁路缓存):
    • 读:查缓存,未命中读库并回填。
    • 写:先更新数据库,再删除缓存(不是更新缓存)。
  • 为什么删而不是更缓存:避免并发写产生旧值覆盖;未被读的缓存也不必计算。
  • 兜底:TTL 过期;并发竞争用延迟双删/版本号;binlog 订阅主动失效。

常见误区

  • 先删缓存再更库:并发读会把旧值回填缓存。
  • 写库后更新缓存:多请求交错时缓存可能落后于库。

追问

  • 删除缓存失败怎么办?重试/消息队列补偿订阅失效;短暂不一致由 TTL 兜底。
  • 能做到强一致吗?缓存场景多为最终一致;不能容忍旧读的关键数据直接读库或加短锁/版本校验。

06.1.2.4-011 Cache Aside 读写流程与并发风险?

一句话结论

读路径:缓存 → 未命中读库回填;写路径:更库 → 删缓存;典型并发风险是写与读交错导致旧值回填,用延迟双删、版本号或序列化写降低窗口。

原理流程

读:Cache 命中 → 返回;未命中 → DB → 回填 Cache
写:更新 DB → 删除 Cache(下次读重建)

图示

A 读旧缓存未命中 → 读 DB 旧值
B 写 DB 新值 → 删 Cache
A 回填旧值到 Cache → 缓存旧值直到 TTL

常见误区

  • 认为写后删缓存就绝对一致:上述交错窗口仍存在。
  • 缓存 key 不带版本:结构变更后旧缓存残留。

追问

  • 延迟双删怎么做?写库前删一次,写库后延迟片刻再删一次,覆盖读回填窗口。
  • 版本号方案?缓存值带数据版本/更新时间,回填与读取时校验版本,旧版本不覆盖。

06.1.2.4-012 延迟双删与版本号机制?

一句话结论

延迟双删通过写前后两次删缓存压缩旧值回填窗口;版本号在缓存值中携带数据版本,回填前比对,旧版本不写入;两者都是并发补偿手段,不替代 TTL 兜底。

概念解释

  • 延迟双删:删缓存 → 更新库 → 延迟 N 毫秒再删缓存;延迟时长大于一次典型读事务。
  • 版本号:实体带 version/updated_at;缓存条目存同版本;回填时仅当版本更新才覆盖。
  • 适用:并发写较多、对短暂旧值敏感的场景。

常见误区

  • 延迟时间拍脑袋:应参考读请求耗时分布。
  • 只做双删不设 TTL:删缓存失败时旧值永久残留。

追问

  • 版本号冲突怎么处理?数据库乐观锁版本递增,缓存校验以 DB 版本为准。
  • binlog 订阅失效是什么思路?监听变更日志,按记录删除对应缓存,与应用写路径解耦。

06.1.2.4-013 密钥不能放哪里,应该放哪里?

一句话结论

密钥、令牌、密码不能进代码库、客户端包、日志、普通配置文件;应放专用密钥管理(Secret Manager/Vault/K8s Secret),运行时注入,按环境隔离并加密存储。

概念解释

  • 禁止:Git 历史、前端/移动客户端、公开镜像、日志、错误信息、普通源码配置。
  • 推荐:密钥管理服务或加密 Secret 存储;环境变量/挂载卷在部署时注入;最小授权访问。
  • 本地开发:.env 加入忽略清单,不提交真实值。

常见误区

  • 把数据库密码写在 application.yml 提交仓库:一次克隆全量泄露。
  • 后端服务把第三方密钥转发给前端:前端必然可提取。

追问

  • Git 中误提交密钥怎么办?立即轮换该密钥,再清理历史;删文件不够,历史仍可检索。
  • 配置加密与密钥管理关系?加密配置的主密钥同样要放专用管理,不能和密文放一起。

06.1.2.4-014 配置中的密钥如何加密?

一句话结论

敏感配置密文存储,主密钥由 KMS/Vault 管理;应用启动时解密或通过注入获取明文;密文与主密钥分离,不把解密密钥写在代码旁。

概念解释

  • 方案:配置加密 + KMS 信封加密(数据密钥加密主密钥保护)。
  • 注入:部署平台注入环境变量/Secret 卷,应用不落明文配置文件。
  • 审计:谁能读取密钥按策略授权,访问留痕。

常见误区

  • 硬编码对称密钥在代码里加密配置:拿到代码即拿到密钥。
  • 密文与解密脚本同仓存放:等于未加密。

追问

  • 信封加密是什么?随机数据密钥加密配置,主密钥加密数据密钥;轮换主密钥只需重加密数据密钥。
  • 开发环境怎么处理?用本地独立的开发密钥,不与生产混用。

06.1.2.4-015 密钥轮换流程?

一句话结论

轮换生成新密钥 → 双密钥并行期(旧可验、新加签/加密)→ 逐步切换到新密钥 → 作废旧密钥;流程可回滚,访问权限与审计同步更新。

概念解释

  1. 生成新密钥,配置进应用(并行)。
  2. 新签发/加密用新密钥;旧密钥仅用于验签/解密存量。
  3. 流量与存量迁移完成后禁用旧密钥。
  4. 记录轮换时间、操作者;泄露场景立即作废旧密钥。

常见误区

  • 轮换要求一次性切换:旧连接/存量数据解密失败。
  • 轮换后不清理旧密钥:泄露面仍在。

追问

  • 数据库密码轮换如何不停机?应用配置双账号/滚动重启连接池。
  • 密钥轮换周期依据什么?密钥类型、泄露风险与合规要求;泄露事件触发即时轮换。

06.1.2.4-016 最小权限:数据库/服务账号怎么配?

一句话结论

按应用需要授权:数据库账号只给所需库表的必要操作(读/写分离账号),不用超管;服务账号限定可调用的接口与资源,凭证可吊销、可审计。

概念解释

  • DB 账号:应用账号无 DDL/超管权限;报表用只读账号;读写按场景拆分。
  • 服务间账号:按 scope/资源授权,到期与可吊销。
  • 密码/密钥随账号轮换;长期不用账号禁用清理。

常见误区

  • 应用直连用 root/sa:一旦注入或泄露即全库失控。
  • 服务账号权限过宽且长期不复核。

追问

  • 迁移/DDL 用什么账号?单独的部署账号,不与应用运行账号混用。
  • 权限复核周期?定期审计账号清单与授权范围,清理冗余。

06.1.2.4-017 多数据源与读写分离下的事务注意点?

一句话结论

写事务只走主库,读从库可能有延迟;跨数据源不参与单一本地事务,用最终一致方案;读写分离下读写时序(写后读)要路由到主库或容忍延迟。

概念解释

  • 主库写、从库读;从库复制延迟导致刚写入读不到。
  • 事务内连接固定到对应数据源;跨库操作无本地跨库事务。
  • 写后立即读的场景(如创建后跳转)走主库或会话一致性策略。

常见误区

  • 写事务里混入从库读:读到不一致快照。
  • 假设从库实时一致:忽略复制延迟。

追问

  • 多数据源事务怎么管理?各自本地事务;跨源一致性走消息/补偿。
  • 读写分离路由策略?按方法/事务上下文决定主从;一致性要求高的读强制主库。

06.1.2.4-018 长事务与大批量操作有什么危害?

一句话结论

长事务持有行锁与版本快照,阻塞并发、增大回滚段、造成死锁与复制延迟;大批量更新应分批提交,控制单批规模与锁范围。

概念解释

  • 危害:锁等待、连接占用、undo/redo 膨胀、超时回滚代价大。
  • 批量:按主键/时间分批,每批独立小事务;避免一次性 update 全表。
  • 大数据量导出/迁移走异步任务,不在请求事务内完成。

常见误区

  • 为保证一致把整批处理放一个事务:失败回滚成本极高。
  • 批量更新不加 where 限定范围:全表行锁。

追问

  • 分批之间失败怎么办?记录进度,可续跑;每批幂等可重入。
  • 锁竞争高的表怎么优化?索引覆盖条件、缩短事务、避开高峰批量。

06.1.2.4-019 会话/缓存中的敏感数据如何处理?

一句话结论

敏感数据(密码、令牌、身份证、卡号)不落客户端存储与普通缓存;服务端缓存只存引用/必要最小字段,过期与权限随会话清理,传输全程 HTTPS。

概念解释

  • 客户端:密码/刷新令牌不入 localStorage;JWT 只放必要声明。
  • 服务端:缓存对象不含明文敏感字段;缓存键与会话/租户绑定。
  • 失效:登出/撤权时清理相关缓存,不残留可读取的敏感副本。

常见误区

  • 把完整用户对象(含密码哈希)缓存进 Redis:误用即泄露。
  • 缓存不区分租户:跨租户读到敏感数据。

追问

  • 缓存敏感数据为什么还要加密?缓存存储可能被越权访问,按数据敏感度决定加密/脱敏。
  • 令牌缓存与 JWT 黑名单关系?吊销记录存服务端缓存,设过期 TTL。

06.1.2.4-020 数据访问层的审计与留痕怎么做?

一句话结论

对敏感数据的查询、导出、变更记录访问主体、资源、动作、时间与结果;审计日志独立存储、追加写,与业务日志分离,定期复核异常访问。

概念解释

  • 记录:谁(用户/服务)、何时、访问哪条数据、做了什么、来源标识。
  • 触发:导出、批量查看、改密、权限变更、退款等高敏动作必记。
  • 防护:审计表只追加,不被业务清理;访问异常(越权、批量导出)告警。

常见误区

  • 审计只记成功操作:拒绝/越权尝试同样是安全信号。
  • 审计日志与普通日志同库同权限:可被删除篡改。

追问

  • 大数据量审计怎么存?异步落独立存储,保留期按合规;检索按主体/资源/时间。
  • 数据访问审计与业务操作日志区别?前者面向安全追责,后者面向业务排障。

本节自检

  • [ ] 能给出 ORM/原生 SQL 取舍并识别 N+1 消除手段
  • [ ] 能根据实例数与数据库上限估算连接池并排查耗尽
  • [ ] 能划清事务边界,说明事务内禁忌与 Outbox 流程
  • [ ] 能画出 Cache Aside 读写路径与并发补偿手段
  • [ ] 能说明密钥存放、加密、轮换与最小权限配置要求