罗罗编程学习记录
本页内容 展开查看

11.1.1.2 存储与数据模型设计

所属:全栈开发面试题库 / 11 跨领域综合场景题 / 11.1 全链路设计 / 11.1.1 全链路设计

11.1.1.2-001 数据模型设计从哪里入手?

一句话结论

从业务实体、关系与状态迁移入手:先梳理实体及其属性、关联基数与状态机,再定主键、约束、索引与事务边界;模型服务于业务不变式,而不是先建表再补规则。

概念解释

  • 实体:用户、订单、资源等业务对象。
  • 关系:一对一/一对多/多对多。
  • 状态:实体生命周期与合法迁移。

原理流程

  1. 列实体、属性与业务规则。
  2. 明确关联基数与外键/关联表。
  3. 画状态机,约束合法迁移。
  4. 定主键、唯一约束、索引与事务边界。

代码或图示

业务规则 → 实体/属性 → 关系基数 → 状态机
→ 主键/约束 → 索引 → 事务边界 → 迁移脚本

常见误区

  • 先建表后补规则:不变式没落在模型与约束层。
  • 实体遗漏状态字段:状态迁移合法性无处守护。

追问

  • 模型设计要写哪些文档?答:实体关系图、状态迁移表、索引说明与关键约束。
  • 模型和接口 DTO 什么关系?答:内部模型守业务不变式,对外契约用 DTO,避免持久化模型穿透接口。

11.1.1.2-002 实体关系与基数怎么建模?

一句话结论

按业务关联判断一对一、一对多、多对多:一对多用外键,多对多用关联表;基数错配会导致重复数据或查询丢失,需对照真实业务规则确认。

概念解释

  • 一对一:扩展信息拆分或强约束唯一。
  • 一对多:多方持外键指向一方。
  • 多对多:独立关联表存双方主键。

原理流程

  1. 描述两个实体的业务关联。
  2. 判断每侧实例对应的另一侧数量。
  3. 选择外键或关联表实现。
  4. 校验查询与约束是否符合规则。

代码或图示

一对多:订单 1 —— N 订单明细(明细持 order_id)
多对多:学生 N —— N 课程(选课表 student_id + course_id)
一对一:用户 1 —— 1 用户资料(外键唯一约束)

常见误区

  • 多对多直接在单表存 ID 列表:无法关联查询、约束与统计。
  • 基数按表面名称猜:必须回到业务规则确认。

追问

  • 关联表要加唯一约束吗?答:多对多关联对应加联合唯一,防止重复关联。
  • 弱关联怎么处理?答:无强约束的引用可在应用层校验,数据一致性要求高时保留外键约束。

11.1.1.2-003 状态机怎么设计与约束迁移?

一句话结论

把实体生命周期拆为有限状态,定义每个状态允许触发的事件与目标状态,非法迁移拒绝;状态迁移规则集中维护,应用层与模型层共同守护,避免分支散落各处。

概念解释

  • 状态:实体当前所处生命周期阶段。
  • 事件:触发迁移的动作。
  • 不变式:不允许跨态跳跃与回退。

原理流程

  1. 列全状态与触发事件。
  2. 形成状态迁移表(当前态 × 事件 → 目标态)。
  3. 迁移前校验合法性,记录状态变更时间。
  4. 异常路径(取消、超时、退款)纳入状态机。

代码或图示

待支付 →(支付成功)→ 已支付 →(发货)→ 已发货 →(确认)→ 已完成
待支付 →(取消)→ 已取消
已支付 →(退款)→ 退款中 → 已退款
非法:已完成 → 待支付(拒绝)

常见误区

  • 状态用字符串散落判断:迁移规则不集中,易漏校验。
  • 状态机不覆盖异常态:取消、超时、退款路径成为漏洞。

追问

  • 状态历史要留吗?答:关键实体建议留状态流转记录,便于审计与问题追溯。
  • 并发状态更新怎么防?答:乐观锁版本号或条件更新 where status=预期态,防止覆盖更新。

11.1.1.2-004 主键与唯一约束怎么设计?

一句话结论

主键稳定、简短、有序优先;业务唯一约束(订单号、证件号、业务键)建唯一索引防重复;代理主键与业务唯一键分开,避免业务规则变化影响主键。

概念解释

  • 代理主键:自增或分布式 ID,无业务含义。
  • 业务唯一键:自然唯一标识,加唯一约束。
  • 约束兜底:应用层校验之外由数据库约束防重。

原理流程

  1. 选代理主键生成策略。
  2. 识别业务唯一字段建唯一索引。
  3. 并发重复写入由唯一约束拦截。
  4. 关联表使用联合唯一约束。

代码或图示

-- 代理主键 + 业务唯一键
CREATE TABLE orders (
  id BIGINT PRIMARY KEY,
  order_no VARCHAR(32) NOT NULL,
  UNIQUE KEY uk_order_no (order_no)
);

常见误区

  • 用业务字段做主键:业务规则调整会波及关联与索引。
  • 只在代码层判重:并发下判重与写入非原子,必须有唯一约束兜底。

追问

  • 分布式 ID 怎么生成?答:号段模式、雪花算法、数据库序列等,保证趋势有序与唯一,具体方案按技术栈选型。
  • 唯一索引冲突怎么处理?答:捕获唯一冲突转译为业务重复提示,配合幂等返回。

11.1.1.2-005 字段类型与长度怎么取舍?

一句话结论

字段类型按实际取值范围选择,数值用对应整型/定点类型,字符按最长有效值并留余量;避免滥用大字段类型,金额用定点类型不用浮点,时间用统一时区类型存储。

概念解释

  • 数值:整型范围、定点金额、浮点仅用于估算场景。
  • 字符:长度按有效最大值,不长过量级。
  • 时间:统一 UTC/时区存储,展示层转换。

原理流程

  1. 列字段取值范围与精度要求。
  2. 选匹配类型,金额避免浮点误差。
  3. 字符长度留合理余量。
  4. 时间统一存储口径。

代码或图示

金额:DECIMAL,不用 FLOAT/DOUBLE
数量:BIGINT/INT 按上限选
手机号/证件:VARCHAR(定长也不用字符集定长)
时间:统一类型存 UTC,展示按时区转换

常见误区

  • 所有文本用大字段:存储与索引空间浪费。
  • 金额用浮点:二进制表示产生精度误差,出现错账。

追问

  • 变长文本怎么估长度?答:抽样历史数据最大值,结合业务上限,不按极端想象值。
  • 枚举值怎么存?答:字典/枚举映射存储编码,避免直接存中文状态。

11.1.1.2-006 索引设计遵循什么原则?

一句话结论

索引服务明确查询场景:高频查询条件、排序、关联字段建索引;按最左前缀组合,避免冗余与重复索引;通过执行计划与慢查询验证,写入代价与空间占用需权衡。

概念解释

  • 查询驱动:先有 SQL 场景再建索引。
  • 组合索引:最左前缀匹配。
  • 代价:索引占空间、拖慢写入。

原理流程

  1. 梳理高频查询与排序条件。
  2. 设计单列/组合索引,遵循最左前缀。
  3. 用执行计划验证是否命中。
  4. 定期清理未使用与冗余索引。

代码或图示

查询:WHERE user_id = ? AND status = ? ORDER BY created_at DESC
索引:(user_id, status, created_at) 遵循最左前缀
验证:EXPLAIN 看 type、key、rows、Extra

常见误区

  • 给每个字段单独建索引:组合查询用不上,写入代价高。
  • 索引建了不验证:可能因函数、类型转换、前导模糊而失效。

追问

  • 索引失效常见原因?答:列上函数/运算、隐式类型转换、前导模糊、违反最左前缀、低选择性优化器放弃索引。
  • 慢查询怎么定位?答:慢查询日志/数据库监控找高耗时 SQL,看执行计划与扫描行数,再补索引或改写法。

11.1.1.2-007 范式与反范式怎么权衡?

一句话结论

核心一致性场景用范式减少冗余与更新异常;读多写少、详情聚合场景适度反范式冗余字段,减少关联查询;冗余字段需定义更新时机与一致性策略,不为省事盲目拆表或冗余。

概念解释

  • 范式:字段不可拆分、非主属性不依赖传递。
  • 反范式:冗余派生字段换查询性能。
  • 代价:冗余数据需要同步与校验。

原理流程

  1. 按业务重要性判断一致性要求。
  2. 核心表保持范式化。
  3. 高频聚合查询引入冗余并定同步规则。
  4. 校验冗余数据与源数据一致。

代码或图示

范式:订单 ← 明细(价格随明细)
反范式:订单冗余商品名称快照(防商品改名影响历史订单)
冗余同步:下单时写入快照;派生统计字段异步更新

常见误区

  • 冗余字段无更新策略:源数据变了冗余滞后或不一致。
  • 为范式硬拆高频关联:查询性能不可接受。

追问

  • 快照字段什么时候用?答:历史记录需保留当时状态(价格、名称)时存快照。
  • 冗余一致性怎么校验?答:定时对账脚本比对源与冗余,发现差异告警修复。

11.1.1.2-008 分库分表什么时候做、按什么维度?

一句话结论

单库容量或吞吐到上限、读写分离与索引优化到位后再分表;分片维度按高频查询与关联字段选择(用户/订单/租户),避免跨片查询与热点片;先评估能否通过缓存与优化解决。

概念解释

  • 触发:数据量、吞吐、单库资源到瓶颈。
  • 维度:路由键决定数据落片。
  • 风险:跨片查询、扩容再均衡、热点。

原理流程

  1. 确认优化手段已用尽。
  2. 选高频查询维度作分片键。
  3. 设计路由规则与分片数量。
  4. 预留扩容与数据迁移方案。

代码或图示

垂直拆分:按业务域分库
水平分表:按 user_id / order_no 哈希或范围路由
避免:无分片键的跨片查询、单片热点数据

常见误区

  • 早期就分库分表:路由与运维复杂度提前背负。
  • 分片键选低区分度字段:数据倾斜热点严重。

追问

  • 分片后全局唯一 ID 怎么保证?答:分片键结合分布式 ID,或号段服务保证全局唯一。
  • 跨片查询怎么办?答:按分片键收敛查询,宽表/搜索引擎承接聚合与非键查询。

11.1.1.2-009 冷热数据怎么分层与归档?

一句话结论

按访问频率分层:热数据在高性能存储,冷数据归档到低成本存储或压缩表;定义归档周期、迁移流程与回查路径,避免历史数据长期挤占在线库。

概念解释

  • 热数据:近期高频访问。
  • 冷数据:历史低频访问。
  • 归档:迁移、压缩、保留周期。

原理流程

  1. 按访问时间与频率划分冷热边界。
  2. 定期迁移冷数据到归档存储。
  3. 在线库删除已归档数据并保留索引路径。
  4. 提供历史数据查询入口。

代码或图示

近 3 个月:在线库(热)
3 个月以上:归档表/对象存储(冷)
迁移:定时任务按时间批量搬移 → 校验 → 删除在线副本
回查:归档查询入口或按需恢复

常见误区

  • 只删数据不归档:历史记录无法追溯。
  • 归档后无查询入口:业务需要历史时被动恢复。

追问

  • 归档数据要校验吗?答:迁移后比对条数与关键字段,校验通过再删在线副本。
  • 日志类数据怎么分层?答:热日志在检索系统,冷日志归档对象存储,按留存周期清理。

11.1.1.2-010 事务边界怎么设计?

一句话结论

事务覆盖必须同时成功或失败的操作集合,边界尽量小而明确;跨服务与长流程不用本地长事务,改走最终一致与补偿;事务内避免远程调用与大循环,降低锁持有时间。

概念解释

  • 本地事务:单库多表写入原子提交。
  • 边界:哪些操作必须同生共死。
  • 长事务:持锁久、回滚成本高。

原理流程

  1. 识别业务不变式与必须原子的操作。
  2. 本地事务包合同库写入。
  3. 跨服务用消息/补偿保证最终一致。
  4. 事务内剔除远程调用与慢操作。

代码或图示

本地事务:扣库存 + 写订单(同库,原子提交)
跨服务:订单成功 → 发 MQ → 积分服务消费(最终一致)
禁忌:事务内调用外部接口、发 MQ、长循环计算

常见误区

  • 事务边界过大:持锁时间长、并发性能差。
  • 跨服务强行本地事务:无法跨库提交,应走补偿。

追问

  • 事务内发消息可行吗?答:用本地消息表或事务 Outbox,事务提交后再投递,避免消息丢失或脏消息。
  • 长事务怎么优化?答:拆分步骤、缩短持锁、把非必要操作移出事务。

11.1.1.2-011 乐观锁与悲观锁怎么在模型中选择?

一句话结论

并发冲突少、重读场景多用乐观锁(版本号/条件更新);冲突激烈、持有时间短的临界区用悲观锁;选择取决于冲突概率与持锁时长,目标是避免超卖与覆盖更新。

概念解释

  • 乐观锁:更新时校验版本/条件,失败重试。
  • 悲观锁:先加锁再操作,串行化临界区。
  • 适用:冲突频率与锁持有时间。

原理流程

  1. 评估并发冲突概率。
  2. 低冲突用版本号条件更新。
  3. 高冲突短临界区用排他锁。
  4. 失败重试或提示冲突。

代码或图示

-- 乐观锁:条件更新
UPDATE items SET count = count - 1, version = version + 1
WHERE id = ? AND version = ? AND count > 0;
-- 影响行数 0 即冲突/库存不足

-- 悲观锁:查询加排他锁
SELECT ... FROM items WHERE id = ? FOR UPDATE;

常见误区

  • 乐观锁失败不重试:冲突请求直接失败,体验与正确性受损。
  • 悲观锁滥用:并发下串行等待,吞吐下降。

追问

  • 超卖怎么防?答:条件更新带 count > 0 与唯一约束,或 Redis 原子扣减后落库校验。
  • 乐观锁版本号在哪维护?答:实体版本字段,更新自增,提交前比对。

11.1.1.2-012 软删除与数据保留怎么设计?

一句话结论

需要保留历史与可恢复的删除用软删除标记,配合唯一约束处理复用问题;物理删除用于合规要求彻底清除的数据;定义保留周期、清理策略与查询默认过滤规则。

概念解释

  • 软删除:标记删除态,数据保留。
  • 物理删除:彻底移除记录。
  • 保留:合规留存周期与销毁规则。

原理流程

  1. 判断删除后是否需追溯/恢复。
  2. 可追溯用软删除字段与时间。
  3. 合规需清除的走物理删除/脱敏。
  4. 查询默认过滤已删除数据。

代码或图示

软删除:deleted 标记 + deleted_at,唯一键含 deleted 避免复用冲突
物理删除:合规到期销毁敏感数据
查询:默认 WHERE deleted = 0

常见误区

  • 软删除后唯一键冲突:已删除记录占用业务唯一键,需在唯一约束中纳入删除态。
  • 软删除数据不清理:长期堆积影响性能。

追问

  • 软删除怎么恢复?答:清除删除标记,校验唯一键可用后恢复。
  • 个人信息合规怎么处理?答:按留存周期脱敏或删除,删除操作留审计记录。

11.1.1.2-013 审计字段与多租户字段怎么落模型?

一句话结论

审计字段记录创建/更新人与时间,关键变更留历史;多租户在数据表带租户标识,查询与约束按租户隔离;公共字段统一基类或约定,避免各表字段不一致。

概念解释

  • 审计:created_at/updated_at、created_by/updated_by。
  • 租户:tenant_id 隔离数据边界。
  • 统一:字段命名与类型一致。

原理流程

  1. 公共审计字段纳入模型约定。
  2. 多租户表加租户标识并建隔离索引。
  3. 应用层默认按租户过滤。
  4. 关键操作留变更历史。

代码或图示

公共字段:id, created_at, updated_at, created_by, updated_by
租户字段:tenant_id(查询与唯一约束含租户维度)
历史表:记录关键字段变更前后值

常见误区

  • 租户字段遗漏索引:跨租户查询慢且易越权。
  • 审计只记时间不记人:出问题无法追溯操作来源。

追问

  • 多租户唯一约束怎么做?答:业务唯一键联合 tenant_id,保证同租户内唯一。
  • 审计历史存哪?答:独立历史表或日志系统,按业务重要性选择。

11.1.1.2-014 NoSQL 选型怎么按场景匹配?

一句话结论

KV 适合缓存与会话,文档适合结构灵活的对象,宽列适合海量写入与聚合,搜索/向量适合检索与相似度匹配;结构化强一致关系仍用关系库,选型按数据模型、访问模式与一致性要求。

概念解释

  • KV:简单键值、高速读写。
  • 文档:JSON 对象、schema 灵活。
  • 宽列:宽表列式、海量写入。
  • 检索:倒排/向量索引。

原理流程

  1. 明确数据结构与访问模式。
  2. 评估一致性、容量、扩展方式。
  3. 关系强一致场景保留关系库。
  4. 多存储配合,明确数据流向。

代码或图示

缓存/会话 → Redis(KV)
商品/内容对象 → 文档库
海量日志/时序 → 宽列/时序库
全文/相似检索 → 搜索引擎/向量库
事务交易 → 关系数据库

常见误区

  • 一个 NoSQL 解决所有场景:不同访问模式需要不同存储。
  • 忽视 NoSQL 一致性限制:强一致交易数据不宜放入最终一致 NoSQL。

追问

  • 缓存和数据库怎么配合?答:数据库为准数据源,缓存承接读流量,注意穿透/击穿/雪崩与一致性策略。
  • 文档库 schema 变化怎么管?答:版本化字段与兼容读取,避免老版本读新结构报错。

11.1.1.2-015 时序与对象等专用存储怎么用?

一句话结论

时序指标按时间维度写入与聚合,适合监控度量;对象存储承载文件/图片/附件,元数据存数据库;专用存储各有写入模型与查询方式,不把大文件塞进关系库。

概念解释

  • 时序:时间戳 + 标签 + 指标,按时间聚合。
  • 对象:二进制文件,数据库存引用与元数据。
  • 配合:元数据可检索,文件走对象服务。

原理流程

  1. 指标类数据进时序库,按标签聚合。
  2. 文件上传对象存储,落库存路径与元数据。
  3. 配置生命周期与访问控制。
  4. 冷热分层归档。

代码或图示

监控指标 → 时序库(按时间降采样/聚合)
图片/附件 → 对象存储 → DB 存 object_key、大小、内容类型

常见误区

  • 文件字节存数据库:库体积膨胀、备份恢复慢。
  • 时序数据无限保留:按留存周期降采样与清理。

追问

  • 对象访问怎么做权限?答:预签名 URL 或网关鉴权,不直接暴露内部存储地址。
  • 时序数据怎么降成本?答:高频短期保留高精度,长期转聚合粒度与冷存储。

11.1.1.2-016 数据库变更怎么做兼容与迁移?

一句话结论

结构变更分步可逆:先加字段/表并双写,读切换后再清理旧结构;迁移脚本可回滚,大表变更评估锁表与影响,新老版本并存期间读写兼容。

概念解释

  • 兼容:新旧应用版本都能读当前结构。
  • 可逆:脚本可回退或有补偿。
  • 分步:加列 → 回填 → 切换 → 清理。

原理流程

  1. 设计向后兼容的变更步骤。
  2. 执行迁移脚本并校验数据。
  3. 应用分批切换。
  4. 稳定后清理旧结构。

代码或图示

加新列/表 → 双写 → 回填历史 → 读切到新结构
→ 观察稳定 → 删旧列/旧表
每步:脚本可回滚,数据可对账

常见误区

  • 一次性改结构并强推:旧版本应用读新结构报错。
  • 迁移脚本不可回滚:出问题无法快速恢复。

追问

  • 大表加索引怎么做?答:在线 DDL 或低峰期执行,评估锁表与复制延迟,避免高峰阻塞写入。
  • 数据回填怎么控速?答:分批小事务、限流执行,避免长事务与主从延迟。

11.1.1.2-017 数据一致性约束应该落在哪一层?

一句话结论

强约束(唯一、非空、外键/条件)落数据库兜底;业务规则与跨表不变式在领域层校验;跨服务最终一致靠消息与补偿;多层守护,避免只在前端或单一层做校验。

概念解释

  • 数据库层:物理约束兜底防重防空。
  • 领域层:业务规则与组合不变式。
  • 协作层:跨服务消息补偿对账。

原理流程

  1. 识别每条约束的类型与强度。
  2. 硬约束建数据库唯一/非空/外键。
  3. 业务规则在领域对象与服务校验。
  4. 分布式一致性走消息、幂等与对账。

代码或图示

唯一/非空 → DB 约束兜底
业务规则(可发货、权益计算)→ 领域层
跨服务 → MQ + 幂等消费 + 定时对账

常见误区

  • 只在前端校验:绕过前端即可破坏数据。
  • 把所有规则塞进数据库:复杂业务约束数据库难以表达。

追问

  • 数据库约束和应用校验重复吗?答:不重复,数据库是兜底防线,应用层提供友好错误与规则组合。
  • 跨服务不一致怎么发现?答:对账脚本比对源与目标,差异告警并补偿。

11.1.1.2-018 模型设计评审常见问题有哪些?

一句话结论

常见问题:实体关系错配、状态机缺异常态、索引未按查询设计、冗余无同步策略、事务边界过大、分片维度不当、变更不可逆;评审对照业务规则逐条核对约束与查询路径。

概念解释

  • 结构问题:关系、主键、字段类型。
  • 查询问题:索引、分片、关联。
  • 一致性问题:事务、冗余、迁移。

原理流程

  1. 对照业务规则核实体与关系。
  2. 检查状态机覆盖全部路径。
  3. 按高频 SQL 验证索引。
  4. 审查事务、冗余与迁移可逆性。

代码或图示

□ 实体/关系基数符合业务规则
□ 状态机覆盖取消/超时/退款等异常态
□ 索引匹配高频查询与排序
□ 冗余字段有同步与对账策略
□ 事务边界小而明确
□ 分片维度避免跨片与热点
□ 迁移分步可逆、可对账

常见误区

  • 评审只看表结构不看查询:索引与访问模式脱节。
  • 忽略历史数据与兼容:上线后才发现旧数据不满足新约束。

追问

  • 模型评审要哪些角色?答:开发、DBA/运维、上下游接口方按风险参与。
  • 评审结论怎么落地?答:问题列入修改清单,责任人跟踪到脚本与代码更新完成。