12.3.1.2 列存与 OLAP
所属:全栈开发面试题库 / 12 待归类与新技术观察 / 12.3 新数据库与新存储 / 12.3.1 新数据库与新存储
观察口径:截至 2026 年,各 OLAP 产品版本、能力边界与性能表现以官方文档为准;本页做机制与场景横比,不固化基准数字。
12.3.1.2-001 OLTP 与 OLAP 负载有什么差异?
一句话结论
OLTP 面向高并发短事务点查点写,关注事务与低延迟;OLAP 面向大批量聚合分析,关注扫描吞吐与聚合效率;两类负载资源模型不同,通常分离存储与计算。
概念解释
- OLTP:在线事务处理。
- OLAP:在线分析处理。
- 分离:避免分析查询拖垮业务库。
原理流程
- 区分请求形态:点查 vs 扫描聚合。
- 看并发与数据量。
- 按负载选存储引擎。
代码 / 图示
OLTP:高并发/短事务/点查;OLAP:大批量/扫描/聚合;负载分离
常见误区
- 误区:一个库同时最优两类负载;正解:引擎优化方向不同,互相拖累。
- 误区:分析查询直接打业务库;正解:应走分析副本或专用存储。
追问
- Q:混合负载怎么办? A:读写分离/分析副本隔离,或专用 OLAP。
- Q:详见哪分册? A:数据库通用能力见 05 分册。
12.3.1.2-002 行存与列存的存储结构有什么区别?
一句话结论
行存按整行连续存放,适合取整行的点查;列存按列组织,同列数据连续,适合只选少数列的扫描聚合;存储布局决定 IO 读取效率。
概念解释
- 行存:一行数据相邻。
- 列存:一列数据相邻。
- IO 效率:扫描只读所需列。
原理流程
- 看查询取整行还是部分列。
- 行存适合点查整行。
- 列存适合列扫描聚合。
代码 / 图示
行存:[行1 全列][行2 全列];列存:[列1 全部行][列2 全部行]
常见误区
- 误区:列存适合高频单行更新;正解:列存面向批量分析,点写点查不是强项。
- 误区:列存读取所有列;正解:只扫描查询涉及的列。
追问
- Q:列存压缩为什么更好? A:同列数据类型一致、重复度高,见 12.3.1.2-003。
- Q:行存典型场景? A:事务型业务库。
12.3.1.2-003 列存的压缩与编码有哪些方向?
一句话结论
同列数据类型一致、取值重复或有序,可采用字典编码、行程编码、位图、增量编码等压缩;压缩减少存储与扫描 IO,代价是编解码 CPU;具体编码支持按产品核实。
概念解释
- 字典编码:重复值映射编号。
- 行程编码:连续重复值压缩。
- 编码代价:解压 CPU 开销。
原理流程
- 列内数据按类型组织。
- 选合适编码压缩。
- 查询时解压解码。
代码 / 图示
同列同质数据 → 字典/行程/位图编码 → 压缩存储 → 查询解压
常见误区
- 误区:压缩越多越好;正解:压缩比与查询解码成本需权衡。
- 误区:列存自动高效;正解:排序与编码选择影响压缩效果。
追问
- Q:排序键对压缩的作用? A:相邻值更相似,提升编码压缩率。
- Q:压缩代价? A:写入与查询的 CPU 开销。
12.3.1.2-004 向量化执行是什么?
一句话结论
向量化执行按列批量处理数据,一次处理一批值而非逐行解释执行,减少函数调用与分支开销,利用 CPU 批量处理能力;是 OLAP 引擎常见执行优化方向。
概念解释
- 批量处理:列式数据成批计算。
- 减少逐行开销:循环与调用成本降低。
- CPU 利用:批量指令友好。
原理流程
- 数据按列加载。
- 算子批量处理列块。
- 结果按列输出。
代码 / 图示
列块 → 批量算子处理 → 列结果;替代逐行解释循环
常见误区
- 误区:向量化等于硬件 SIMD 强制;正解:批量处理思路为先,是否用硬件指令按实现。
- 误区:向量化对所有查询都提速;正解:收益取决于扫描与计算形态。
追问
- Q:与行式执行区别? A:逐行 vs 批量列式处理。
- Q:详见哪主题? A:数据库执行引擎优化,05 分册可补充。
12.3.1.2-005 典型 OLAP 产品怎么定位观察?
一句话结论
可观察类别:ClickHouse、Doris 类列式分析引擎;各产品在写入模型、join 能力、部署形态与场景侧重上有差异;具体版本与能力以官方文档为准(待确认最新特性)。
概念解释
- 类别:列式分析引擎。
- 差异:写入/join/部署。
- 核实:官方文档与实测。
原理流程
- 归类产品方向。
- 核对写入与查询能力。
- 场景 PoC 验证。
代码 / 图示
列式分析类别 → 写入/join/部署核对 → PoC 验证
常见误区
- 误区:OLAP 产品互相等价;正解:join、更新与并发能力差异需核对。
- 误区:文档特性代表生产表现;正解:自身负载压测为准。
追问
- Q:选型先看什么? A:查询模式、写入方式、并发要求与现有数据管道。
- Q:待确认什么? A:最新版本能力与生产案例。
12.3.1.2-006 OLAP 为什么常用宽表与反范式建模?
一句话结论
分析查询常预 join 成宽表,减少查询时关联;反范式以冗余换查询速度,适合批量分析;更新一致性压力小于 OLTP;建模按查询模式设计。
概念解释
- 宽表:多维度/指标合并。
- 反范式:冗余字段减少 join。
- 查询优先:分析读取效率。
原理流程
- 梳理分析查询模式。
- 预关联形成宽表。
- 冗余字段支撑聚合。
代码 / 图示
分析查询 → 预 join 宽表 → 冗余维度;减少查询期关联
常见误区
- 误区:直接套用 OLTP 三范式;正解:OLAP 建模目标不同。
- 误区:宽表无维护成本;正解:数据冗余与刷新需管道维护。
追问
- Q:维度建模概念? A:事实表 + 维度表,具体数仓方法论另述。
- Q:宽表怎么更新? A:按管道刷新/物化,见 12.3.1.2-007。
12.3.1.2-007 物化视图与预聚合解决什么?
一句话结论
物化视图/预聚合把常用聚合结果预先计算存储,查询直接读取结果,减少实时扫描;代价是数据刷新成本与存储冗余;按查询频率与时效要求选择。
概念解释
- 预计算:聚合结果落地。
- 刷新:数据更新后重算。
- 时效:实时/准实时/离线。
原理流程
- 识别高频聚合查询。
- 预聚合落地。
- 按策略刷新结果。
代码 / 图示
高频聚合 → 预聚合/物化视图 → 按策略刷新 → 查询读结果
常见误区
- 误区:预聚合越多越好;正解:刷新成本与存储冗余随数量增长。
- 误区:预聚合结果实时一致;正解:刷新周期决定时效口径。
追问
- Q:刷新方式? A:增量/全量,按产品支持。
- Q:与索引区别? A:索引加速定位,预聚合存储计算结果。
12.3.1.2-008 OLAP 的写入模型有什么特点?
一句话结论
列存引擎通常面向批量导入与顺序写入优化,高频单行点写、随机更新删除不是强项;写入吞吐与批量大小相关;具体写入限制按产品核实(待确认)。
概念解释
- 批量导入:大批量数据加载。
- 点写短板:单行随机写入成本。
- 批量大小:影响吞吐与合并。
原理流程
- 数据经管道批量导入。
- 引擎按列组织存储。
- 小批量合并/压缩。
代码 / 图示
批量导入 → 列存组织 → 合并压缩;高频点写/随机更新受限
常见误区
- 误区:OLAP 库可承接业务高频写入;正解:写入模型与 OLTP 不同。
- 误区:写入即立即可查;正解:可见性与合并时机需确认。
追问
- Q:实时分析怎么进数据? A:流式管道持续小批量导入,见 12.3.1.3。
- Q:更新删除怎么做? A:多为批量/标记删除,非单行事务更新。
12.3.1.2-009 OLAP 与传统数仓怎么对比?
一句话结论
传统数仓多为离线批量、周期长;现代 OLAP 引擎降低存储与计算成本、支持更灵活查询;湖仓方向结合开放表格式;具体架构选型按数据规模与时效要求。
概念解释
- 离线数仓:批量 T+1。
- 现代 OLAP:交互式分析。
- 湖仓:开放表格式 + 多引擎。
原理流程
- 看时效与并发要求。
- 对比存储与计算架构。
- 评估现有数据管道。
代码 / 图示
离线数仓 → 现代 OLAP 交互查询;湖仓:开放表格式多引擎共享
常见误区
- 误区:新 OLAP 替代所有数仓;正解:历史分层与管道仍需衔接。
- 误区:湖仓即一套产品;正解:表格式、引擎与存储分层选择。
追问
- Q:Iceberg/Delta 方向? A:开放表格式,见 12.3.1.5。
- Q:时序分析见哪条? A:12.3.1.3。
12.3.1.2-010 OLAP 不适合哪些场景?
一句话结论
不适合:高并发 OLTP 点查点写、强事务一致性、单行频繁更新删除;把 OLAP 当业务库会遇到写入与并发瓶颈;场景不匹配时应选事务型存储。
概念解释
- 高并发点查:事务型负载。
- 强事务:ACID 单行操作。
- 频繁更新:列存不友好。
原理流程
- 判断负载类型。
- 核对写入/并发/事务要求。
- 不匹配选事务库。
代码 / 图示
高并发点查/强事务/频繁更新 → 不选 OLAP;选事务型存储
常见误区
- 误区:OLAP 性能强可做业务库;正解:优化目标不同,瓶颈很快出现。
- 误区:分析库也能加索引扛点查;正解:架构方向不匹配。
追问
- Q:业务库与分析库怎么分工? A:业务库承接事务,分析库承接聚合,经管道同步。
- Q:混合需求怎么拆? A:按读写/事务边界分库。
12.3.1.2-011 数据导入管道怎么设计?
一句话结论
管道:业务库/日志/消息队列 → 清洗转换 → OLAP 批量导入;关注数据质量、导入失败重试、延迟与幂等;导入节奏匹配引擎批量写入特性。
概念解释
- 抽取同步:源端数据获取。
- 清洗转换:格式/质量。
- 幂等重试:失败可重放。
原理流程
- 从源端抽取数据。
- 清洗转换。
- 批量导入并校验。
代码 / 图示
源(库/日志/MQ) → 清洗转换 → 批量导入 OLAP;重试/幂等/校验
常见误区
- 误区:导入任务失败可忽略;正解:需重试与数据对账。
- 误区:实时流直接单行写入;正解:按引擎批量特性攒批。
追问
- Q:数据质量怎么保障? A:类型校验、空值处理与落地对账。
- Q:增量同步怎么做? A:按日志/时间戳抽取增量。
12.3.1.2-012 分区与排序键怎么设计?
一句话结论
分区裁剪缩小扫描范围,排序键提升同列压缩与过滤效率;按常用过滤维度与聚合粒度设计;设计结合查询模式,避免过多分区带来小文件问题。
概念解释
- 分区:按维度切分数据。
- 排序键:数据组织顺序。
- 小文件:分区过碎的副作用。
原理流程
- 分析过滤与聚合维度。
- 设计分区与排序键。
- 评估小文件与合并。
代码 / 图示
查询过滤维度 → 分区裁剪 + 排序键 → 压缩/过滤优化;防小文件
常见误区
- 误区:分区越细越好;正解:过细产生小文件与元数据压力。
- 误区:排序键与查询无关;正解:排序顺序直接影响过滤与压缩。
追问
- Q:时间分区常见吗? A:常见,按天/小时裁剪历史数据。
- Q:热点分区怎么办? A:结合维度再拆分,避免单分区过大。
12.3.1.2-013 聚合查询性能怎么评估?
一句话结论
指标:扫描数据量、聚合耗时、并发查询数、资源占用;评估时区分冷数据扫描与缓存命中;性能结论需在自身数据量与查询模式下压测。
概念解释
- 扫描量:读取行列规模。
- 聚合耗时:查询响应。
- 并发:同时查询能力。
原理流程
- 构造典型查询集。
- 测量扫描与耗时。
- 对照并发与资源。
代码 / 图示
扫描量 / 聚合耗时 / 并发 / 资源占用 → 自身数据压测
常见误区
- 误区:官方基准代表自身查询;正解:数据分布与查询模式不同。
- 误区:只看单查询延迟;正解:并发下资源竞争更关键。
追问
- Q:慢查询先查什么? A:分区裁剪是否生效、扫描量、缺排序/预聚合。
- Q:缓存命中怎么看? A:数据块/索引缓存对重复查询的影响。
12.3.1.2-014 实时分析有哪些观察点?
一句话结论
实时分析关注数据从产生到可查的延迟、流式导入稳定性与最新数据可见性;流式写入与批量合并需平衡;“实时”的时效口径按业务定义,具体能力按产品核实。
概念解释
- 端到端延迟:产生到可查。
- 流式导入:持续小批量。
- 可见性:新数据何时可查。
原理流程
- 定义时效要求。
- 搭建流式导入管道。
- 观测延迟与可见性。
代码 / 图示
事件 → 流式导入 → 合并可见;延迟/稳定性/可见性观测
常见误区
- 误区:OLAP 天然实时;正解:可见性延迟取决于管道与合并机制。
- 误区:流与批模型可随意切换;正解:写入架构需配套设计。
追问
- Q:流存储见哪条? A:12.3.1.3 时序与流存储。
- Q:延迟不达标怎么办? A:缩短攒批、优化合并、评估预聚合。
12.3.1.2-015 更新删除与数据治理有什么限制?
一句话结论
列存多面向追加批量数据,更新删除成本高或受限制;历史数据治理(归档、过期清理、schema 演进)需按引擎机制设计;不要假设支持 OLTP 式单行改删。
概念解释
- 批量改删:按条件批量处理。
- 数据治理:归档/清理/演进。
- 限制口径:按产品文档。
原理流程
- 确认改删支持方式。
- 设计生命周期治理。
- 评估 schema 演进约束。
代码 / 图示
改删方式(批量/标记) → 归档/过期治理 → schema 演进评估
常见误区
- 误区:列存支持随意 update 单行;正解:更新成本高或受限。
- 误区:历史数据可无限保留;正解:生命周期与存储成本需规划。
追问
- Q:过期数据怎么删? A:按分区/条件批量删除,具体机制见文档。
- Q:schema 变更注意? A:列增删兼容与历史数据格式。
12.3.1.2-016 OLAP 资源模型与监控看什么?
一句话结论
资源:计算节点 CPU/内存、磁盘 IO 与容量、查询并发槽位;监控慢查询、扫描量、导入延迟与合并状态;OLAP 资源消耗集中在扫描与聚合,需按负载规划容量。
概念解释
- 计算资源:CPU/内存。
- 存储资源:磁盘 IO/容量。
- 查询并发:并发槽位限制。
原理流程
- 估算数据量与查询规模。
- 规划节点资源。
- 监控查询与导入指标。
代码 / 图示
CPU/内存/IO/容量 + 并发槽位 → 容量规划 → 慢查询/导入监控
常见误区
- 误区:OLAP 只存数据不占计算;正解:聚合扫描消耗大量 CPU/内存。
- 误区:并发查询无上限;正解:资源槽位限制并发。
追问
- Q:大查询内存爆掉? A:限制查询规模、分批聚合或调整资源配置。
- Q:导入积压表现? A:导入延迟上升、合并排队。
12.3.1.2-017 什么时候引入专用 OLAP?
一句话结论
当业务库承担分析扫描影响稳定性、聚合查询量大且交互要求高、数据规模超出单机分析能力时引入;小规模分析可复用现有库只读副本;先确认分析负载与收益。
概念解释
- 触发条件:分析负载压垮业务库。
- 规模:数据量与查询量。
- 复用优先:现有副本能力。
原理流程
- 量化分析负载影响。
- 评估现有副本承载。
- 不足再引入专用 OLAP。
代码 / 图示
分析负载影响业务 → 现有副本评估 → 不足 → 专用 OLAP
常见误区
- 误区:有报表就上 OLAP;正解:小报表复用现有库即可。
- 误区:OLAP 引入后业务库无需治理;正解:慢查询与模型仍需优化。
追问
- Q:复用 PG 分析可行吗? A:中小规模可用分区/索引/只读副本,见 12.3.1.5。
- Q:POC 测什么? A:典型聚合查询、导入延迟与并发资源。
12.3.1.2-018 本页哪些产品现状属于待确认?
一句话结论
待确认:各 OLAP 产品最新版本、写入/更新/join 支持细节、并发能力与生产案例;机制原理稳定,具体能力采用前查官方文档并记录验证点。
概念解释
- 版本特性:随版本演进。
- 能力边界:按产品核实。
- 案例:一手生产反馈。
原理流程
- 标记变化项。
- 列官方文档入口。
- 采用前复核。
代码 / 图示
版本 / 写入join能力 / 并发 / 案例 → 官方文档 + 压测核实
常见误区
- 误区:把社区对比文章当选型依据;正解:自身负载 PoC 为准。
- 误区:特性宣传无边界;正解:核对限制条件与适用版本。
追问
- Q:面试怎么答 OLAP 题? A:讲行列存差异、压缩向量化与场景边界。
- Q:下次更新看什么? A:版本能力、实时分析进展与案例。