06.12.5 大数据量导出与报表(异步导出、流式写、Excel/PDF)
所属:全栈开发面试题库 / 06 后端框架与工程实践 / 06.12 通用业务组件
覆盖范围
- 同步导出 vs 异步导出
- 流式查询与流式写
- Excel/PDF 生成
- 大文件下载与限流
- 报表系统设计
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 06.12.5-001 | 大数据量导出为什么不能同步做? | 基础 | ★★★★★ |
| 06.12.5-002 | 异步导出流程? | 进阶 | ★★★★★ |
| 06.12.5-003 | 流式查询怎么做? | 进阶 | ★★★★ |
| 06.12.5-004 | Excel 大文件怎么生成? | 进阶 | ★★★★ |
| 06.12.5-005 | 导出 100 万行 Excel 内存爆了怎么办? | 进阶 | ★★★★★ |
| 06.12.5-006 | PDF 报表怎么生成? | 进阶 | ★★★ |
| 06.12.5-007 | 导出任务怎么限流? | 进阶 | ★★★ |
| 06.12.5-008 | 报表系统和业务库隔离吗? | 高级 | ★★★ |
06.12.5-001 大数据量导出为什么不能同步做?
频率 ★★★★★ | 难度 基础
一句话结论
同步导出在 HTTP 请求里跑完所有数据,动辄几万/几十万行,会超时、占内存、拖垮数据库;必须异步:用户点导出后立即返回任务 ID,后台生成完通知下载。
概念解释
- 同步问题:HTTP 超时(30s-60s)、JVM 内存溢出、数据库慢查询。
- 异步:请求秒回,后台慢慢跑。
06.12.5-002 异步导出流程?
频率 ★★★★★ | 难度 进阶
一句话结论
用户提交导出条件 → 后端创建导出任务(状态 pending)→ 后台 worker 异步跑任务:分批查数据 → 写文件到 OSS → 更新任务状态为完成;用户在“我的导出”里看到完成后点下载。
概念解释
- 创建任务:入库
export_task(status=pending)。 - 后台执行:worker 拉 pending 任务,分批查数据写文件。
- 完成通知:站内信/WebSocket 推送“导出完成”。
- 下载:从 OSS 拿预签名 URL。
06.12.5-003 流式查询怎么做?
频率 ★★★★ | 难度 进阶
一句话结论
不能一次 SELECT * FROM orders WHERE ... 全量加载到内存;用游标/分页(MyBatis ResultHandler、JDBC fetchSize、seek 分页)分批拉取,边查边写文件,内存占用恒定。
概念解释
- 游标:JDBC setFetchSize(Integer.MIN_VALUE)(MySQL 流式)。
- 分页:按 ID 分页(
WHERE id > ? LIMIT 1000),避免 OFFSET 深翻页。 - 边查边写:一批写一批,不持有全量。
常见误区
- 误区:LIMIT 1000 分页查。正解:深翻页 OFFSET 100000 慢,用 seek 分页(where id > last_id)。
06.12.5-004 Excel 大文件怎么生成?
频率 ★★★★ | 难度 进阶
一句话结论
用 SXSSF(Apache POI)或 EasyExcel 流式写:逐行写磁盘临时文件,内存只保留滑动窗口;不要用 XSSF(DOM 模式全量在内存)。
概念解释
- XSSF:全量 DOM,内存爆。
- SXSSF:滑动窗口,内存恒定。
- EasyExcel:阿里封装,流式更友好。
06.12.5-005 导出 100 万行 Excel 内存爆了怎么办?
频率 ★★★★★ | 难度 进阶
一句话结论
组合拳:流式查询(游标/seek 分页)+ 流式写(SXSSF/EasyExcel)+ 分批 flush + 临时文件;如果还是太大,直接导出 CSV(无格式、流式写更省内存)或拆成多个文件打包。
概念解释
- 100 万行 Excel 本身就大(几十 MB)。
- CSV 无格式、纯文本,最省内存。
- 超大文件:CSV 或拆多个 Sheet(Excel 单 Sheet 上限 104 万行)。
常见误区
- 误区:Excel 单 sheet 无限大。正解:xlsx 单 sheet 上限 1,048,576 行。
06.12.5-006 PDF 报表怎么生成?
频率 ★★★ | 难度 进阶
一句话结论
复杂排版用 HTML + 模板(Thymeleaf)渲染成 HTML,再用 wkhtmltopdf / Playwright headless 转 PDF;简单数据用 iText/OpenPDF 直接画。
概念解释
- HTML → PDF:灵活,前端懂 CSS 即可。
- 直接画:iText 精确控制,但开发慢。
06.12.5-007 导出任务怎么限流?
频率 ★★★ | 难度 进阶
一句话结论
每用户同时只能跑 1 个导出任务,后台任务队列设并发上限(如 5 个),超出排队;防止全员同时导出把数据库打爆。
概念解释
- 队列:导出任务走 MQ/调度 worker。
- 并发限制:线程池大小限制。
- 优先级:管理员任务优先。
06.12.5-008 报表系统和业务库隔离吗?
频率 ★★★ | 难度 高级
一句话结论
报表/导出跑在业务库上会拖慢交易,应走只读副本(read-only replica)或数仓(CDC 同步);复杂报表进 OLAP(ClickHouse/Doris),不打业务库。
概念解释
- 只读副本:分担读压力。
- 数仓:T+1 或实时同步,报表查询走数仓。
06.12.5-012 导出文件存哪里?多久清理?
频率 ★★ | 难度 进阶
一句话结论
导出文件存 OSS(不存本地磁盘),设置生命周期(如 7 天后自动删除);用户在"我的导出"里下载,过期文件自动清理,避免 OSS 成本膨胀。
概念解释
- OSS:集中存储,预签名 URL 下载。
- 生命周期:自动过期删除。
- 清理:定时任务删过期任务记录。
06.12.5-013 导出 CSV 怎么避免中文乱码?
频率 ★★ | 难度 进阶
一句话结论
CSV 文件开头加 BOM(\uFEFF),Excel 打开才能正确识别 UTF-8;不加 BOM 的 CSV 用 Excel 打开中文会乱码。
06.12.5-014 大数据量导出怎么防止 OOM?
频率 ★★★ | 难度 高级
一句话结论
永远不要把全量数据加载到内存;用游标流式查询 + 流式写文件,每批查 1000 条写一批,内存占用恒定;文件直接写 OSS,不经过业务服务器内存。
06.12.5-015 导出任务怎么通知用户?
频率 ★★ | 难度 基础
一句话结论
导出完成后站内信 + 推送通知用户,消息带下载链接(预签名 URL,短期有效);用户在"我的导出"列表里也能看到状态与下载入口。
06.12.5-016 报表数据怎么从业务库同步?
频率 ★★ | 难度 进阶
一句话结论
CDC(Canal 订阅 binlog)实时同步到数仓/宽表,报表查询走数仓;T+1 报表用定时 ETL;不要直接查业务库做复杂统计,会拖慢交易。
06.12.5-017 Excel 导出怎么处理日期格式?
频率 ★★ | 难度 基础
一句话结论
日期写成字符串(yyyy-MM-dd HH:mm:ss),不要让 Excel 自动识别;Excel 对日期格式敏感,自动转换可能错时区、错格式。
06.12.5-018 导出文件太大怎么压缩?
频率 ★★ | 难度 进阶
一句话结论
CSV 用 gzip 压缩后传 OSS,下载时浏览器解压;Excel 本身已压缩,不再压;压缩能显著降低下载体积与带宽。
06.12.5-019 导出任务怎么排队?
频率 ★★ | 难度 进阶
一句话结论
导出任务走 MQ 队列,worker 并发数限制(如 5 个);同用户同时只能跑 1 个任务;高峰期任务排队,不抢占交易资源。
06.12.5-020 报表系统怎么和业务库隔离?
频率 ★★★ | 难度 进阶
一句话结论
报表查询走只读副本或数仓(CDC 同步),不打主库;复杂统计进 OLAP(ClickHouse/Doris);T+1 报表定时 ETL 到数仓。
06.12.5-021 导出 Excel 怎么合并单元格?
频率 ★★ | 难度 进阶
一句话结论
EasyExcel/POI 支持合并单元格(CellRangeAddress);表头合并用 @ExcelProperty 的合并策略;数据量大时合并单元格影响性能。
06.12.5-022 怎么导出带图表的报表?
频率 ★★ | 难度 进阶
一句话结论
HTML 渲染图表(ECharts)→ 截图或用 Playwright 生成 PDF;Excel 图表用 Apache POI 画;复杂图表走 PDF,Excel 只放数据。
06.12.5-023 怎么导出带图表的报表?
频率 ★★ | 难度 进阶
一句话结论
HTML + ECharts 渲染 → Playwright 生成 PDF;Excel 图表用 POI;复杂图表走 PDF,Excel 只放数据。
06.12.5-024 导出文件怎么通知用户?
频率 ★★ | 难度 基础
一句话结论
站内信 + 推送带下载链接(预签名 URL,短期有效);"我的导出"列表看状态与下载入口。
06.12.5-025 报表数据怎么同步?
频率 ★★★ | 难度 进阶
一句话结论
CDC(Canal)实时同步到数仓/宽表;T+1 报表定时 ETL;不直接查业务库做复杂统计。
06.12.5-026 Excel 导出怎么处理日期?
频率 ★★ | 难度 基础
一句话结论
日期写字符串(yyyy-MM-dd HH:mm:ss),不让 Excel 自动识别;自动转换可能错时区、错格式。
06.12.5-024 导出任务怎么设计状态机?
频率 ★★ | 难度 进阶
考察点
- 待处理 → 处理中 → 已完成 → 已下载
- 失败、取消状态
参考答案
- 用户点导出,后端生成任务 ID,立即返回
- 异步任务跑数据导出,状态更新到数据库
- 用户在导出列表看进度,完成后下载
- 失败可重试,取消则终止任务
- 文件过期自动清理(如 7 天后删除)
追问
- 怎么知道导出进度?(导出任务记录已处理行数/总行数,前端轮询)
06.12.5-025 流式写 Excel 怎么避免 OOM?
频率 ★★ | 难度 进阶
考察点
- SXSSF(POI 流式写)vs XSSF(全内存)
- 分批写、刷盘
参考答案
- POI 用 SXSSF:只保留窗口内的行在内存,超窗刷到磁盘临时文件
- 每批查询数据库,写一批,flush 一批
- 不要一次性把全表数据加载到内存
- 临时文件写完后打包成 xlsx 上传 OSS
追问
- SXSSF 有什么限制?(只能写不能读,行只能向前追加)
06.12.5-026 导出怎么防数据泄露?
频率 ★★ | 难度 进阶
考察点
- 数据权限、脱敏、水印
- 导出审计
参考答案
- 导出数据按用户权限过滤(只能看自己有权的数据)
- 敏感字段脱敏(手机号、身份证)
- 导出文件加水印(用户 ID、时间)
- 导出操作记录审计日志
- 限制导出量(如单次最多 10 万行)
追问
- 怎么防止用户把全量数据导走?(分批导出、频率限制、大数据量审批)
06.12.5-027 报表系统怎么设计?
频率 ★ | 难度 进阶
考察点
- 实时报表 vs 离线报表
- 预聚合 vs 即席查询
参考答案
- 固定报表:每天预聚合(T+1),存宽表,查询快
- 即席报表:用户自定义维度筛选,用 OLAP(ClickHouse/Doris)
- 实时报表:流式计算(Flink),秒级更新
- 报表缓存:常用查询结果缓存,避免重复计算
追问
- 为什么不用 MySQL 跑报表?(MySQL 不适合复杂聚合,大表慢,影响在线业务)
06.12.5-028 导出 PDF 怎么实现?
频率 ★ | 难度 基础
考察点
- HTML → PDF(wkhtmltopdf / Puppeteer)
- 模板化
参考答案
- 后端渲染 HTML 模板(含数据),用无头浏览器转 PDF
- wkhtmltopdf 简单但样式支持弱
- Puppeteer(Chromium)样式支持好但重
- 报表 PDF 通常用模板 + 数据填充
追问
- 为什么不用 Java 直接画 PDF?(布局复杂,HTML 模板开发效率高)
待整理清单
- [ ] EasyExcel 具体 API(待确认版本)
- [ ] 导出文件的保留策略与清理
- [ ] 大数据量导出压缩格式(zip/gzip)