罗罗编程学习记录
本页内容 展开查看

06.12.5 大数据量导出与报表(异步导出、流式写、Excel/PDF)

所属:全栈开发面试题库 / 06 后端框架与工程实践 / 06.12 通用业务组件

覆盖范围

  • 同步导出 vs 异步导出
  • 流式查询与流式写
  • Excel/PDF 生成
  • 大文件下载与限流
  • 报表系统设计

高频题速览

编号 题目 难度 频率
06.12.5-001 大数据量导出为什么不能同步做? 基础 ★★★★★
06.12.5-002 异步导出流程? 进阶 ★★★★★
06.12.5-003 流式查询怎么做? 进阶 ★★★★
06.12.5-004 Excel 大文件怎么生成? 进阶 ★★★★
06.12.5-005 导出 100 万行 Excel 内存爆了怎么办? 进阶 ★★★★★
06.12.5-006 PDF 报表怎么生成? 进阶 ★★★
06.12.5-007 导出任务怎么限流? 进阶 ★★★
06.12.5-008 报表系统和业务库隔离吗? 高级 ★★★

06.12.5-001 大数据量导出为什么不能同步做?

频率 ★★★★★ | 难度 基础

一句话结论

同步导出在 HTTP 请求里跑完所有数据,动辄几万/几十万行,会超时、占内存、拖垮数据库;必须异步:用户点导出后立即返回任务 ID,后台生成完通知下载。

概念解释

  • 同步问题:HTTP 超时(30s-60s)、JVM 内存溢出、数据库慢查询。
  • 异步:请求秒回,后台慢慢跑。

06.12.5-002 异步导出流程?

频率 ★★★★★ | 难度 进阶

一句话结论

用户提交导出条件 → 后端创建导出任务(状态 pending)→ 后台 worker 异步跑任务:分批查数据 → 写文件到 OSS → 更新任务状态为完成;用户在“我的导出”里看到完成后点下载。

概念解释

  1. 创建任务:入库 export_task(status=pending)。
  2. 后台执行:worker 拉 pending 任务,分批查数据写文件。
  3. 完成通知:站内信/WebSocket 推送“导出完成”。
  4. 下载:从 OSS 拿预签名 URL。

06.12.5-003 流式查询怎么做?

频率 ★★★★ | 难度 进阶

一句话结论

不能一次 SELECT * FROM orders WHERE ... 全量加载到内存;用游标/分页(MyBatis ResultHandler、JDBC fetchSize、seek 分页)分批拉取,边查边写文件,内存占用恒定。

概念解释

  • 游标:JDBC setFetchSize(Integer.MIN_VALUE)(MySQL 流式)。
  • 分页:按 ID 分页(WHERE id > ? LIMIT 1000),避免 OFFSET 深翻页。
  • 边查边写:一批写一批,不持有全量。

常见误区

  • 误区:LIMIT 1000 分页查。正解:深翻页 OFFSET 100000 慢,用 seek 分页(where id > last_id)。

06.12.5-004 Excel 大文件怎么生成?

频率 ★★★★ | 难度 进阶

一句话结论

用 SXSSF(Apache POI)或 EasyExcel 流式写:逐行写磁盘临时文件,内存只保留滑动窗口;不要用 XSSF(DOM 模式全量在内存)。

概念解释

  • XSSF:全量 DOM,内存爆。
  • SXSSF:滑动窗口,内存恒定。
  • EasyExcel:阿里封装,流式更友好。

06.12.5-005 导出 100 万行 Excel 内存爆了怎么办?

频率 ★★★★★ | 难度 进阶

一句话结论

组合拳:流式查询(游标/seek 分页)+ 流式写(SXSSF/EasyExcel)+ 分批 flush + 临时文件;如果还是太大,直接导出 CSV(无格式、流式写更省内存)或拆成多个文件打包。

概念解释

  • 100 万行 Excel 本身就大(几十 MB)。
  • CSV 无格式、纯文本,最省内存。
  • 超大文件:CSV 或拆多个 Sheet(Excel 单 Sheet 上限 104 万行)。

常见误区

  • 误区:Excel 单 sheet 无限大。正解:xlsx 单 sheet 上限 1,048,576 行。

06.12.5-006 PDF 报表怎么生成?

频率 ★★★ | 难度 进阶

一句话结论

复杂排版用 HTML + 模板(Thymeleaf)渲染成 HTML,再用 wkhtmltopdf / Playwright headless 转 PDF;简单数据用 iText/OpenPDF 直接画。

概念解释

  • HTML → PDF:灵活,前端懂 CSS 即可。
  • 直接画:iText 精确控制,但开发慢。

06.12.5-007 导出任务怎么限流?

频率 ★★★ | 难度 进阶

一句话结论

每用户同时只能跑 1 个导出任务,后台任务队列设并发上限(如 5 个),超出排队;防止全员同时导出把数据库打爆。

概念解释

  • 队列:导出任务走 MQ/调度 worker。
  • 并发限制:线程池大小限制。
  • 优先级:管理员任务优先。

06.12.5-008 报表系统和业务库隔离吗?

频率 ★★★ | 难度 高级

一句话结论

报表/导出跑在业务库上会拖慢交易,应走只读副本(read-only replica)或数仓(CDC 同步);复杂报表进 OLAP(ClickHouse/Doris),不打业务库。

概念解释

  • 只读副本:分担读压力。
  • 数仓:T+1 或实时同步,报表查询走数仓。

06.12.5-012 导出文件存哪里?多久清理?

频率 ★★ | 难度 进阶

一句话结论

导出文件存 OSS(不存本地磁盘),设置生命周期(如 7 天后自动删除);用户在"我的导出"里下载,过期文件自动清理,避免 OSS 成本膨胀。

概念解释

  • OSS:集中存储,预签名 URL 下载。
  • 生命周期:自动过期删除。
  • 清理:定时任务删过期任务记录。

06.12.5-013 导出 CSV 怎么避免中文乱码?

频率 ★★ | 难度 进阶

一句话结论

CSV 文件开头加 BOM(\uFEFF),Excel 打开才能正确识别 UTF-8;不加 BOM 的 CSV 用 Excel 打开中文会乱码。

06.12.5-014 大数据量导出怎么防止 OOM?

频率 ★★★ | 难度 高级

一句话结论

永远不要把全量数据加载到内存;用游标流式查询 + 流式写文件,每批查 1000 条写一批,内存占用恒定;文件直接写 OSS,不经过业务服务器内存。

06.12.5-015 导出任务怎么通知用户?

频率 ★★ | 难度 基础

一句话结论

导出完成后站内信 + 推送通知用户,消息带下载链接(预签名 URL,短期有效);用户在"我的导出"列表里也能看到状态与下载入口。

06.12.5-016 报表数据怎么从业务库同步?

频率 ★★ | 难度 进阶

一句话结论

CDC(Canal 订阅 binlog)实时同步到数仓/宽表,报表查询走数仓;T+1 报表用定时 ETL;不要直接查业务库做复杂统计,会拖慢交易。

06.12.5-017 Excel 导出怎么处理日期格式?

频率 ★★ | 难度 基础

一句话结论

日期写成字符串(yyyy-MM-dd HH:mm:ss),不要让 Excel 自动识别;Excel 对日期格式敏感,自动转换可能错时区、错格式。

06.12.5-018 导出文件太大怎么压缩?

频率 ★★ | 难度 进阶

一句话结论

CSV 用 gzip 压缩后传 OSS,下载时浏览器解压;Excel 本身已压缩,不再压;压缩能显著降低下载体积与带宽。

06.12.5-019 导出任务怎么排队?

频率 ★★ | 难度 进阶

一句话结论

导出任务走 MQ 队列,worker 并发数限制(如 5 个);同用户同时只能跑 1 个任务;高峰期任务排队,不抢占交易资源。

06.12.5-020 报表系统怎么和业务库隔离?

频率 ★★★ | 难度 进阶

一句话结论

报表查询走只读副本或数仓(CDC 同步),不打主库;复杂统计进 OLAP(ClickHouse/Doris);T+1 报表定时 ETL 到数仓。

06.12.5-021 导出 Excel 怎么合并单元格?

频率 ★★ | 难度 进阶

一句话结论

EasyExcel/POI 支持合并单元格(CellRangeAddress);表头合并用 @ExcelProperty 的合并策略;数据量大时合并单元格影响性能。

06.12.5-022 怎么导出带图表的报表?

频率 ★★ | 难度 进阶

一句话结论

HTML 渲染图表(ECharts)→ 截图或用 Playwright 生成 PDF;Excel 图表用 Apache POI 画;复杂图表走 PDF,Excel 只放数据。

06.12.5-023 怎么导出带图表的报表?

频率 ★★ | 难度 进阶

一句话结论

HTML + ECharts 渲染 → Playwright 生成 PDF;Excel 图表用 POI;复杂图表走 PDF,Excel 只放数据。

06.12.5-024 导出文件怎么通知用户?

频率 ★★ | 难度 基础

一句话结论

站内信 + 推送带下载链接(预签名 URL,短期有效);"我的导出"列表看状态与下载入口。

06.12.5-025 报表数据怎么同步?

频率 ★★★ | 难度 进阶

一句话结论

CDC(Canal)实时同步到数仓/宽表;T+1 报表定时 ETL;不直接查业务库做复杂统计。

06.12.5-026 Excel 导出怎么处理日期?

频率 ★★ | 难度 基础

一句话结论

日期写字符串(yyyy-MM-dd HH:mm:ss),不让 Excel 自动识别;自动转换可能错时区、错格式。

06.12.5-024 导出任务怎么设计状态机?

频率 ★★ | 难度 进阶

考察点

  • 待处理 → 处理中 → 已完成 → 已下载
  • 失败、取消状态

参考答案

  • 用户点导出,后端生成任务 ID,立即返回
  • 异步任务跑数据导出,状态更新到数据库
  • 用户在导出列表看进度,完成后下载
  • 失败可重试,取消则终止任务
  • 文件过期自动清理(如 7 天后删除)

追问

  • 怎么知道导出进度?(导出任务记录已处理行数/总行数,前端轮询)

06.12.5-025 流式写 Excel 怎么避免 OOM?

频率 ★★ | 难度 进阶

考察点

  • SXSSF(POI 流式写)vs XSSF(全内存)
  • 分批写、刷盘

参考答案

  • POI 用 SXSSF:只保留窗口内的行在内存,超窗刷到磁盘临时文件
  • 每批查询数据库,写一批,flush 一批
  • 不要一次性把全表数据加载到内存
  • 临时文件写完后打包成 xlsx 上传 OSS

追问

  • SXSSF 有什么限制?(只能写不能读,行只能向前追加)

06.12.5-026 导出怎么防数据泄露?

频率 ★★ | 难度 进阶

考察点

  • 数据权限、脱敏、水印
  • 导出审计

参考答案

  • 导出数据按用户权限过滤(只能看自己有权的数据)
  • 敏感字段脱敏(手机号、身份证)
  • 导出文件加水印(用户 ID、时间)
  • 导出操作记录审计日志
  • 限制导出量(如单次最多 10 万行)

追问

  • 怎么防止用户把全量数据导走?(分批导出、频率限制、大数据量审批)

06.12.5-027 报表系统怎么设计?

频率 ★ | 难度 进阶

考察点

  • 实时报表 vs 离线报表
  • 预聚合 vs 即席查询

参考答案

  • 固定报表:每天预聚合(T+1),存宽表,查询快
  • 即席报表:用户自定义维度筛选,用 OLAP(ClickHouse/Doris)
  • 实时报表:流式计算(Flink),秒级更新
  • 报表缓存:常用查询结果缓存,避免重复计算

追问

  • 为什么不用 MySQL 跑报表?(MySQL 不适合复杂聚合,大表慢,影响在线业务)

06.12.5-028 导出 PDF 怎么实现?

频率 ★ | 难度 基础

考察点

  • HTML → PDF(wkhtmltopdf / Puppeteer)
  • 模板化

参考答案

  • 后端渲染 HTML 模板(含数据),用无头浏览器转 PDF
  • wkhtmltopdf 简单但样式支持弱
  • Puppeteer(Chromium)样式支持好但重
  • 报表 PDF 通常用模板 + 数据填充

追问

  • 为什么不用 Java 直接画 PDF?(布局复杂,HTML 模板开发效率高)

待整理清单

  • [ ] EasyExcel 具体 API(待确认版本)
  • [ ] 导出文件的保留策略与清理
  • [ ] 大数据量导出压缩格式(zip/gzip)