10.10.5 OCR 与文档理解、多模态 RAG
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.10 多模态与 AIGC
覆盖范围
- OCR 技术与主流方案
- 文档理解(版面分析、表格识别)
- 多模态 RAG 架构
- 文档解析的工程流程
- 多模态 Embedding
- 常见挑战与优化
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.10.5-001 | OCR 有哪些主流方案? | 基础 | ★★★★ |
| 10.10.5-002 | 文档理解怎么做? | 进阶 | ★★★★ |
| 10.10.5-003 | 多模态 RAG 的架构? | 进阶 | ★★★★ |
| 10.10.5-004 | 表格识别有什么难点? | 进阶 | ★★★ |
| 10.10.5-005 | 文档解析的完整流程? | 基础 | ★★★ |
| 10.10.5-006 | 多模态 Embedding 怎么选? | 进阶 | ★★★ |
| 10.10.5-007 | 扫描件 PDF 怎么处理? | 基础 | ★★★ |
| 10.10.5-008 | 多模态 RAG 效果不好怎么优化? | 进阶 | ★★★ |
10.10.5-001 OCR 有哪些主流方案?
频率 ★★★★ | 难度 基础
一句话结论
OCR 主流方案:PaddleOCR(开源,中文好)、Tesseract(开源,通用)、云 API(百度、阿里、腾讯)、多模态大模型(GPT-4o、Qwen-VL)直接读图;按精度、成本、场景选择。
概念解释
- PaddleOCR:百度开源,中文 OCR 效果好,支持表格、版面分析。
- Tesseract:开源老牌,精度一般,英文好。
- 云 API:百度/阿里/腾讯 OCR,开箱即用,按页计费。
- 多模态大模型:GPT-4o/Qwen-VL 直接读图片,理解上下文。
原理流程
- 图片输入 → 文字检测(找到文字位置)→ 文字识别(识别内容)。
- 传统 OCR:检测 + 识别两步。
- 多模态模型:端到端,直接理解图片内容。
代码 / 示例
# PaddleOCR 示例
from paddleocr import PaddleOCR
ocr = PaddleOCR(use_angle_cls=True, lang="ch")
result = ocr.ocr("invoice.jpg", cls=True)
for line in result:
print(line[1][0]) # 识别的文本
常见误区
- 误区:OCR 就是把文字识别出来;正解:OCR 还要处理版面、表格、排版,是文档理解的一部分。
- 误区:Tesseract 够用;正解:Tesseract 中文效果差,中文场景用 PaddleOCR。
追问
- Q:手写体识别效果好吗? A:手写体识别比印刷体难,主流方案效果一般,需要专门模型。
- Q:OCR 支持多语言吗? A:PaddleOCR 支持 80+ 语言,多语言场景够用。
10.10.5-002 文档理解怎么做?
频率 ★★★★ | 难度 进阶
一句话结论
文档理解不止是 OCR:还要做版面分析(标题/正文/表格/图片位置)、表格结构识别、阅读顺序还原;最终把文档解析为结构化文本,供 RAG 使用。
概念解释
- 版面分析:识别文档各区域类型(标题、正文、表格、图片、页眉页脚)。
- 表格识别:识别表格结构(行、列、合并单元格),转为结构化数据。
- 阅读顺序:还原正确的阅读顺序,避免乱序。
- 输出:结构化 Markdown 或 JSON,保留层级。
原理流程
- 版面分析:检测各区域类型和位置。
- OCR:识别各区域文字。
- 表格识别:表格区域转结构化数据。
- 阅读顺序:按位置排序。
- 输出:结构化 Markdown。
代码 / 示例
文档理解流程:
PDF 页面
↓ 版面分析
检测到: 标题区域, 正文区域, 表格区域
↓ OCR
各区域文字识别
↓ 表格识别
表格 → Markdown 表格
↓ 阅读顺序排序
结构化 Markdown 输出
常见误区
- 误区:文档理解 = OCR;正解:OCR 只是第一步,版面分析和表格识别才是难点。
- 误区:PDF 直接解析就行;正解:扫描件 PDF 是图片,必须 OCR;电子版 PDF 可以直接提取文字。
追问
- Q:有什么好的文档解析工具? A:PaddleOCR + PP-Structure(版面分析)、MinerU(开源文档解析)、云厂商文档解析 API。
- Q:表格识别准确率? A:规则表格准确率高,复杂表格(合并单元格、跨行)准确率下降,需要后处理。
10.10.5-003 多模态 RAG 的架构?
频率 ★★★★ | 难度 进阶
一句话结论
多模态 RAG:文档(含图片、表格、图表)→ 解析为结构化文本 + 图片 → 分别向量化(文本 Embedding + 多模态 Embedding)→ 检索时按类型匹配 → 送入多模态 LLM 生成答案。
概念解释
- 解析:文档拆分为文本块和图片块。
- 向量化:文本用文本 Embedding,图片用多模态 Embedding。
- 检索:同时检索相关文本和图片。
- 生成:多模态 LLM 同时看到文本和图片,生成答案。
原理流程
- 文档解析:拆成文本块 + 图片块。
- 索引:文本块用文本 Embedding,图片用多模态 Embedding。
- 查询:用户问题 → 检索相关文本 + 图片。
- 生成:把文本和图片一起送入多模态 LLM。
代码 / 示例
多模态 RAG 流程:
PDF 文档
↓ 解析
文本块: "根据上图, 2024年销售额..."
图片块: [销售趋势图.png]
↓ 向量化
文本 Embedding + 图片 Embedding
↓ 检索
问题: "2024年销售额趋势?"
→ 检索到: 相关文本块 + 销售趋势图
↓ 生成
多模态 LLM 看到文本+图片 → 生成答案
常见误区
- 误区:多模态 RAG 就是把图片 OCR 成文字;正解:OCR 只提取文字,图片的视觉信息(图表、图形)丢失了,多模态 RAG 保留图片让 LLM 直接看。
- 误区:多模态 RAG 和普通 RAG 一样;正解:多模态 RAG 要处理图片、表格、图表,架构更复杂。
追问
- Q:什么时候需要多模态 RAG? A:文档里有图表、流程图、示意图,纯文字 RAG 效果不好时。
- Q:多模态 RAG 成本? A:多模态 LLM 比纯文本贵,图片 token 也多,成本要控制。
10.10.5-004 表格识别有什么难点?
频率 ★★★ | 难度 进阶
一句话结论
表格识别难点:合并单元格、跨行跨列、不规则表格、手写表格、表格嵌套;简单规则表格准确率高,复杂表格需要多模态 LLM 辅助。
概念解释
- 合并单元格:跨行跨列,结构复杂。
- 不规则表格:没有边框、对齐不齐。
- 嵌套表格:表格里还有表格。
- 解决方案:传统 OCR + 后处理,或用多模态 LLM 直接读表格。
原理流程
- 检测表格区域。
- 识别表格结构(行、列、单元格)。
- 识别每个单元格内容。
- 还原表格结构(处理合并单元格)。
- 输出 Markdown 或 Excel。
代码 / 示例
表格识别难点:
- 合并单元格: 跨行跨列
- 不规则表格: 无边框, 对齐不齐
- 嵌套表格: 表格里还有表格
- 手写表格: 字体不规范
解决方案:
简单表格: PaddleOCR 表格识别
复杂表格: 用多模态 LLM (GPT-4o) 直接读表格图片
常见误区
- 误区:表格识别就是 OCR 表格里的文字;正解:还要还原表格结构(行、列、合并单元格),这才是难点。
- 误区:所有表格都能准确识别;正解:复杂表格准确率只有 70~80%,需要人工校对。
追问
- Q:怎么提高表格识别准确率? A:用多模态 LLM 辅助,把表格图片直接给 GPT-4o 读,比传统 OCR 准。
- Q:表格识别后怎么校验? A:识别后转成 Excel,人工抽查,关键字段校验。
10.10.5-005 文档解析的完整流程?
频率 ★★★ | 难度 基础
一句话结论
完整流程:文档加载(PDF/Word/图片)→ 版面分析 → OCR → 表格识别 → 阅读顺序还原 → 结构化输出(Markdown/JSON)→ 切分 → 向量化 → 入库;每一步都有工具和优化空间。
概念解释
- 加载:支持 PDF、Word、PPT、图片等格式。
- 版面分析:识别各区域类型。
- OCR:识别文字。
- 表格识别:表格转结构化。
- 输出:结构化 Markdown。
- 切分:按语义切分 chunk。
- 入库:向量化后存入向量库。
原理流程
- 加载文档。
- 逐页处理:版面分析 → OCR → 表格识别。
- 还原阅读顺序。
- 输出结构化 Markdown。
- 切分 chunk。
- 向量化入库。
代码 / 示例
文档解析完整流程:
1. 文档加载: PDF/Word/PPT
2. 页面拆分: 逐页处理
3. 版面分析: 标题/正文/表格/图片
4. OCR: 识别文字
5. 表格识别: 表格 → Markdown
6. 阅读顺序: 排序
7. 结构化输出: Markdown
8. 切分: 按语义切 chunk
9. 向量化: Embedding
10. 入库: 向量库
常见误区
- 误区:文档解析一步到位;正解:是多步流程,每一步都可能出错,要分步验证。
- 误区:用一个工具就能搞定;正解:通常需要组合多个工具(版面分析 + OCR + 表格识别)。
追问
- Q:有什么开源文档解析工具? A:MinerU、PaddleOCR/PP-Structure、Unstructured、LlamaParse(API)。
- Q:文档解析怎么优化? A:先跑一遍,人工看结果,针对出错的地方优化(如表格识别不准就换工具)。
10.10.5-006 多模态 Embedding 怎么选?
频率 ★★★ | 难度 进阶
一句话结论
多模态 Embedding 模型:OpenAI CLIP、Chinese CLIP(中文优化)、BGE-VL(智源)、Cohere Multimodal;选型看语言(中文/英文)、模态(图文对齐)、开源/闭源。
概念解释
- CLIP:OpenAI 开源,图文对齐,英文好。
- Chinese CLIP:中文优化,适合中文图文检索。
- BGE-VL:智源开源,中文多模态。
- 闭源:OpenAI text-embedding-3(只文本),多模态用 API。
原理流程
- 文本块 → 文本 Embedding。
- 图片块 → 图片 Embedding。
- 同一个空间,文本和图片可以互搜。
代码 / 示例
多模态 Embedding 选型:
中文场景: BGE-VL, Chinese CLIP
英文场景: OpenAI CLIP
闭源 API: Cohere Multimodal Embedding
开源: BGE-VL, Chinese CLIP
常见误区
- 误区:文本 Embedding 能搜图片;正解:文本 Embedding 只编码文本,图片要用多模态 Embedding。
- 误区:多模态 Embedding 准确率和文本一样;正解:多模态检索精度通常低于纯文本检索。
追问
- Q:多模态 Embedding 怎么评估? A:用图文检索测试集,看 recall@k。
- Q:图片检索怎么优化? A:图片标题/描述也一起向量化,图文混合检索效果更好。
10.10.5-007 扫描件 PDF 怎么处理?
频率 ★★★ | 难度 基础
一句话结论
扫描件 PDF 本质是图片,没有文字层,必须 OCR 处理:逐页转图片 → OCR → 结构化文本;和电子版 PDF(直接提取文字)不同。
概念解释
- 电子版 PDF:有文字层,直接提取文字,快且准。
- 扫描件 PDF:每页是图片,必须 OCR。
- 混合 PDF:部分页有文字层,部分页是图片。
- 处理:先判断是否有文字层,有就提取,没有就 OCR。
原理流程
- 判断 PDF 类型:尝试提取文字,空的就是扫描件。
- 扫描件:逐页转图片 → OCR。
- 电子版:直接提取文字。
- 混合:逐页判断,分别处理。
代码 / 示例
# 判断 PDF 是否是扫描件
import fitz # PyMuPDF
doc = fitz.open("scan.pdf")
for page in doc:
text = page.get_text().strip()
if len(text) < 10: # 文字很少, 可能是扫描件
# 转图片, OCR
pix = page.get_pixmap()
pix.save("page.png")
# 然后 OCR
常见误区
- 误区:PDF 都能直接提取文字;正解:扫描件 PDF 是图片,必须 OCR。
- 误区:扫描件质量差 OCR 也差;正解:扫描质量差(模糊、倾斜)会严重影响 OCR 准确率,要先预处理。
追问
- Q:怎么提高扫描件 OCR 准确率? A:先做图像预处理(去噪、纠偏、二值化),再 OCR。
- Q:扫描件怎么批量处理? A:写脚本批量逐页处理,记录进度,失败重试。
10.10.5-008 多模态 RAG 效果不好怎么优化?
频率 ★★★ | 难度 进阶
一句话结论
优化方向:文档解析质量(表格、图片解析准不准)、切分策略(图文是否放在一起)、检索策略(图文混合检索)、生成模型(多模态 LLM 理解能力);分步排查,先看解析质量。
概念解释
- 解析质量:OCR 错了,后面全错。
- 切分策略:图片和相关文本要放一起,不能分开。
- 检索策略:图文混合检索,提高召回。
- 生成模型:多模态 LLM 能不能理解图表。
原理流程
- 先看解析:人工检查文档解析结果,OCR 和表格准不准。
- 再看切分:图文是否在同一个 chunk。
- 再看检索:检索结果是否相关。
- 最后看生成:LLM 能不能根据图文回答。
代码 / 示例
多模态 RAG 优化步骤:
1. 解析: 检查 OCR 和表格识别准确率
2. 切分: 图片和相关文本是否在同一 chunk
3. 检索: 检索到的图片/文本是否相关
4. 生成: LLM 能否理解图表并正确回答
5. 后处理: 引用来源, 人工校验
常见误区
- 误区:多模态 RAG 效果不好是模型不行;正解:80% 的问题在文档解析和切分,不是生成模型。
- 误区:图片越多越好;正解:图片太多 token 成本高,且检索精度下降,只保留关键图片。
追问
- Q:怎么评估多模态 RAG 效果? A:用业务测试集,看答案正确率和引用正确率。
- Q:图表类问题怎么优化? A:图表用多模态 LLM 直接读,不要 OCR 成文字再 RAG。
待整理清单
- [ ] 多模态 RAG 的评测方法
- [ ] 文档解析的后处理流程
- [ ] 复杂表格的处理方案
- [ ] 多模态 RAG 的成本控制
- [ ] 流式多模态输出