罗罗编程学习记录
本页内容 展开查看

10.10.5 OCR 与文档理解、多模态 RAG

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.10 多模态与 AIGC

覆盖范围

  • OCR 技术与主流方案
  • 文档理解(版面分析、表格识别)
  • 多模态 RAG 架构
  • 文档解析的工程流程
  • 多模态 Embedding
  • 常见挑战与优化

高频题速览

编号 题目 难度 频率
10.10.5-001 OCR 有哪些主流方案? 基础 ★★★★
10.10.5-002 文档理解怎么做? 进阶 ★★★★
10.10.5-003 多模态 RAG 的架构? 进阶 ★★★★
10.10.5-004 表格识别有什么难点? 进阶 ★★★
10.10.5-005 文档解析的完整流程? 基础 ★★★
10.10.5-006 多模态 Embedding 怎么选? 进阶 ★★★
10.10.5-007 扫描件 PDF 怎么处理? 基础 ★★★
10.10.5-008 多模态 RAG 效果不好怎么优化? 进阶 ★★★

10.10.5-001 OCR 有哪些主流方案?

频率 ★★★★ | 难度 基础

一句话结论

OCR 主流方案:PaddleOCR(开源,中文好)、Tesseract(开源,通用)、云 API(百度、阿里、腾讯)、多模态大模型(GPT-4o、Qwen-VL)直接读图;按精度、成本、场景选择。

概念解释

  • PaddleOCR:百度开源,中文 OCR 效果好,支持表格、版面分析。
  • Tesseract:开源老牌,精度一般,英文好。
  • 云 API:百度/阿里/腾讯 OCR,开箱即用,按页计费。
  • 多模态大模型:GPT-4o/Qwen-VL 直接读图片,理解上下文。

原理流程

  1. 图片输入 → 文字检测(找到文字位置)→ 文字识别(识别内容)。
  2. 传统 OCR:检测 + 识别两步。
  3. 多模态模型:端到端,直接理解图片内容。

代码 / 示例

# PaddleOCR 示例
from paddleocr import PaddleOCR

ocr = PaddleOCR(use_angle_cls=True, lang="ch")
result = ocr.ocr("invoice.jpg", cls=True)
for line in result:
    print(line[1][0])  # 识别的文本

常见误区

  • 误区:OCR 就是把文字识别出来;正解:OCR 还要处理版面、表格、排版,是文档理解的一部分。
  • 误区:Tesseract 够用;正解:Tesseract 中文效果差,中文场景用 PaddleOCR。

追问

  • Q:手写体识别效果好吗? A:手写体识别比印刷体难,主流方案效果一般,需要专门模型。
  • Q:OCR 支持多语言吗? A:PaddleOCR 支持 80+ 语言,多语言场景够用。

10.10.5-002 文档理解怎么做?

频率 ★★★★ | 难度 进阶

一句话结论

文档理解不止是 OCR:还要做版面分析(标题/正文/表格/图片位置)、表格结构识别、阅读顺序还原;最终把文档解析为结构化文本,供 RAG 使用。

概念解释

  • 版面分析:识别文档各区域类型(标题、正文、表格、图片、页眉页脚)。
  • 表格识别:识别表格结构(行、列、合并单元格),转为结构化数据。
  • 阅读顺序:还原正确的阅读顺序,避免乱序。
  • 输出:结构化 Markdown 或 JSON,保留层级。

原理流程

  1. 版面分析:检测各区域类型和位置。
  2. OCR:识别各区域文字。
  3. 表格识别:表格区域转结构化数据。
  4. 阅读顺序:按位置排序。
  5. 输出:结构化 Markdown。

代码 / 示例

文档理解流程:
  PDF 页面
    ↓ 版面分析
  检测到: 标题区域, 正文区域, 表格区域
    ↓ OCR
  各区域文字识别
    ↓ 表格识别
  表格 → Markdown 表格
    ↓ 阅读顺序排序
  结构化 Markdown 输出

常见误区

  • 误区:文档理解 = OCR;正解:OCR 只是第一步,版面分析和表格识别才是难点。
  • 误区:PDF 直接解析就行;正解:扫描件 PDF 是图片,必须 OCR;电子版 PDF 可以直接提取文字。

追问

  • Q:有什么好的文档解析工具? A:PaddleOCR + PP-Structure(版面分析)、MinerU(开源文档解析)、云厂商文档解析 API。
  • Q:表格识别准确率? A:规则表格准确率高,复杂表格(合并单元格、跨行)准确率下降,需要后处理。

10.10.5-003 多模态 RAG 的架构?

频率 ★★★★ | 难度 进阶

一句话结论

多模态 RAG:文档(含图片、表格、图表)→ 解析为结构化文本 + 图片 → 分别向量化(文本 Embedding + 多模态 Embedding)→ 检索时按类型匹配 → 送入多模态 LLM 生成答案。

概念解释

  • 解析:文档拆分为文本块和图片块。
  • 向量化:文本用文本 Embedding,图片用多模态 Embedding。
  • 检索:同时检索相关文本和图片。
  • 生成:多模态 LLM 同时看到文本和图片,生成答案。

原理流程

  1. 文档解析:拆成文本块 + 图片块。
  2. 索引:文本块用文本 Embedding,图片用多模态 Embedding。
  3. 查询:用户问题 → 检索相关文本 + 图片。
  4. 生成:把文本和图片一起送入多模态 LLM。

代码 / 示例

多模态 RAG 流程:
  PDF 文档
    ↓ 解析
  文本块: "根据上图, 2024年销售额..."
  图片块: [销售趋势图.png]
    ↓ 向量化
  文本 Embedding + 图片 Embedding
    ↓ 检索
  问题: "2024年销售额趋势?"
  → 检索到: 相关文本块 + 销售趋势图
    ↓ 生成
  多模态 LLM 看到文本+图片 → 生成答案

常见误区

  • 误区:多模态 RAG 就是把图片 OCR 成文字;正解:OCR 只提取文字,图片的视觉信息(图表、图形)丢失了,多模态 RAG 保留图片让 LLM 直接看。
  • 误区:多模态 RAG 和普通 RAG 一样;正解:多模态 RAG 要处理图片、表格、图表,架构更复杂。

追问

  • Q:什么时候需要多模态 RAG? A:文档里有图表、流程图、示意图,纯文字 RAG 效果不好时。
  • Q:多模态 RAG 成本? A:多模态 LLM 比纯文本贵,图片 token 也多,成本要控制。

10.10.5-004 表格识别有什么难点?

频率 ★★★ | 难度 进阶

一句话结论

表格识别难点:合并单元格、跨行跨列、不规则表格、手写表格、表格嵌套;简单规则表格准确率高,复杂表格需要多模态 LLM 辅助。

概念解释

  • 合并单元格:跨行跨列,结构复杂。
  • 不规则表格:没有边框、对齐不齐。
  • 嵌套表格:表格里还有表格。
  • 解决方案:传统 OCR + 后处理,或用多模态 LLM 直接读表格。

原理流程

  1. 检测表格区域。
  2. 识别表格结构(行、列、单元格)。
  3. 识别每个单元格内容。
  4. 还原表格结构(处理合并单元格)。
  5. 输出 Markdown 或 Excel。

代码 / 示例

表格识别难点:
  - 合并单元格: 跨行跨列
  - 不规则表格: 无边框, 对齐不齐
  - 嵌套表格: 表格里还有表格
  - 手写表格: 字体不规范

解决方案:
  简单表格: PaddleOCR 表格识别
  复杂表格: 用多模态 LLM (GPT-4o) 直接读表格图片

常见误区

  • 误区:表格识别就是 OCR 表格里的文字;正解:还要还原表格结构(行、列、合并单元格),这才是难点。
  • 误区:所有表格都能准确识别;正解:复杂表格准确率只有 70~80%,需要人工校对。

追问

  • Q:怎么提高表格识别准确率? A:用多模态 LLM 辅助,把表格图片直接给 GPT-4o 读,比传统 OCR 准。
  • Q:表格识别后怎么校验? A:识别后转成 Excel,人工抽查,关键字段校验。

10.10.5-005 文档解析的完整流程?

频率 ★★★ | 难度 基础

一句话结论

完整流程:文档加载(PDF/Word/图片)→ 版面分析 → OCR → 表格识别 → 阅读顺序还原 → 结构化输出(Markdown/JSON)→ 切分 → 向量化 → 入库;每一步都有工具和优化空间。

概念解释

  • 加载:支持 PDF、Word、PPT、图片等格式。
  • 版面分析:识别各区域类型。
  • OCR:识别文字。
  • 表格识别:表格转结构化。
  • 输出:结构化 Markdown。
  • 切分:按语义切分 chunk。
  • 入库:向量化后存入向量库。

原理流程

  1. 加载文档。
  2. 逐页处理:版面分析 → OCR → 表格识别。
  3. 还原阅读顺序。
  4. 输出结构化 Markdown。
  5. 切分 chunk。
  6. 向量化入库。

代码 / 示例

文档解析完整流程:
  1. 文档加载: PDF/Word/PPT
  2. 页面拆分: 逐页处理
  3. 版面分析: 标题/正文/表格/图片
  4. OCR: 识别文字
  5. 表格识别: 表格 → Markdown
  6. 阅读顺序: 排序
  7. 结构化输出: Markdown
  8. 切分: 按语义切 chunk
  9. 向量化: Embedding
  10. 入库: 向量库

常见误区

  • 误区:文档解析一步到位;正解:是多步流程,每一步都可能出错,要分步验证。
  • 误区:用一个工具就能搞定;正解:通常需要组合多个工具(版面分析 + OCR + 表格识别)。

追问

  • Q:有什么开源文档解析工具? A:MinerU、PaddleOCR/PP-Structure、Unstructured、LlamaParse(API)。
  • Q:文档解析怎么优化? A:先跑一遍,人工看结果,针对出错的地方优化(如表格识别不准就换工具)。

10.10.5-006 多模态 Embedding 怎么选?

频率 ★★★ | 难度 进阶

一句话结论

多模态 Embedding 模型:OpenAI CLIP、Chinese CLIP(中文优化)、BGE-VL(智源)、Cohere Multimodal;选型看语言(中文/英文)、模态(图文对齐)、开源/闭源。

概念解释

  • CLIP:OpenAI 开源,图文对齐,英文好。
  • Chinese CLIP:中文优化,适合中文图文检索。
  • BGE-VL:智源开源,中文多模态。
  • 闭源:OpenAI text-embedding-3(只文本),多模态用 API。

原理流程

  1. 文本块 → 文本 Embedding。
  2. 图片块 → 图片 Embedding。
  3. 同一个空间,文本和图片可以互搜。

代码 / 示例

多模态 Embedding 选型:
  中文场景: BGE-VL, Chinese CLIP
  英文场景: OpenAI CLIP
  闭源 API: Cohere Multimodal Embedding
  开源: BGE-VL, Chinese CLIP

常见误区

  • 误区:文本 Embedding 能搜图片;正解:文本 Embedding 只编码文本,图片要用多模态 Embedding。
  • 误区:多模态 Embedding 准确率和文本一样;正解:多模态检索精度通常低于纯文本检索。

追问

  • Q:多模态 Embedding 怎么评估? A:用图文检索测试集,看 recall@k。
  • Q:图片检索怎么优化? A:图片标题/描述也一起向量化,图文混合检索效果更好。

10.10.5-007 扫描件 PDF 怎么处理?

频率 ★★★ | 难度 基础

一句话结论

扫描件 PDF 本质是图片,没有文字层,必须 OCR 处理:逐页转图片 → OCR → 结构化文本;和电子版 PDF(直接提取文字)不同。

概念解释

  • 电子版 PDF:有文字层,直接提取文字,快且准。
  • 扫描件 PDF:每页是图片,必须 OCR。
  • 混合 PDF:部分页有文字层,部分页是图片。
  • 处理:先判断是否有文字层,有就提取,没有就 OCR。

原理流程

  1. 判断 PDF 类型:尝试提取文字,空的就是扫描件。
  2. 扫描件:逐页转图片 → OCR。
  3. 电子版:直接提取文字。
  4. 混合:逐页判断,分别处理。

代码 / 示例

# 判断 PDF 是否是扫描件
import fitz  # PyMuPDF

doc = fitz.open("scan.pdf")
for page in doc:
    text = page.get_text().strip()
    if len(text) < 10:  # 文字很少, 可能是扫描件
        # 转图片, OCR
        pix = page.get_pixmap()
        pix.save("page.png")
        # 然后 OCR

常见误区

  • 误区:PDF 都能直接提取文字;正解:扫描件 PDF 是图片,必须 OCR。
  • 误区:扫描件质量差 OCR 也差;正解:扫描质量差(模糊、倾斜)会严重影响 OCR 准确率,要先预处理。

追问

  • Q:怎么提高扫描件 OCR 准确率? A:先做图像预处理(去噪、纠偏、二值化),再 OCR。
  • Q:扫描件怎么批量处理? A:写脚本批量逐页处理,记录进度,失败重试。

10.10.5-008 多模态 RAG 效果不好怎么优化?

频率 ★★★ | 难度 进阶

一句话结论

优化方向:文档解析质量(表格、图片解析准不准)、切分策略(图文是否放在一起)、检索策略(图文混合检索)、生成模型(多模态 LLM 理解能力);分步排查,先看解析质量。

概念解释

  • 解析质量:OCR 错了,后面全错。
  • 切分策略:图片和相关文本要放一起,不能分开。
  • 检索策略:图文混合检索,提高召回。
  • 生成模型:多模态 LLM 能不能理解图表。

原理流程

  1. 先看解析:人工检查文档解析结果,OCR 和表格准不准。
  2. 再看切分:图文是否在同一个 chunk。
  3. 再看检索:检索结果是否相关。
  4. 最后看生成:LLM 能不能根据图文回答。

代码 / 示例

多模态 RAG 优化步骤:
  1. 解析: 检查 OCR 和表格识别准确率
  2. 切分: 图片和相关文本是否在同一 chunk
  3. 检索: 检索到的图片/文本是否相关
  4. 生成: LLM 能否理解图表并正确回答
  5. 后处理: 引用来源, 人工校验

常见误区

  • 误区:多模态 RAG 效果不好是模型不行;正解:80% 的问题在文档解析和切分,不是生成模型。
  • 误区:图片越多越好;正解:图片太多 token 成本高,且检索精度下降,只保留关键图片。

追问

  • Q:怎么评估多模态 RAG 效果? A:用业务测试集,看答案正确率和引用正确率。
  • Q:图表类问题怎么优化? A:图表用多模态 LLM 直接读,不要 OCR 成文字再 RAG。

待整理清单

  • [ ] 多模态 RAG 的评测方法
  • [ ] 文档解析的后处理流程
  • [ ] 复杂表格的处理方案
  • [ ] 多模态 RAG 的成本控制
  • [ ] 流式多模态输出