10.3.1.1 文档解析与格式清洗
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.3 RAG 检索增强 / 10.3.1 文档处理与切分
10.3.1.1-001 RAG 管线里文档解析处在什么位置?
一句话结论
解析是 RAG 数据链路的最上游:把 PDF、Word、HTML、表格、图片等原始材料转成干净的纯文本与结构化片段;解析丢失或错排的内容,后续检索和生成都无法补救。
概念解释
- 输入:原始文件(多种格式、版式复杂程度不一)。
- 输出:带版式信息的文本、表格结构、图片 OCR 结果。
- 下游:清洗、切分、向量化、入库。
原理流程
- 文件按格式选择解析器。
- 提取文本、标题层级、表格与图片区域。
- 结构化输出供清洗与切分使用。
代码 / 图示
原始文件 → 格式识别 → 解析器 → 文本/表格/图片 → 清洗 → 切分 → 入库
常见误区
- 误区:解析是简单的读文本;正解:版式、表格、阅读顺序都会影响片段语义,解析质量直接决定召回上限。
- 误区:解析错误到生成阶段再修;正解:上游丢失的内容无法靠大模型补回。
追问
- Q:解析产物需要保留什么? A:正文之外保留标题层级、页码/坐标、表格结构,用于元数据与引用回链。
- Q:解析阶段要做去重吗? A:基础去重可在解析后做,文档级去重与版本治理通常单独环节处理。
10.3.1.1-002 PDF 文本层与扫描件解析有什么区别?
一句话结论
带文本层的 PDF 直接抽取字符流;扫描件本质是图片,需要 OCR 识别文字;两者精度、成本与失败模式不同,先判断是否有文本层再选链路。
概念解释
- 文本层 PDF:字符可直接映射,保留字体与位置。
- 扫描件:无字符层,OCR 识别存在错字、漏行与版式还原问题。
- 混合 PDF:部分页面为图片,需逐页判断。
原理流程
- 检测每页是否含可提取文本。
- 文本层走直抽,图片页走 OCR。
- 合并结果并记录置信度。
代码 / 图示
PDF 页面 → 有文本层? → 是: 字符直抽; 否: OCR 识别
→ 结果带置信度标记, 低置信页面人工复核
常见误区
- 误区:所有 PDF 都能直接抽文字;正解:扫描件必须 OCR,直抽会得到空内容或乱码。
- 误区:OCR 结果无需校验;正解:低置信度区域应标记或复核,错字会污染切分与检索。
追问
- Q:OCR 中文与手写体表现如何? A:印刷体较稳,手写体、复杂表格准确率下降,具体以所选 OCR 能力为准。
- Q:怎么识别纯扫描件? A:抽取文本字符数极低且页面以位图为主,即判定走 OCR 链路。
10.3.1.1-003 复杂版式(双栏、页眉页脚、脚注)怎么处理?
一句话结论
按阅读顺序还原版面:双栏先分栏再按栏顺序读,页眉页脚与水印作为噪声剥离,脚注/尾注要归属到对应正文段落;顺序错乱会让片段语义错乱。
概念解释
- 阅读顺序:版面块按人眼阅读路径排列,而非坐标从上到下。
- 噪声元素:页眉页脚、页码、水印、重复标题。
- 归属关系:脚注、引用与正文段落关联。
原理流程
- 检测页面区块与栏位。
- 按栏位与阅读顺序拼接。
- 剥离固定噪声,保留归属注释。
代码 / 图示
区块检测 → 分栏判定 → 阅读顺序排序 → 剥离页眉页脚水印 → 脚注归并正文
常见误区
- 误区:按 y 坐标排序即可;正解:双栏时左右栏会被错配顺序,必须先分栏。
- 误区:页眉页脚保留进正文;正解:重复的导航性文本会稀释片段语义,应剥离并写入元数据。
追问
- Q:脚注丢失有什么影响? A:专业文档的定义、出处常在脚注,丢失会导致答案依据不完整。
- Q:版式信息要不要保留? A:标题层级与归属关系保留作为元数据,纯装饰版式不保留。
10.3.1.1-004 Word/HTML/Markdown 解析各有什么要点?
一句话结论
Word 依赖样式与标题层级映射,HTML 依赖标签语义与脚本剥离,Markdown 本身结构清晰但要保留代码块与链接;三类格式都要去掉导航、样式脚本等非正文内容。
概念解释
- Word:段落样式映射为标题层级,文本框与表格单独处理。
- HTML:提取语义标签,剥离 script/style/导航,保留列表与表格。
- Markdown:保留标题、代码围栏、链接与引用块。
原理流程
- 按格式选解析器。
- 映射标题层级与结构元素。
- 剥离非正文标签与样式。
代码 / 图示
Word: 样式名 → 标题层级
HTML: 标签语义提取, 剥离 script/style/nav
MD: 保留代码围栏/链接/引用块
常见误区
- 误区:HTML 直接把标签内文本拼起来;正解:导航、脚本与隐藏元素必须剥离,否则噪声进向量库。
- 误区:Markdown 代码块当普通文本切;正解:代码块应整体保留或按结构切,避免语法被切断。
追问
- Q:Word 文本框内容怎么处理? A:按其归属段落提取,避免顺序孤立成无上下文片段。
- Q:链接文本保留吗? A:保留锚文本与 URL 元数据,URL 本身不一定进检索正文。
10.3.1.1-005 表格在 RAG 里怎么解析才不丢结构?
一句话结论
表格应解析成行/列结构并保留表头与合并单元格信息;检索时可转成行文本或保留结构化表示,避免把表格压成一句乱序文本导致语义丢失。
概念解释
- 结构:表头、行列关系、合并单元格。
- 表示:行向文本(每行带列名)或结构化记录。
- 用途:字段问答、对照类问题需要可定位行列。
原理流程
- 识别表格边界与表头。
- 解析单元格归属与合并关系。
- 按行生成可检索文本或结构化记录。
代码 / 示例
| 城市 | 人口 | 面积 |
行文本: "城市: 北京; 人口: ...; 面积: ..."
常见误区
- 误区:表格单元格顺序拼接即可;正解:缺列名的孤立数值无法理解含义。
- 误区:合并单元格按空值处理;正解:合并格的值要向下/向右填充到归属行。
追问
- Q:宽表/多列怎么切? A:按行成块或按列分组,避免单行字段过多超出块大小。
- Q:表格答案怎么引用? A:记录表名、行号或表头,供答案回链定位。
10.3.1.1-006 图片与图表要进 RAG 吗?
一句话结论
取决于问题类型:示意图可做 OCR/图注描述后入库,数据图表应抽取图内数据与标题文字;纯装饰图不入库;多模态场景才直接向量化图片本身。
概念解释
- 图注与标题:可文本化的信息优先抽取。
- 数据图:坐标轴、图例、数值尽量结构化。
- 多模态:图片向量按模型能力另行处理,具体以当前模型与接口为准。
原理流程
- 判断图片类型(装饰/示意/数据)。
- 可文本化部分 OCR 或抽取描述。
- 决定入文本库还是多模态向量库。
代码 / 图示
图片 → 类型判定 → 装饰: 跳过; 示意: 图注/OCR; 数据图: 抽数值与标题
→ 入对应检索库
常见误区
- 误区:所有图片都跳过;正解:含关键定义或数据的图表跳过会丢失依据。
- 误区:把图注当正文重复入库;正解:图注作为图片元数据归属,避免重复片段。
追问
- Q:流程图怎么支持问答? A:抽取节点与连接关系描述,或按图分块保留文字标注。
- Q:图表数据抽取不准怎么办? A:标注置信度,关键数值回源表核对。
10.3.1.1-007 解析后常见噪声有哪些,怎么清洗?
一句话结论
噪声包括重复页眉页脚、乱码、多余空白与断行、HTML 残留标签、编码错误、重复片段;清洗规则在解析后、切分前执行,固定可枚举噪声用规则,语义残缺片段再标记复核。
概念解释
- 结构噪声:标签残留、断行、多余空格。
- 重复噪声:导航文本、重复表头。
- 质量噪声:乱码、编码损坏、OCR 错字。
原理流程
- 规则去除固定噪声元素。
- 归一化空白与断行。
- 标记低质量片段进入复核。
代码 / 图示
去标签/页眉页脚 → 归一化空白断行 → 去重复行 → 标记乱码低质片段
常见误区
- 误区:清洗全靠大模型改写;正解:可枚举噪声先用规则稳定处理,模型只用于疑难片段。
- 误区:清洗把正文标点也删了;正解:规则要保留语义标点,只去格式性噪声。
追问
- Q:断行怎么还原? A:软换行按上下文合并,硬换行(段落/列表)保留为边界。
- Q:清洗规则放管线哪层? A:解析后统一执行,规则版本随管线配置管理。
10.3.1.1-008 文本编码与乱码怎么处理?
一句话结论
先确认源文件编码,统一解码为 UTF-8;乱码多来自编码识别错误、字体缺失或 OCR 错字;无法可靠还原的片段标记低质量,不强行猜解入库。
概念解释
- 编码:源字节按正确字符集解码,错配会产生替换字符。
- 字体缺失:特殊字形无法映射。
- OCR 错字:识别错误进入文本。
原理流程
- 探测/声明文件编码。
- 解码并检查替换字符比例。
- 超阈值片段标记复核或丢弃。
代码 / 图示
字节流 → 编码解码 → 检查 �/乱码比例 → 合格入库; 不合格标记复核
常见误区
- 误区:乱码片段也入库凑数量;正解:低质片段会污染召回,应剔除或人工修复。
- 误区:统一按 UTF-8 解码所有源;正解:历史文件可能是 GBK 等其他编码,需先识别。
追问
- Q:怎么量化乱码比例? A:统计替换字符、非常见字符占比,设阈值标记,具体阈值按语料定。
- Q:OCR 错字会影响检索吗? A:会,错字改变 token 与向量,关键词检索尤其明显。
10.3.1.1-009 多语言与代码混排文档怎么解析?
一句话结论
混排文档要保留代码块边界与语言标记,自然语言部分按语言处理;代码不参与自然语言清洗规则,避免注释、字符串被误删或切断。
概念解释
- 代码块:围栏/缩进边界保留,注释与字符串是代码一部分。
- 多语言:自然语言片段识别语言,影响 Embedding 与分词。
- 混排:正文解释与代码示例交替出现,归属关系保留。
原理流程
- 识别代码块边界与语言。
- 代码内容不做自然语言清洗。
- 正文与代码块分别归段。
代码 / 图示
文档 → 代码围栏识别 → 代码整体保留; 正文走语言清洗 → 交替片段保留归属
常见误区
- 误区:对代码也做去停用词/分句;正解:代码符号有语义,清洗规则会破坏可检索性。
- 误区:代码示例拆成短句;正解:函数/代码块应整体或按结构切分。
追问
- Q:代码注释要单独检索吗? A:注释随代码块保留,必要时可抽取注释作为摘要字段。
- Q:多语言混合影响 Embedding 选型吗? A:影响,需要覆盖对应语言的嵌入模型,详见 Embedding 子页。
10.3.1.1-010 解析结果如何校验质量?
一句话结论
抽样核对:文本完整性、标题层级正确、表格行列对齐、阅读顺序无误、无残留标签与乱码;按文件类型抽样并统计解析失败率、低质片段比例,纳入入库前质量门禁。
概念解释
- 完整性:关键段落未丢失。
- 结构正确:层级、表格、顺序。
- 噪声残留:标签、页眉、乱码比例。
原理流程
- 按格式分层抽样。
- 人工/规则核对关键指标。
- 不达标批次退回解析环节重跑。
代码 / 图示
抽样 → 核对完整性/结构/噪声 → 合格率统计 → 达标入库; 不达标重跑
常见误区
- 误区:解析跑通就算成功;正解:跑通只代表无异常退出,内容正确性要抽样核对。
- 误区:只验文本长度;正解:长度正常但顺序错乱、表格错列同样不合格。
追问
- Q:抽样比例怎么定? A:复杂版式与低质来源比例更高,稳定来源可降低比例,按风险调整。
- Q:解析质量指标有哪些? A:文本完整率、结构正确率、噪声残留率、OCR 置信度分布。
10.3.1.1-011 扫描件/OCR 流程的成本与准确率怎么权衡?
一句话结论
OCR 按页面数量与图片复杂度消耗算力;准确率要求高的关键文档走更强 OCR 或人工复核,批量普通文档用常规链路;以业务对答案依据的要求决定投入,不为全部材料上顶配。
概念解释
- 成本项:OCR 推理、人工复核工时。
- 准确率:错字、漏行、表格还原度。
- 权衡:风险等级越高,复核投入越大。
原理流程
- 文档按重要性分级。
- 普通级常规 OCR,关键级强化识别加复核。
- 记录各批次质量指标。
代码 / 图示
文档分级 → 关键: 强 OCR + 人工复核; 普通: 常规 OCR + 抽样
→ 质量指标归档
常见误区
- 误区:OCR 一次结果直接入库;正解:关键法律、制度类文档应抽样复核。
- 误区:所有扫描件走同一 OCR 档位;正解:按价值分级投入,控制整体成本。
追问
- Q:OCR 失败页怎么处理? A:标记并回退原始图片链接,必要时人工补录,不静默丢弃。
- Q:准确率怎么持续改进? A:收集错例回流优化识别后处理规则。
10.3.1.1-012 嵌套文档(压缩包、附件、邮件链)怎么解析?
一句话结论
递归展开嵌套结构:压缩包解压、邮件附件与正文分别提取、链接内文档按权限决定是否抓取;保留来源层级关系,防止附件内容脱离上下文孤立入库。
概念解释
- 嵌套层级:压缩包、附件、转发链、内链。
- 归属:附件属于哪封邮件/哪个父文档。
- 权限:外发链接内容需按授权范围抓取。
原理流程
- 解压/展开嵌套容器。
- 逐层提取正文与附件。
- 记录父子归属元数据。
代码 / 图示
容器 → 展开 → 正文/附件分别解析 → 归属链记录(parent, attachment)
常见误区
- 误区:附件只取文件名;正解:附件正文是依据来源,需要解析并挂到父文档下。
- 误区:邮件转发链只保留最新一封;正解:历史上下文可能是理解当前问题的必要依据。
追问
- Q:嵌套层数要不要限制? A:设展开深度与大小上限,避免循环引用与资源耗尽。
- Q:内链网页抓取合规吗? A:按站点授权与 robots/条款处理,不擅自抓取受限内容。
10.3.1.1-013 解析阶段如何保留引用回链所需信息?
一句话结论
从解析起就记录文档标识、页码/章节、表格行列、图号等定位信息;这些元数据随片段进入向量库,生成答案时才能回链到原始位置,而不是只给一段无法追溯的文本。
概念解释
- 定位信息:文档 ID、页码、章节路径、行列、图号。
- 回链:答案引用可定位到原文位置。
- 随片段携带:元数据与片段一起入库。
原理流程
- 解析时记录坐标与层级。
- 切分时把定位信息带到每个块。
- 检索返回时连同元数据回传生成层。
代码 / 图示
解析: doc_id, page, heading_path, table_ref
切分: 元数据随块携带
生成: 引用定位回原文
常见误区
- 误区:回链是生成阶段再加的;正解:定位信息在上游解析阶段就要记录,丢失后无法补。
- 误区:只存文档名不存页码;正解:长文档答案需要定位到具体页/段落。
追问
- Q:HTML 文档怎么定位? A:用章节标题路径、锚点或 DOM 路径作为定位标识。
- Q:定位信息存哪? A:与片段同条目的元数据字段,检索可过滤、答案可回链。
10.3.1.1-014 解析管线如何处理格式异常与损坏文件?
一句话结论
损坏、加密、不支持格式进入失败队列,记录原因与文件标识,不阻塞整批入库;失败文件可人工转换后重跑,管线产出成功/失败/低质三类统计。
概念解释
- 异常类型:损坏、加密、不支持、大小超限。
- 失败队列:可重试、可人工介入。
- 分类统计:成功、失败、低质比例可见。
原理流程
- 逐个尝试解析并捕获异常。
- 失败记录原因,进入队列。
- 批次结束输出分类统计。
代码 / 图示
文件 → 解析 → 成功入库 / 失败排队(原因) / 低质标记
→ 批次统计与重试入口
常见误区
- 误区:一个文件异常中断整批;正解:隔离单文件失败,保证其余文件继续处理。
- 误区:失败文件静默跳过;正解:记录失败原因,避免文档莫名缺失。
追问
- Q:加密文档怎么办? A:按授权解密后进入管线,无权限文件不强行解析。
- Q:大文件怎么防内存问题? A:分章节/分页流式解析,限制单文件处理上限。
10.3.1.1-015 纯文本与富文本材料在解析上有何差异?
一句话结论
纯文本只需编码与断行处理;富文本需要还原结构(标题、列表、表格、链接),结构信息是否保留决定片段能否独立成义;结构化程度越高,切分与过滤越可靠。
概念解释
- 纯文本:无格式标记,段落边界靠空行/换行。
- 富文本:标签/样式携带层级与列表关系。
- 结构保留:标题路径、表格、列表归属。
原理流程
- 判断材料结构化程度。
- 富文本映射结构元素。
- 纯文本补段落边界判断。
代码 / 图示
纯文本: 编码/断行/段落边界
富文本: 标签 → 层级/列表/表格结构
常见误区
- 误区:纯文本不需要边界处理;正解:缺段落边界时切分容易把相邻主题混进一块。
- 误区:富文本只取文字丢弃标签;正解:标签承载的层级与列表关系是重要元数据。
追问
- Q:聊天记录类纯文本怎么处理? A:保留发言人与时间边界,按会话轮次成段。
- Q:结构信息缺失怎么办? A:用规则或模型推断标题层级,并标记推断置信度。
10.3.1.1-016 解析器选型要考察哪些能力?
一句话结论
按语料格式分布考察:版式还原、表格与多栏支持、中文/OCR 能力、批量稳定性、可部署形态与许可;用自有样本集实测各解析器的结构正确率,而不是只看官方宣传。
概念解释
- 能力项:文本提取、版式、表格、OCR、多语言。
- 工程项:批量吞吐、异常处理、部署/许可。
- 验证:自有文档抽样对比。
原理流程
- 统计语料格式与难点分布。
- 准备抽样评测集。
- 对比候选解析器指标后选型。
代码 / 图示
格式分布 → 候选解析器 → 自有样本实测(结构/表格/乱码) → 选型 + 后处理规则
常见误区
- 误区:选一个解析器通吃所有格式;正解:复杂 PDF 与 HTML/MD 常需组合解析器。
- 误区:只看解析速度;正解:内容正确性优先,速度在达标后再比。
追问
- Q:解析器可以替换吗? A:管线抽象解析接口,输出统一结构,便于对比与切换。
- Q:专有格式(CAD、设计文件)怎么办? A:先转成可解析中间格式,无法文本化的另行处理。
10.3.1.1-017 解析后文本为什么要做语义断句/段落还原?
一句话结论
从版式抽取的文本常被硬换行切碎,需要按标点、大小写与段落边界还原成完整句子;片段语义完整才能独立用于检索与生成,碎句会降低召回与答案连贯性。
概念解释
- 硬换行:PDF 行宽造成的断行。
- 句子边界:句号、问号等结束符。
- 段落边界:空行、标题、列表。
原理流程
- 识别软换行并合并。
- 保留硬边界(段落/列表项)。
- 输出完整段落供切分。
代码 / 图示
碎行 → 无结束符且非列表/标题 → 合并; 遇到段落边界 → 成段
常见误区
- 误区:所有换行都保留;正解:行内软换行应还原,否则一句被拆成多块。
- 误区:所有换行都合并;正解:列表项、代码行、标题边界不能合并。
追问
- Q:断句错误影响什么? A:向量表示碎片化,检索召回下降,答案引用位置错乱。
- Q:自动还原有误判怎么办? A:对边界不确定处保留候选结构,切分时按段落而非强行合并。
10.3.1.1-018 多份同主题材料解析时如何避免内容碎片重复?
一句话结论
解析阶段先记录文档标识与版本,重复或同源材料在治理环节去重;同一内容在不同文件出现时保留权威来源副本,其余做引用关联,避免相似块稀释检索排序。
概念解释
- 同源重复:同一文档的导出件、缓存件。
- 相似重复:不同材料的复用段落。
- 权威来源:以现行有效版本为准。
原理流程
- 解析记录来源与版本指纹。
- 治理环节文档级去重。
- 块级相似检测保留权威副本。
代码 / 图示
解析: source_id, version, hash
治理: 文档去重 → 块级相似度 → 保留权威, 关联其余
常见误区
- 误区:解析阶段不记录版本;正解:缺版本信息无法判断哪份是现行有效版本。
- 误区:相似块全部保留;正解:重复块会让同一依据多次命中,干扰排序。
追问
- Q:块级相似度怎么算? A:文本哈希或向量近邻,阈值按语料重复程度调,详见语料治理子页。
- Q:引用复用片段怎么处理? A:保留来源归属,不当作独立权威答案块。
10.3.1.1-019 图片化表格与公式怎么进入文本检索?
一句话结论
图片表格/OCR 后结构化成行记录;公式尽量转成可读文本或保留符号描述,关键公式标注上下文;无法可靠转换的部分以原图引用兜底,不臆造数值。
概念解释
- 图表结构化:行列、数值、单位。
- 公式:符号、变量、上下文含义。
- 兜底:原始图片可回链查看。
原理流程
- OCR/识别提取图内元素。
- 转成结构化文本或描述。
- 保留原图引用,低置信部分标记。
代码 / 图示
图内表格 → 行记录; 公式 → 符号文本 + 变量说明; 低置信 → 原图回链
常见误区
- 误区:公式直接丢弃;正解:专业材料公式常是问题核心,至少保留变量与形式描述。
- 误区:OCR 数值不核对直接入库;正解:数值错误会导致错误答案,关键数值回源核对。
追问
- Q:公式语义怎么检索? A:保留变量名与文字解释,符号本身作为辅助匹配。
- Q:图表答案怎么引用? A:回链到图号/页码,标明数值来自该图。
10.3.1.1-020 解析环节的工程清单是什么?
一句话结论
上线前确认:格式覆盖清单、解析失败队列、噪声清洗规则、结构元数据保留、抽样质量门禁、低质标记与重跑入口;解析管线版本与规则配置可追溯,语料变更后可重放。
概念解释
- 覆盖:支持的格式与已知难点。
- 门禁:质量指标达标才入库。
- 可重放:规则版本固定,能按批次重跑。
原理流程
- 建立格式与解析能力对照。
- 接入失败队列与质量统计。
- 规则版本化,支持批次重跑复核。
代码 / 图示
□ 格式覆盖 □ 失败队列 □ 清洗规则 □ 元数据保留
□ 抽样门禁 □ 低质标记 □ 规则版本与重放
常见误区
- 误区:解析管线一次配置永久不变;正解:新格式与错例回流后要更新规则并回归历史批次。
- 误区:不记录解析规则版本;正解:答案争议时需要复原当时的解析处理方式。
追问
- Q:解析产物存哪里? A:中间产物可留暂存库,最终片段与元数据入检索库,留存策略按存储成本定。
- Q:新格式接入流程? A:先抽样验证解析质量,补清洗规则,再纳入正式管线。