10.3.1 文档处理与切分
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.3 RAG 检索增强
这个知识域解决什么问题
RAG 回答质量的上限在进入向量库之前就已经决定:文档解析丢不丢版式、清洗去不去噪、切分有没有切断语义、元数据能不能支撑过滤与引用。本知识域主线:多格式文档解析与清洗 → 切分策略与块大小权衡 → 元数据抽取与结构化 → 语料治理与增量更新。检索侧的 Embedding、混合检索与评测见 10.3.2 检索与增强。
知识地图
原始语料(PDF/Word/HTML/表格/代码)
→ 解析与格式清洗(1)
→ 切分策略与块大小(2)
→ 元数据抽取与结构化(3)
→ 语料治理与增量更新(4)
子主题
| 编号 | 子主题 | 核心内容 | 题数 |
|---|---|---|---|
| 10.3.1.1 | 文档解析与格式清洗 | PDF/扫描件 OCR、Word/HTML/表格解析、版式保留、噪声清洗、重复与乱码处理 | 20 |
| 10.3.1.2 | 切分策略与块大小 | 结构切分、固定 token 切分、重叠窗口、父子块、表格代码切分、块大小权衡 | 20 |
| 10.3.1.3 | 元数据抽取与结构化 | 来源/标题/页码/时间/权限元数据、层级保留、标签与过滤字段、引用回链 | 20 |
| 10.3.1.4 | 语料治理与增量更新 | 去重、版本过期、增量重建、变更检测、语料质量门禁、权限与合规标注 | 20 |
合计 80 题。 每题按「一句话结论 → 概念解释 → 原理流程 → 代码/图示 → 常见误区 → 追问(带答案)」组织;解析工具与格式能力以对应库的当前版本为准。
学习路径
先 1 摸清不同格式的解析损耗与清洗要点,再 2 理解切分粒度对召回与上下文的影响,然后 3 设计支撑过滤和引用的元数据结构,最后 4 把语料当作可维护的数据资产做增量治理。
自检
- [ ] 能说出 PDF 文本层与扫描件两条解析链路的差异和典型损耗
- [ ] 能按文档结构选择切分方式,并说明块过大/过小的具体后果
- [ ] 能设计一套元数据字段,支撑时间、来源、权限过滤与答案引用回链
- [ ] 能规划语料增量更新流程:变更检测、重建范围、过期标记与回归验证