罗罗编程学习记录
本页内容 展开查看

10.3.1.2 切分策略与块大小

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.3 RAG 检索增强 / 10.3.1 文档处理与切分

10.3.1.2-001 为什么要对文档切分?块(chunk)是什么?

一句话结论

块是入库与检索的基本片段单元;向量模型与上下文窗口都有长度限制,整块文档无法直接检索与喂给模型,需要切成语义相对完整、大小可控的块,并携带来源元数据。

概念解释

  • 块:一段可独立检索的文本片段。
  • 限制:Embedding 最大长度、上下文窗口、检索精度都受块大小影响。
  • 完整性:块内应尽量包含完整概念与上下文。

原理流程

  1. 解析得到结构化文本。
  2. 按结构与长度规则切块。
  3. 块连同元数据向量化入库。

代码 / 图示

长文档 → 语义边界切块 → chunk(文本 + 元数据) → 向量化 → 入库

常见误区

  • 误区:块越小检索越准;正解:过小块语义残缺,命中后仍缺依据。
  • 误区:切分只看字符数;正解:语义边界优先,长度只是上限约束。

追问

  • Q:块是检索最小单位吗? A:向量检索以块为单位,rerank 与父块机制可在块之外补充上下文。
  • Q:一个块可以跨段落吗? A:可以,但应保持主题一致,避免混合多个子主题。

10.3.1.2-002 结构切分与固定长度切分有什么区别?

一句话结论

结构切分按标题、段落、列表、表格等自然边界切分,保留主题归属;固定长度切分按 token/字符数硬切,实现简单但容易切断句子与语义;生产中通常先结构切分、超长块再按长度二次切。

概念解释

  • 结构切分:沿文档层级与段落边界。
  • 固定切分:按累计长度阈值切。
  • 混合:结构优先,长度兜底。

原理流程

  1. 识别标题/段落/列表边界。
  2. 结构成块;超长块再二次切。
  3. 过短块与相邻同主题块合并。

代码 / 图示

标题/段落边界 → 结构块; 块超阈值 → 按句子二次切; 过短 → 合并同主题相邻块

常见误区

  • 误区:纯固定长度切分最可控;正解:硬切会把句子、表格、代码拦腰截断。
  • 误区:结构切分不用考虑长度;正解:长段落、长表格仍需要长度二次切分。

追问

  • Q:Markdown 文档适合哪种? A:标题与列表结构清晰,优先结构切分,代码块整体保留。
  • Q:无结构纯文本怎么办? A:按段落与句子边界切,配合长度阈值。

10.3.1.2-003 块大小怎么选?太大和太小各有什么问题?

一句话结论

块太大:单块主题混杂、向量表示被稀释、命中后噪声多且占用上下文;块太小:语义残缺、缺乏上下文、检索命中后仍答不全;大小应按文档类型与问答形式实测调优,没有通用固定值。

概念解释

  • 过大:主题混合、向量不聚焦、上下文成本高。
  • 过小:片段孤立、依据不足。
  • 权衡:召回精度与片段完整性之间取舍。

原理流程

  1. 按任务类型初选块大小区间。
  2. 在标注集上对比不同块大小的召回与答案质量。
  3. 选定默认值并按文档类型调整。

代码 / 图示

块大 → 噪声多/向量稀释; 块小 → 语义残缺
实测: 召回率 + 答案完整度 → 选平衡点

常见误区

  • 误区:块大小照抄别人的经验值;正解:语料结构与问题类型不同,必须自有样本实测。
  • 误区:块越大答案越完整;正解:过大块引入无关内容,反而干扰生成。

追问

  • Q:块大小用字符还是 token 计? A:建议按 token 计,与 Embedding 最大长度和上下文口径一致。
  • Q:不同文档类型用同一大小吗? A:制度条款与 FAQ 适合小块,综述类段落可稍大,按类型配置。

10.3.1.2-004 重叠窗口(overlap)起什么作用?

一句话结论

相邻块保留一段重叠文本,降低概念在边界被切断的概率,让跨块信息仍能被命中;重叠比例按块大小设置,过高会增加冗余与重复召回,需要权衡。

概念解释

  • 重叠:相邻块首尾共享一段文本。
  • 作用:边界概念不孤立。
  • 代价:冗余存储、重复命中。

原理流程

  1. 切块时记录上一块尾部文本。
  2. 下一块起始带入重叠部分。
  3. 检索去重时识别重叠重复内容。

代码 / 图示

块1: [....A....B]  块2: [B....C]  (B 为重叠段)

常见误区

  • 误区:重叠越大越好;正解:重叠过高导致块内容高度相似,浪费存储并干扰排序。
  • 误区:重叠可以替代语义完整切分;正解:重叠只是边界兜底,不能靠它弥补结构切分缺陷。

追问

  • Q:重叠按什么单位算? A:按 token 或句子个数,跨句子边界取整句,避免切断句子。
  • Q:重叠内容在答案引用时怎么处理? A:去重展示,引用定位到权威来源块。

10.3.1.2-005 句子边界与段落边界如何配合切分?

一句话结论

优先在段落边界成块,块内按句子累计长度;必须二次切分时在句子边界断开,不在句子中间截断;列表项、表格行作为不可拆分的最小单元。

概念解释

  • 段落边界:主题转换点。
  • 句子边界:最小可断行单位。
  • 不可拆单元:列表项、表格行、代码语句。

原理流程

  1. 段落入候选块。
  2. 超长按句子累加。
  3. 句子超限再在合适子边界处理。

代码 / 图示

段落 → 句子累加进块 → 超段落边界停; 超长 → 句子边界切; 列表/表格行不拆

常见误区

  • 误区:按字符数随时切断;正解:句子中间断开会产生残缺表达。
  • 误区:列表项可以拆到两个块;正解:列表项归属同一主题,拆开后条目失去上下文。

追问

  • Q:单个句子就超长怎么办? A:在从句/标点边界合理断句,并保留归属标题。
  • Q:段落很短要不要合并? A:同主题相邻短段可合并,跨主题不合并。

10.3.1.2-006 父子块(parent-child chunk)是什么,解决什么问题?

一句话结论

子块用于精准向量检索,父块(更大的段落/章节)在命中后喂给模型提供完整上下文;解决「小块召回准但上下文不足、大块上下文全但检索不准」的矛盾。

概念解释

  • 子块:小粒度,Embedding 与检索。
  • 父块:大粒度,生成时拼装。
  • 关联:子块携带父块标识,命中后取父块。

原理流程

  1. 同时生成父子两级片段。
  2. 向量索引挂子块。
  3. 命中子块后按关联取父块内容进入上下文。

代码 / 图示

章节(父) → 段落/句子(子, 入向量库)
命中子块 → 回取父块 → 组装上下文

常见误区

  • 误区:父子块是两种独立切分方案;正解:二者配合,分别承担检索与上下文职责。
  • 误区:父块越大越好;正解:父块仍受上下文窗口限制,需控制层级大小。

追问

  • Q:父子块怎么关联? A:子块记录父块 ID 与层级路径,父块文本存于普通存储或索引。
  • Q:父子方案成本如何? A:存储两份片段,换取检索精度与上下文完整度,按任务价值决定。

10.3.1.2-007 表格、代码块、列表如何单独切分?

一句话结论

表格按行/行组成块并保留表头,代码块按函数/逻辑单元整体保留,列表按条目归属成组;这些结构单元不参与普通句子硬切,避免破坏可检索性与可执行性。

概念解释

  • 表格:行 + 表头列名。
  • 代码:函数/类/逻辑段。
  • 列表:条目 + 所属标题。

原理流程

  1. 识别结构单元边界。
  2. 按单元生成块。
  3. 超长单元内部按结构二次拆,保留表头/签名。

代码 / 图示

表格: 表头 + 行组; 代码: 函数整体; 列表: 条目组挂标题

常见误区

  • 误区:表格当普通段落切;正解:脱离表头的数值行无法理解。
  • 误区:代码按行硬切;正解:函数签名与实现分离后片段不可用。

追问

  • Q:代码块很长怎么办? A:按函数/类拆,每个块保留函数签名与所属文件路径。
  • Q:列表条目很多怎么切? A:按主题分组,保留列表标题与编号上下文。

10.3.1.2-008 标题层级信息如何带到块上?

一句话结论

每个块携带所属标题路径(如章 > 节 > 小节),让孤立块也能看出主题归属;标题路径既作为元数据过滤,也可拼入块文本提升向量表示的上下文完整度。

概念解释

  • 层级路径:块所属的各级标题。
  • 用途:过滤、归类、补充块内上下文。
  • 两种用法:元数据字段 / 拼入正文前缀。

原理流程

  1. 解析时建立标题树。
  2. 切块时记录路径。
  3. 需要时把标题前缀拼到块文本。

代码 / 示例

块文本前缀: "第三章 > 安装部署 > 环境要求"
元数据: heading_path = [...]

常见误区

  • 误区:块在小节中间就不需要标题;正解:脱离章节标题后块的对象范围可能不清。
  • 误区:标题只存文档名;正解:多级路径才能定位子主题。

追问

  • Q:标题拼入正文会增加长度吗? A:会,控制路径层级长度,必要时只拼最近两级。
  • Q:标题路径能用于检索过滤吗? A:能,按章节、产品模块过滤候选范围。

10.3.1.2-009 切分如何保留问答所需的上下文(定义、前提、适用条件)?

一句话结论

概念定义、适用前提、约束条件常与例子分处相邻段落,切分时把相关前提与结论归到同一块;对定义类问答,可在切块时保留紧邻的说明段,避免只检索到结论句而缺少条件。

概念解释

  • 上下文要素:定义、前提、条件、例外、示例。
  • 归并:相邻且解释同一概念的段落成组。
  • 风险:结论句孤立导致答案过度泛化。

原理流程

  1. 识别概念及其支撑段落。
  2. 同概念段落组合成块。
  3. 例外/约束随结论保留。

代码 / 图示

定义段 + 前提段 + 示例段 → 同一块
结论句不脱离适用条件单独成块

常见误区

  • 误区:每个句子独立成块最精确;正解:缺少前提的结论块会被误用在不适用场景。
  • 误区:示例必须与定义分块;正解:短示例可随定义保留,长示例再独立成块。

追问

  • Q:前提散落在文档开头怎么办? A:通过标题层级与引用关系归并,或在生成阶段补充章节上下文。
  • Q:怎么判断一块上下文是否足够? A:用只看该块能否回答对应问题来检验。

10.3.1.2-010 块大小与 Embedding 最大长度是什么关系?

一句话结论

块长度必须小于所用 Embedding 模型的最大输入长度,超长部分会被截断导致信息丢失;选型时按模型上限预留余量,块大小默认值低于上限,避免边界样本被截。

概念解释

  • 最大长度:Embedding 可处理的 token 上限。
  • 截断:超长内容被丢弃,向量只反映前半部分。
  • 余量:为标题前缀、元数据文本预留空间。

原理流程

  1. 确认嵌入模型长度上限。
  2. 块大小设定在上限以下并留余量。
  3. 超长块先二次切分再向量化。

代码 / 图示

块 token 数 < Embedding 最大长度 - 标题前缀余量
超限块 → 先切分, 不直接截断向量化

常见误区

  • 误区:超长按 Embedding 自动截断就行;正解:截断后后半内容不可检索,属于静默丢失。
  • 误区:块大小贴着上限设;正解:标题、重叠与波动会占长度,应留余量。

追问

  • Q:不同嵌入模型上限不同怎么办? A:切换模型时复核块大小配置,长度上限以官方文档为准。
  • Q:超长块怎么兜底? A:二次切分后各自入库,父块关系保留以便补全上下文。

10.3.1.2-011 短块与重复块怎么合并或处理?

一句话结论

过短块(标题残片、单句碎片)与同主题相邻块合并;重复块按来源去重保留权威副本;无法归并的残片标记低质,不单独入库稀释检索结果。

概念解释

  • 短块:信息不足、向量表示弱。
  • 重复块:同源复制、重叠冗余。
  • 处理:合并、去重、标记三选一。

原理流程

  1. 统计块长度与相似度。
  2. 同主题短块合并。
  3. 重复块保留权威版本,残片标记。

代码 / 图示

短块 → 找同主题相邻块合并; 重复块 → 权威副本; 残片 → 标记不入库

常见误区

  • 误区:所有短块都强行合并;正解:跨主题短块不能合并,应标记或独立保留。
  • 误区:重复块都保留以增加命中;正解:重复块干扰排序,还会放大同一来源权重。

追问

  • Q:相似度阈值怎么定? A:在自有语料上按重复样例标定,过高漏去重、过低误合并。
  • Q:合并后块超限怎么办? A:合并到长度上限为止,其余保留为关联块。

10.3.1.2-012 结构化文档(制度、手册、FAQ)分别适合什么切分?

一句话结论

制度条款按条目成块、保留条款编号与适用范围;手册按章节任务步骤成块;FAQ 以一问一答为天然块并保留所属主题;不同体裁的语义边界不同,不能用同一套长度规则硬套。

概念解释

  • 制度:条款编号、适用对象、例外。
  • 手册:步骤、前置条件、操作对象。
  • FAQ:问题与答案成对。

原理流程

  1. 按体裁识别天然单元。
  2. 以单元为基础成块。
  3. 长度超限再按单元内部结构拆。

代码 / 图示

制度: 条款块(编号+范围); 手册: 任务步骤块; FAQ: 问答对块

常见误区

  • 误区:FAQ 问题和答案分开入库;正解:分离后答案块缺少问题语境,检索对象不清。
  • 误区:制度条款按长度切断;正解:条款编号与适用范围必须完整保留。

追问

  • Q:手册步骤跨多个块怎么办? A:保留步骤序号与父任务标题,命中后可串联前后步骤。
  • Q:FAQ 一题多问怎么拆? A:按子问题分块,挂同一主题元数据。

10.3.1.2-013 切分策略如何在标注集上评估?

一句话结论

构造「问题 → 应命中块」标注集,对比不同切分方案的召回命中率、命中块上下文完整度与最终答案质量;块大小、重叠、父子方案都在同一标注集上对照,用结果而非直觉选型。

概念解释

  • 标注对象:每个问题对应的正确来源块/段落。
  • 指标:命中、上下文完整、答案可用。
  • 对照:多方案同批跑。

原理流程

  1. 标注问题与应命中片段。
  2. 跑不同切分配置检索。
  3. 对比命中与答案质量后选型。

代码 / 图示

标注集(问题→正确块) → 方案A/B/C 检索 → 命中率 + 完整度 + 答案质量 → 选型

常见误区

  • 误区:切分好坏靠上线后感觉;正解:离线标注集可重复对比,改动前后结果可比。
  • 误区:只看向量命中不看答案;正解:命中但上下文不足同样算失败。

追问

  • Q:标注集规模多大起步? A:覆盖高频问题与典型体裁,规模随迭代扩充。
  • Q:切分改动后要回归什么? A:重跑标注集召回,确认没有块结构劣化。

10.3.1.2-014 重叠与父子块是否同时使用?

一句话结论

二者解决不同问题:重叠防止边界切断,父子解决检索精度与上下文完整度的矛盾;可以叠加使用,但会增加存储与处理复杂度,按任务对上下文完整性的要求决定是否上父子方案。

概念解释

  • 重叠:块边界冗余。
  • 父子:两级粒度关联。
  • 叠加成本:多份片段、关联维护。

原理流程

  1. 默认结构切分 + 适度重叠。
  2. 上下文不足场景引入父子块。
  3. 评估额外存储与收益后定方案。

代码 / 图示

基础: 结构切分 + overlap
增强: 父子块关联
成本: 存储/索引复杂度上升, 按任务价值开启

常见误区

  • 误区:用了父子块就不需要重叠;正解:子块边界切断问题仍可能存在。
  • 误区:所有场景都上父子;正解:简单 FAQ 类小块场景收益有限,增加维护成本。

追问

  • Q:父子块层级设几级? A:通常两级(子块 + 父段落),层级过多检索与组装都复杂。
  • Q:存储成本怎么估算? A:父子两份片段 + 关联索引,按语料规模测算后决定。

10.3.1.2-015 切分块的元数据字段至少应包含哪些?

一句话结论

至少包含:文档 ID、来源路径/标题、页码或定位标识、标题层级路径、块序号、版本/时间;结构类型(段落/表格/代码/FAQ)与权限标签按需补充,支撑过滤、排序与引用回链。

概念解释

  • 来源定位:doc_id、page/anchor、heading_path。
  • 版本:版本号、生效时间。
  • 治理:类型、权限、状态。

原理流程

  1. 定义块元数据结构。
  2. 解析/切分时填充字段。
  3. 入库时随块持久化。

代码 / 示例

{
  "doc_id": "...",
  "heading_path": ["...", "..."],
  "page": 12,
  "chunk_index": 3,
  "version": "v2",
  "type": "paragraph"
}

常见误区

  • 误区:元数据只存文档名;正解:缺页码与层级路径,答案无法回链定位。
  • 误区:权限元数据后置补;正解:权限标签必须随块入库,检索阶段就要过滤。

追问

  • Q:元数据参与检索吗? A:可作为过滤条件与排序因子,向量相似度之外的补充约束。
  • Q:字段缺失怎么办? A:关键字段缺失的块标记复核,不默认放行入库。

10.3.1.2-016 如何避免切分把同一主题的内容打散到多处?

一句话结论

切块前先按标题与段落建立主题归属,同主题内容优先成组;跨块引用的内容通过标题路径与父子关联补全;对综述类长文,按小节边界而不是固定字数切分。

概念解释

  • 主题归属:标题树 + 段落关系。
  • 成组:同概念段落不拆散。
  • 补全:关联块在生成时拼装。

原理流程

  1. 建立文档结构树。
  2. 主题内成块,边界落在小节处。
  3. 跨块依赖用关联关系补齐。

代码 / 图示

结构树 → 小节边界切块 → 同概念段落成组 → 跨块内容关联补全

常见误区

  • 误区:固定字数切分天然保持主题;正解:字数边界常落在主题中间。
  • 误区:打散后靠检索分别命中;正解:一次问答可能需要相邻两块,分别召回不一定都进上下文。

追问

  • Q:一段内容横跨两个主题怎么办? A:按主题分界拆,各自挂对应标题,不强行归属一边。
  • Q:怎么检测主题打散? A:抽样让人工判断块内是否单一主题,统计混杂块比例。

10.3.1.2-017 多文档拼接入库时,块之间如何避免串味?

一句话结论

不同文档的块不跨文档拼接,块内保留来源标识;合并语料时按文档独立切块,相似但不同来源的内容分别保留,避免一块里混入两个产品/制度的表述造成答案混淆。

概念解释

  • 跨文档拼接:不同来源段落被并进同一块。
  • 来源隔离:切块边界不跨文档。
  • 混淆风险:相近概念来自不同主体时答案张冠李戴。

原理流程

  1. 逐文档独立切分。
  2. 块带 doc_id 与来源元数据。
  3. 检索结果按来源分组展示。

代码 / 图示

文档 A 切块 → 独立成库; 文档 B 切块 → 独立成库
块内不跨文档拼接; 检索按来源过滤

常见误区

  • 误区:短块可以跨文档合并凑长度;正解:跨文档合并会丢失来源边界,造成主体混淆。
  • 误区:相似产品文档合并成一个库即可;正解:必须保留产品/版本元数据过滤。

追问

  • Q:多租户语料怎么隔离? A:块带租户/权限标识,检索前强制过滤,详见元数据与权限子页。
  • Q:跨文档对照类问题怎么支持? A:分别召回相关块,生成阶段明确区分来源。

10.3.1.2-018 切分参数(大小、重叠)如何按语料类型配置化?

一句话结论

把块大小、重叠、结构优先级做成按文档类型/目录生效的配置,不同体裁套用不同参数集;配置随管线版本化,语料调整后可重放验证,不把参数写死在代码里。

概念解释

  • 参数集:块大小、重叠比例、合并阈值。
  • 适用范围:按目录、类型、来源匹配。
  • 版本化:配置变更可追溯、可回滚。

原理流程

  1. 定义类型 → 参数映射。
  2. 入库前按类型选配置。
  3. 配置变更重跑标注集回归。

代码 / 示例

faq:
  chunk: "question_answer"
overlap:
  default: 0.1
manual:
  chunk: "section_step"

常见误区

  • 误区:全库一套块大小参数;正解:体裁差异大时统一参数必然顾此失彼。
  • 误区:参数调整不留记录;正解:争议复现时需要知道当时切分配置。

追问

  • Q:配置存在哪? A:与管线配置同版本管理,入库批次记录所用配置版本。
  • Q:新增文档类型怎么配参数? A:先按近似类型起步,标注集验证后微调固化。

10.3.1.2-019 切分环节常见失败模式有哪些?

一句话结论

典型失败:句子被硬切断、表格丢表头、代码拦腰截断、标题路径丢失、短残片入块、跨文档拼接、重叠冗余过高;每种都对应可检测的规则或抽样指标,上线前逐项排查。

概念解释

  • 结构破坏:句子/表格/代码被切断。
  • 上下文丢失:标题、来源缺失。
  • 冗余混杂:重复块、跨主题块。

原理流程

  1. 按失败模式列检查规则。
  2. 自动校验 + 抽样人工核对。
  3. 发现问题回切分环节修复重跑。

代码 / 图示

检查: 句界/表头/代码完整/标题路径/块长/相似度/来源边界
不合格 → 回退切分配置 → 重跑入库

常见误区

  • 误区:检索召回低才是切分问题;正解:结构破坏、上下文丢失在生成阶段才暴露,上游更难定位。
  • 误区:失败模式只靠人工抽样;正解:边界、长度、表头完整性可先做规则自动校验。

追问

  • Q:怎么统计结构破坏比例? A:抽样标记切断句、丢表头、代码不完整的块占比。
  • Q:切分修复后要重建索引吗? A:要,块文本与元数据变化后需重新向量化入库。

10.3.1.2-020 切分落地清单是什么?

一句话结论

落地清单:结构边界识别、块大小与重叠配置、不可拆单元保护、标题路径与定位元数据、短块重复块处理、按类型参数化、标注集评估、变更后重建回归;每一步有规则与指标可核对。

概念解释

  • 规则层:边界、单元、合并去重。
  • 数据层:元数据、版本、配置。
  • 验证层:标注集回归、抽样核对。

原理流程

  1. 按体裁配置切分规则。
  2. 生成块并填充元数据。
  3. 标注集评估,变更后重建索引回归。

代码 / 图示

□ 结构识别  □ 大小/重叠配置  □ 结构单元保护  □ 元数据路径
□ 短块/重复处理  □ 类型参数化  □ 标注集评估  □ 重建回归

常见误区

  • 误区:切分是一次性预处理;正解:语料与任务变化后,切分参数需要重新评估。
  • 误区:只验证向量命中;正解:还要检查块上下文完整度与答案可追溯性。

追问

  • Q:切分改动影响哪些下游? A:向量索引、元数据过滤、引用回链都要随之重建核对。
  • Q:新接入一类文档先做什么? A:抽样跑切分规则,检查结构破坏与块完整性,再批量入库。