10.3.1.3 元数据抽取与结构化
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.3 RAG 检索增强 / 10.3.1 文档处理与切分
10.3.1.3-001 RAG 里元数据起什么作用?
一句话结论
元数据是块之外的结构化字段,支撑检索前过滤(时间、来源、权限、产品)、结果排序与答案引用回链;纯向量文本检索无法表达这些约束,结构化元数据是精确过滤与合规控制的基础。
概念解释
- 过滤字段:来源、时间、版本、产品、权限标签。
- 排序因子:来源优先级、时效性、权威等级。
- 回链:定位到文档、章节、页码。
原理流程
- 定义块级元数据结构。
- 解析与抽取阶段填充字段。
- 检索时先按元数据过滤,再做向量/关键词召回。
代码 / 图示
块文本 + 元数据(来源/时间/权限/标签)
检索: 元数据过滤 → 向量/关键词召回 → 排序 → 回链定位
常见误区
- 误区:元数据只是展示用的附属信息;正解:权限与时间过滤必须在检索层生效,不能靠生成阶段忽略。
- 误区:所有约束都靠向量相似度表达;正解:精确的归属与权限过滤应走结构化字段。
追问
- Q:元数据和块文本是什么关系? A:文本负责语义相似,元数据负责结构化约束,两者互补。
- Q:缺少元数据的块能入库吗? A:关键过滤字段缺失应标记复核,避免检索时无法正确过滤。
10.3.1.3-002 元数据字段通常分哪几类?
一句话结论
分为来源定位类(文档 ID、路径、页码、章节)、治理类(版本、生效时间、状态)、业务标签类(产品、部门、主题)、安全类(权限、密级、租户),以及结构类(块类型、序号、父子关联)。
概念解释
- 来源定位:回链与溯源。
- 治理:版本时效与生命周期。
- 业务与安全:归属、可见范围。
- 结构:块组织关系。
原理流程
- 按用途划分字段类别。
- 明确每个字段的取值来源与格式。
- 随块持久化到检索库。
代码 / 示例
来源: doc_id, path, page, heading_path
治理: version, effective_at, status
业务: product, dept, topic
安全: tenant, permission_label, classification
结构: type, chunk_index, parent_id
常见误区
- 误区:元数据字段越多越好;正解:无法稳定填充的字段会形成空值噪声,字段要与检索用途对应。
- 误区:权限字段放生成层判断;正解:权限标签必须在检索前过滤,越权内容不能进入候选。
追问
- Q:字段取值从哪来? A:文件名/路径、文档头、表格、模型抽取或人工标注,按字段定来源。
- Q:字段格式要统一吗? A:要,枚举值与日期格式规范化,否则过滤条件匹配不上。
10.3.1.3-003 标题层级路径如何抽取并用于检索?
一句话结论
从文档结构树提取块所属的各级标题形成路径字符串;既作为元数据过滤与归类,也可拼入块文本改善上下文表示;路径保留从根到当前小节的层级关系。
概念解释
- 结构树:标题按缩进/样式形成层级。
- 路径:各级标题顺序拼接。
- 用法:过滤、展示、文本前缀。
原理流程
- 解析标题层级。
- 切块时记录当前路径。
- 写入元数据并按需拼入正文。
代码 / 示例
heading_path: ["产品手册", "安装", "环境要求"]
常见误区
- 误区:只存当前小节标题;正解:缺上级路径时块的产品与大主题归属不清。
- 误区:标题路径拼全文进向量;正解:层级过长稀释块语义,按需拼接最近几级。
追问
- Q:标题层级识别错误怎么办? A:规则解析 + 抽样校验,模型辅助推断的部分标记置信度。
- Q:路径能做目录导航吗? A:能,结合 toc 与标题路径可定位章节位置。
10.3.1.3-004 文档生效时间与版本元数据怎么管理?
一句话结论
记录文档版本号、生效时间、过期状态;检索优先命中现行有效版本,过期版本不进候选或单独标记;版本变更后旧块标记失效,避免答案引用已废止条款。
概念解释
- 版本:文档修订标识。
- 时效:生效/失效时间。
- 状态:现行、草稿、废止。
原理流程
- 入库时写入版本与时间字段。
- 更新版本时标记旧块失效。
- 检索按状态与时间过滤。
代码 / 图示
version, effective_at, expired_at, status=active|draft|deprecated
检索: status=active 优先; 过期块排除候选
常见误区
- 误区:新旧版本块混在一起检索;正解:废止内容被命中会给出过期答案。
- 误区:只在文档级记版本;正解:块也要带版本,重建前后块可区分。
追问
- Q:历史版本需要保留可查吗? A:按合规要求留存,但默认不进入问答候选,查看需显式选择。
- Q:版本时间缺失怎么办? A:标记为待确认,不默认为现行有效。
10.3.1.3-005 权限与密级元数据如何支撑安全检索?
一句话结论
块携带租户、部门、角色、密级等权限标签;检索在召回前按当前用户身份过滤候选,生成层不再接触无权内容;权限字段在入库时标注,检索过滤强制生效,不能依赖模型自觉排除。
概念解释
- 权限标签:租户、部门、角色、密级。
- 前置过滤:候选集合先收敛到可见范围。
- 强制:代码层过滤,不交给提示约束。
原理流程
- 文档/块分级打标。
- 检索请求带用户身份。
- 过滤条件在向量/关键词召回前生效。
代码 / 图示
块: tenant_id, dept, roles, classification
检索: WHERE 权限标签匹配用户身份 → 再召回
常见误区
- 误区:提示模型不要回答无权内容即可;正解:无权内容进入候选就存在泄露风险,必须前置过滤。
- 误区:权限只打到文档级;正解:文档内不同章节密级不同时,块级打标更准确。
追问
- Q:权限标签怎么更新? A:随文档权限变更同步重建对应块标签,记录变更时间。
- Q:跨部门共享文档怎么标? A:按可见部门列表打多值标签,检索做交集匹配。
10.3.1.3-006 业务标签(产品、主题、部门)如何抽取?
一句话结论
能从路径、文件名、文档头规则匹配的用规则;规则覆盖不到的用模型抽取并人工校验;标签取值走受控词表,避免同义不同写导致过滤漏召;标签质量纳入抽样检查。
概念解释
- 规则抽取:路径、编号、标题匹配。
- 模型抽取:正文归纳标签。
- 受控词表:统一枚举取值。
原理流程
- 定义标签词表与取值规则。
- 规则优先匹配。
- 模型补抽 + 抽检校正。
代码 / 图示
路径/文件名 → 规则标签; 正文 → 模型抽取候选 → 词表归一 → 抽检
常见误区
- 误区:自由文本当标签字段过滤;正解:同义不同写会漏匹配,标签必须归一到词表。
- 误区:模型抽取标签直接信任;正解:抽取有误时按比例人工校验,错误标签会错过滤。
追问
- Q:一篇文档多个标签怎么处理? A:多值标签,检索取交集或按主标签归类,按需配置。
- Q:新主题标签怎么进词表? A:评审后纳入受控词表,旧标签映射到新值。
10.3.1.3-007 结构化抽取(实体、字段)有哪些方式?
一句话结论
结构化抽取分规则模板(正则、表头映射)、模型抽取(命名实体、字段填充)、人工标注三类;确定性字段优先规则,开放实体用模型并给置信度,关键业务字段人工复核;抽取结果写入固定 schema。
概念解释
- 规则:可枚举、格式固定的字段。
- 模型:开放实体、关系抽取。
- 置信度:模型结果的可信程度。
原理流程
- 定义目标字段 schema。
- 规则能覆盖的走规则。
- 模型补抽,低置信转人工。
代码 / 示例
{ "entity": "北京", "type": "city", "confidence": 0.92, "source": "model" }
常见误区
- 误区:所有字段都让模型抽;正解:格式固定字段规则更稳更便宜。
- 误区:抽取结果不标来源;正解:规则与模型来源不同,复核优先级不同。
追问
- Q:模型抽取字段错误影响什么? A:错误标签导致过滤错配或答案引用错误实体。
- Q:抽取 schema 演进怎么办? A:字段变更版本化,旧数据回填或标记兼容范围。
10.3.1.3-008 表格结构化后元数据怎么挂到行上?
一句话结论
每一行记录携带表名、表头列、行列定位与所属文档;行内字段名随记录保留,检索命中行后可回链到表格位置;宽表按行成块时列名不丢失。
概念解释
- 行记录:表格一行转成的结构化片段。
- 定位:表名、行号、列名。
- 上下文:所属章节与标题路径。
原理流程
- 解析表格表头与行。
- 每行生成带列名的记录。
- 挂表名、行列定位与章节元数据。
代码 / 示例
row: { 城市: 北京, 人口: "...", 面积: "..." }
meta: table_name, row_no, heading_path, doc_id
常见误区
- 误区:表格行只存单元格值;正解:缺列名的数值无法理解字段含义。
- 误区:表名只在表级存一次;正解:行块脱离表后仍需表名与列名上下文。
追问
- Q:合并单元格怎么填? A:向下/向右填充归属值,并记录合并范围。
- Q:表格答案怎么引用? A:回链表名与行号,答案注明数据来源表。
10.3.1.3-009 引用回链元数据需要精确到什么粒度?
一句话结论
按问题需要分级:文档级用于粗定位,章节/页级用于常见问答,段落/表格行/图号级用于精确引用;回链粒度在解析阶段就要可获取,生成答案时按块携带的定位字段组装引用。
概念解释
- 粒度:文档 > 章节 > 页 > 段落/行/图。
- 可获取性:上游记录坐标与编号。
- 引用:答案附来源定位。
原理流程
- 解析时保留各级定位信息。
- 块携带对应粒度字段。
- 生成答案时输出可点击/可追溯引用。
代码 / 图示
doc_id → chapter → page → paragraph/row/figure
块携带定位字段 → 答案引用回链
常见误区
- 误区:回链到文档首页就够;正解:长文档用户需要核对具体段落,粗定位无法核验。
- 误区:生成阶段再补页码;正解:解析时没记录位置,事后无法补精确回链。
追问
- Q:HTML 用什么定位? A:章节标题路径或锚点/DOM 路径。
- Q:引用粒度受什么限制? A:解析能力与文档格式,扫描件只能定位到页级时如实标注。
10.3.1.3-010 元数据 schema 如何设计与演进?
一句话结论
schema 明确字段名、类型、取值枚举、是否必填与来源;新增字段向后兼容,旧数据按需回填;schema 版本随管线管理,检索过滤条件与字段定义保持一致。
概念解释
- 定义:类型、枚举、必填、来源。
- 兼容:新字段不破坏旧记录。
- 版本:schema 变更可追溯。
原理流程
- 评审字段用途与取值范围。
- 入库校验 schema 完整性。
- 演进时兼容旧记录并回填。
代码 / 示例
fields:
product: { type: enum, required: true, source: rule }
effective_at: { type: datetime, required: false }
常见误区
- 误区:字段随意追加不校验;正解:类型与枚举不一致会让过滤与聚合失效。
- 误区:schema 变更不通知检索侧;正解:过滤条件依赖字段定义,变更需同步下游。
追问
- Q:必填字段缺失怎么处理? A:入库前拦截或标记待补,不静默生成空值。
- Q:旧记录缺新字段怎么办? A:按兼容策略填默认值或回填,记录回填批次。
10.3.1.3-011 多来源材料如何标记来源可信度?
一句话结论
按来源类型(官方文档、制度、社区、用户提交)标注权威等级;检索排序时可信来源优先,答案引用标明出处;可信度标签在入库时打标,排序策略结合相似度与来源等级。
概念解释
- 来源等级:官方、内部、第三方、用户生成。
- 排序因子:等级加权。
- 透明:答案标注来源类型。
原理流程
- 定义来源分级规则。
- 块携带来源等级字段。
- 召回后按等级与相似度综合排序。
代码 / 图示
source_level: official / internal / third_party / user_generated
排序: 相似度 + 来源等级加权
常见误区
- 误区:所有来源一视同仁;正解:制度问答以官方条款为准,社区内容只能参考。
- 误区:可信度靠模型判断;正解:来源类型应在入库时按规则打标。
追问
- Q:同一问题多来源冲突怎么办? A:高等级来源优先,答案注明分歧,不以相似度压倒权威来源。
- Q:用户提交内容怎么标? A:低可信度标签,进入候选前审核或隔离。
10.3.1.3-012 元数据如何参与检索过滤与排序?
一句话结论
过滤(权限、状态、产品、时间)在召回前收敛候选范围;排序因子(来源等级、时效性、块类型)在召回后与向量分结合;两类用法分开配置,避免把过滤条件写成排序加权导致越权或过期内容混入。
概念解释
- 过滤:硬约束,不满足排除。
- 排序:软权重,影响先后。
- 分离:安全与时效类必须过滤。
原理流程
- 硬约束字段进入过滤条件。
- 软权重字段进入排序表达式。
- 检索结果携带元数据回传。
代码 / 图示
过滤: tenant, status=active, product=X
排序: score = vector_sim + w1*source_level + w2*recency
常见误区
- 误区:权限只做排序降权;正解:无权内容必须过滤排除,降权仍可能进入上下文。
- 误区:所有元数据都加权排序;正解:硬约束过滤与软排序不能混用。
追问
- Q:排序权重怎么定? A:在标注集上对比不同权重的答案质量,按任务调参。
- Q:元数据缺失对过滤有什么影响? A:缺失记录可能被排除或误入候选,关键字段必须补齐。
10.3.1.3-013 文档内结构关系(父子、引用)如何结构化记录?
一句话结论
记录块的父子层级、相邻块关系与文档内引用指向;生成时可沿关系补全上下文,引用可跳转;关系标识在解析阶段建立,随块入库维护。
概念解释
- 父子:章节/段落/块层级。
- 相邻:前后块序号。
- 引用:块指向的其他段落/图表。
原理流程
- 解析结构树与交叉引用。
- 写入 parent_id、chunk_index、ref 字段。
- 检索后按需取关联块补全。
代码 / 示例
{ "parent_id": "...", "prev_id": "...", "next_id": "...", "refs": ["fig:3"] }
常见误区
- 误区:块之间完全独立无关联;正解:步骤、定义与例子跨块时需要关系补全。
- 误区:引用关系生成阶段再解析;正解:上游没记录指向,生成时无法跳转。
追问
- Q:相邻块要一起喂给模型吗? A:命中边界块时补前后一块,按上下文预算决定。
- Q:跨文档引用怎么记? A:记录目标文档与定位,权限校验随目标块一起做。
10.3.1.3-014 抽取质量如何校验与回流?
一句话结论
抽样核对字段正确率、标签覆盖率与归一化一致性;错误样例回流优化规则与抽取提示,模型抽取记录置信度分布;元数据质量指标纳入入库门禁,不达标批次退回修正。
概念解释
- 指标:字段正确率、空值率、标签一致率。
- 回流:错例优化规则/模型。
- 门禁:质量不达标不入库。
原理流程
- 抽样人工核对元数据。
- 统计错误类型与比例。
- 回流修正并复核批次。
代码 / 图示
抽样 → 字段正确率/空值率/一致率 → 错例回流 → 规则/提示优化 → 复核
常见误区
- 误区:元数据抽取不需要评测;正解:错误标签直接导致检索错配,质量必须可度量。
- 误区:只查模型抽取字段;正解:规则字段也要核对路径匹配是否正确。
追问
- Q:抽样比例怎么定? A:新来源/新模型比例高,稳定后降低,按错误率调整。
- Q:抽取错误如何修复存量? A:定位受影响批次,回填修正后重建对应索引。
10.3.1.3-015 原始文档与片段如何留存对应关系?
一句话结论
每个片段可回溯到原始文件与解析批次;原文留存用于复核、重跑与引用展示;片段删除或重建时能从原文重新生成,不依赖人工记忆还原。
概念解释
- 溯源:片段 → 原文文件。
- 批次:解析配置与时间。
- 重放:按原文与规则重建片段。
原理流程
- 入库记录原文标识与批次。
- 原文按留存策略保存。
- 片段异常时从原文重跑管线。
代码 / 图示
chunk → source_file_id → parse_batch, config_version
原文留存 → 可重放生成新片段
常见误区
- 误区:片段入库后原文即可丢弃;正解:解析规则更新或片段损坏时需要原文重建。
- 误区:只存片段不存批次;正解:无法复原当时的解析与切分配置。
追问
- Q:原文留存成本高怎么办? A:按合规与复核需要分级留存,临时产物可设保留期限。
- Q:片段与原文不一致怎么排查? A:对照批次配置重跑,定位解析或切分差异。
10.3.1.3-016 标签空值与歧义值怎么处理?
一句话结论
能规则判定的不留空;无法确定的标签标记为待确认,不猜填;歧义多值场景保留候选值与置信度;空值字段不参与精确匹配过滤,避免漏召或误纳。
概念解释
- 空值:字段未抽取到。
- 歧义:多个候选归属。
- 策略:不臆断,标记待确认。
原理流程
- 规则优先填充。
- 不确定写入待确认状态。
- 检索时空值字段按策略处理。
代码 / 图示
确定 → 填值; 不确定 → status=pending, 候选列表; 空值 → 不参与强匹配
常见误区
- 误区:缺标签时给个默认值凑齐;正解:默认值会错误过滤,比空值更危险。
- 误区:歧义标签取第一个候选;正解:多候选保留,人工或规则裁定后归一。
追问
- Q:待确认标签什么时候补齐? A:排期人工/规则复核,补齐前在检索策略上保守处理。
- Q:空值块会不会漏召? A:会,所以关键字段缺失优先补全,而不是放任入库。
10.3.1.3-017 元数据在多租户场景下怎么隔离?
一句话结论
块带租户标识,检索条件强制带租户过滤;跨租户共享内容用显式共享标签,默认互不可见;元数据写入与检索两侧都校验租户归属,防止共享配置错配导致串租户。
概念解释
- 租户标识:块所属租户。
- 强制过滤:请求必带租户条件。
- 共享:显式标记可跨租户访问。
原理流程
- 入库标注租户与共享范围。
- 检索构造强制过滤条件。
- 共享内容单独打标并复核。
代码 / 图示
chunk.tenant_id; 检索 WHERE tenant_id = :tenant OR shared=true
常见误区
- 误区:应用层不返回别的租户就安全;正解:候选集合必须在检索层隔离。
- 误区:共享标签批量放开;正解:共享范围逐条明确,避免默认扩大可见性。
追问
- Q:租户标识从哪来? A:来源文档归属与上传流程确定,不允许模型推断。
- Q:元数据变更如何防止越权? A:标签修改走权限校验流程,记录变更人与时间。
10.3.1.3-018 结构化字段如何服务于答案引用与展示?
一句话结论
答案列出引用时回带文档标题、章节、页码/定位与来源等级;这些信息直接取自块元数据,生成层不编造出处;展示层按元数据格式化引用列表,用户可核验依据。
概念解释
- 引用要素:标题、定位、来源、时间。
- 不编造:出处来自候选块元数据。
- 格式化:展示层统一渲染。
原理流程
- 候选块携带引用元数据。
- 生成答案标注引用编号。
- 展示层按元数据渲染来源条目。
代码 / 图示
答案: "依据[1] ..."
[1] 标题 / 章节 / 页码 / 来源等级 / 版本时间
常见误区
- 误区:让模型自由描述出处;正解:模型可能编造文档名,引用必须取自元数据。
- 误区:只给文档名不给定位;正解:用户核验需要章节/页码粒度。
追问
- Q:引用多个来源怎么排序? A:按答案出现顺序或来源等级,配置固定规则。
- Q:元数据缺定位怎么展示? A:如实展示到可用粒度并标注,不补造页码。
10.3.1.3-019 抽取与标注的工程清单是什么?
一句话结论
清单:schema 定义、字段来源与规则、受控词表、置信度与待确认状态、抽样质量门禁、错例回流、变更回填、溯源批次记录;字段用途与检索过滤条件一一对应。
概念解释
- 定义层:schema 与词表。
- 执行层:规则/模型/人工。
- 治理层:质量、回流、回填、溯源。
原理流程
- 定 schema 与词表。
- 分来源抽取并校验。
- 质量门禁 + 回流迭代 + 批次留存。
代码 / 图示
□ schema/词表 □ 规则优先 □ 置信度/待确认 □ 抽样门禁
□ 错例回流 □ 变更回填 □ 溯源批次记录
常见误区
- 误区:先把文本入库再补元数据;正解:权限与关键过滤字段后置补容易遗漏,应随块入库。
- 误区:标注流程无记录;正解:抽取规则与批次要可追溯,支持问题复盘。
追问
- Q:标注工作分工? A:规则与 schema 由工程定,业务词表与争议标签由业务确认。
- Q:新增一个过滤字段流程? A:先改 schema 与回填策略,再更新检索过滤,最后重建对应索引。
10.3.1.3-020 元数据与向量文本如何配合工作?
一句话结论
向量文本解决「语义相近」,元数据解决「归属、权限、时效、定位」;检索链路是元数据过滤收敛范围 → 向量/关键词召回 → 元数据排序加权 → 携带元数据回链;两者职责清晰,互不替代。
概念解释
- 向量:语义相似度。
- 元数据:结构化约束与定位。
- 配合:先过滤后召回,排序结合。
原理流程
- 块同时写文本向量与元数据。
- 查询构造过滤条件与语义向量。
- 召回结果带元数据进入生成与引用。
代码 / 图示
过滤(元数据) → 召回(向量+关键词) → 排序(相似度+元数据) → 回链(元数据)
常见误区
- 误区:向量检索能替代元数据过滤;正解:相似度无法表达精确权限与版本约束。
- 误区:元数据字段塞大段自由文本;正解:自由文本应进块正文,元数据保持结构化取值。
追问
- Q:元数据过滤过严导致漏召怎么办? A:检查标签覆盖率与取值归一,避免标签错误收紧范围。
- Q:下一步衔接哪个环节? A:Embedding 与向量库选型、混合检索与 rerank,见 10.3.2 各子页。