10.3.1.4 语料治理与增量更新
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.3 RAG 检索增强 / 10.3.1 文档处理与切分
10.3.1.4-001 为什么 RAG 语料需要持续治理?
一句话结论
语料会随业务更新、版本失效、重复堆积和权限变更变化;不治理会导致答案引用过期条款、重复依据干扰排序、无权内容混入候选。语料是需要持续维护的数据资产,不是一次性导入。
概念解释
- 变化来源:文档更新、新增、废止、权限调整。
- 风险:过期答案、重复噪声、越权泄露。
- 治理目标:候选集合始终准确、有效、合规。
原理流程
- 跟踪语料变更与状态。
- 去重、失效标记、权限同步。
- 质量抽检与回流修复。
代码 / 图示
语料变更 → 去重/失效/权限同步 → 质量抽检 → 索引更新 → 回归验证
常见误区
- 误区:入库后语料静态不变;正解:制度、产品文档持续修订,过期块必须及时下线。
- 误区:治理只是删重复;正解:版本时效、权限合规与质量复核都是治理范围。
追问
- Q:治理由谁负责? A:业务确认内容有效性,工程负责管线、索引与标签同步。
- Q:治理效果看什么指标? A:过期块占比、重复率、权限错误率、抽检合格率。
10.3.1.4-002 文档级去重如何判断?
一句话结论
用文件哈希、内容指纹比对完全重复;相似文档用文本相似度或向量近邻判断;同源导出件、缓存副本保留一份权威版本,其余关联或删除,避免同一内容多份入库。
概念解释
- 完全重复:字节/文本哈希一致。
- 相似重复:结构或段落高度重合。
- 权威版本:现行有效来源优先保留。
原理流程
- 计算文档指纹。
- 完全重复直接判定。
- 相似候选人工/规则确认后合并。
代码 / 图示
hash 一致 → 完全重复; 相似度超阈值 → 相似候选 → 确认 → 保留权威副本
常见误区
- 误区:按文件名判断重复;正解:同名不同内容、不同名同内容都存在,要按内容指纹。
- 误区:相似文档直接删一份;正解:版本不同或适用范围不同时应分别保留并标版本。
追问
- Q:文本哈希用什么? A:整文档哈希用于完全重复,分块相似度用于段落级重复。
- Q:重复文档元数据怎么保留? A:权威副本带全量来源信息,关联副本记录引用关系。
10.3.1.4-003 块级重复与近重复怎么处理?
一句话结论
同一文档内重叠窗口产生的重复块属正常冗余,跨文档近重复段落按来源保留权威副本;去重时记录块指纹与相似度,避免相似块多次命中抬高同一依据权重。
概念解释
- 块内冗余:overlap 造成的相邻重复。
- 近重复:不同文档复用的同一段落。
- 权重影响:重复命中放大单一来源。
原理流程
- 入库前计算块指纹/相似度。
- 近重复候选归并到权威块。
- 检索结果按块去重展示。
代码 / 图示
块指纹 + 向量近邻 → 近重复归并 → 检索结果按 chunk_id 去重
常见误区
- 误区:重叠产生的相邻块也要删掉;正解:overlap 是切分机制需要,删除会破坏边界上下文。
- 误区:近重复块全部保留增加召回;正解:重复命中干扰排序,还可能让过期版本多次出现。
追问
- Q:相似度阈值怎么定? A:在自有重复样例上标定,区分复用段落与巧合相似。
- Q:法律/合同条款重复出现怎么办? A:按各自适用版本保留,不跨版本归并。
10.3.1.4-004 文档更新后如何做增量索引?
一句话结论
按文件指纹或修改时间检测变更,只对新增/修改文档重跑解析、切分与向量化;更新时先替换或标记旧版本块,再写入新块,检索索引同步刷新,避免新旧版本同时可命中。
概念解释
- 变更检测:指纹、mtime、版本号。
- 增量处理:只重跑变更文档。
- 一致性:旧块失效与新块写入有序衔接。
原理流程
- 对比快照识别变更文档。
- 重跑变更文档管线。
- 旧块失效、新块入库、索引刷新。
代码 / 图示
快照对比 → 新增/修改清单 → 解析切分向量化 → 旧块失效 → 新块写入 → 索引刷新
常见误区
- 误区:文档一改就全量重建索引;正解:全量重建成本高,增量按变更范围处理更现实。
- 误区:新块写入后旧块还保留可命中;正解:未失效的旧块会与新版本竞争召回。
追问
- Q:增量更新如何保证不丢块? A:文档级重建时先列出旧块清单,替换后核对数量与状态。
- Q:检测不到变更怎么办? A:定期全量快照比对兜底,防止时间戳被改动掩盖内容变化。
10.3.1.4-005 版本废止的块如何下线?
一句话结论
文档废止或条款失效时,对应块标记过期状态并从默认候选排除;保留记录供历史追溯,不参与常规问答;下线操作与索引刷新同步,验证废止内容不再被召回。
概念解释
- 失效标记:status=deprecated。
- 排除:默认检索不返回。
- 留存:历史版本可按权限查阅。
原理流程
- 接收废止/过期通知。
- 定位关联块并标记。
- 刷新索引,回归检索确认不再命中。
代码 / 图示
废止文档 → 块 status=deprecated → 索引过滤排除 → 回归: 旧问题不再召回旧块
常见误区
- 误区:废止文档删除文件即可;正解:向量库里的块不清除仍会被检索到。
- 误区:过期块保留在默认候选里降权;正解:废止条款应排除,不能靠低权重放任命中。
追问
- Q:废止时间从哪获取? A:文档生效/失效字段或业务变更通知,不凭猜测。
- Q:历史版本可查怎么做? A:单独标记归档状态,显式选择才进入候选。
10.3.1.4-006 增量重建与全量重建分别适用什么场景?
一句话结论
日常更新走增量,控制成本与延迟;切分规则、Embedding 模型、元数据 schema 发生大变更时需要全量重建,让所有片段按新口径重新生成;两种方式都要有快照对比与回归验证。
概念解释
- 增量:内容变更驱动,范围小。
- 全量:管线/模型/schema 变更驱动。
- 触发:结构口径变化必须全量。
原理流程
- 判断变更类型(内容 vs 管线)。
- 增量更新受影响文档。
- 口径变更时全量重跑并回归。
代码 / 图示
内容更新 → 增量; 切分/嵌入模型/schema 变更 → 全量重建
重建前后: 标注集回归对比
常见误区
- 误区:换了 Embedding 模型只改接口;正解:旧向量与新模型不匹配,必须全量重新向量化。
- 误区:全量重建可以跳过回归;正解:口径变化后必须验证召回与答案质量。
追问
- Q:全量重建窗口怎么安排? A:低峰期分批重建,新旧索引灰度切换,降低中断风险。
- Q:增量能累积出不一致吗? A:能,定期全量对账校验块状态与索引一致。
10.3.1.4-007 语料变更如何与权限调整保持同步?
一句话结论
文档权限变更时同步更新块级权限标签;检索过滤依赖标签一致性,标签滞后会造成越权可查或误拦;权限变更纳入与文档更新同一条同步链路,变更后抽查检索结果。
概念解释
- 权限同步:标签跟随文档 ACL 变更。
- 一致性:标签与实际可见范围一致。
- 抽查:变更后验证可见/不可见对象。
原理流程
- 接收权限变更事件。
- 更新关联块权限标签。
- 索引刷新并抽查两类对象检索结果。
代码 / 图示
ACL 变更 → 块权限标签更新 → 索引刷新 → 抽查: 有权限可见, 无权限不可见
常见误区
- 误区:权限只在应用层控制;正解:检索标签不同步,无权块仍在候选集合中。
- 误区:权限变更不回写旧块;正解:历史入库块标签必须同步更新。
追问
- Q:权限来源系统不可靠怎么办? A:定期对账块标签与源 ACL,差异告警修正。
- Q:批量权限下调怎么处理? A:按文档批次更新标签,更新完成前不放行新检索。
10.3.1.4-008 如何识别并清理低质量语料?
一句话结论
按规则识别乱码、残缺、OCR 低置信、空值关键字段、重复残片;低质块隔离到待处理队列,修复后再入库;定期统计低质比例,推动上游解析与来源改进,而不是让低质内容参与问答。
概念解释
- 低质特征:乱码、残缺、低置信、关键字段缺失。
- 队列:隔离待修复/待删除。
- 上游反馈:解析规则与来源质量改进。
原理流程
- 规则/指标筛出低质块。
- 隔离并记录原因。
- 修复重跑或删除,统计回流上游。
代码 / 图示
低质规则扫描 → 隔离队列(原因) → 修复重跑 / 删除 → 比例统计 → 上游改进
常见误区
- 误区:低质块先留着以后再清;正解:低质片段会产生错误答案与噪声召回。
- 误区:低质只在入库前检查;正解:运行中也按反馈与抽检持续清理。
追问
- Q:怎么判断片段残缺? A:长度异常、句子不完整、标题/正文缺失组合判定。
- Q:低质比例高说明什么? A:解析链路或来源文件有问题,应回上游排查而非单纯删块。
10.3.1.4-009 语料快照与版本基线怎么管理?
一句话结论
为每次入库/重建记录语料快照:文档清单、版本、解析配置、切分参数、Embedding 模型与索引版本;问题复盘时可复原候选集合与生成口径,便于定位是语料、切分还是模型变化导致的回归。
概念解释
- 快照:内容清单与状态。
- 配置基线:管线参数与模型版本。
- 复盘:按快照复原场景。
原理流程
- 批次入库生成快照记录。
- 关联配置与模型版本。
- 问题回放时对照快照定位环节。
代码 / 图示
批次: 文档清单/版本 + 解析/切分配置 + 嵌入模型 + 索引版本
常见误区
- 误区:只记录索引不记录配置;正解:不知道当时切分与模型版本,无法复盘答案差异。
- 误区:快照覆盖旧记录;正解:历史批次应可追溯,不被新批次冲掉。
追问
- Q:快照存哪些元数据? A:文档 ID 与版本、块数量、配置版本、模型标识、入库时间。
- Q:快照保留多久? A:按合规与复盘需要设定,不无限期堆积。
10.3.1.4-010 新增语料接入的标准流程是什么?
一句话结论
新来源走:格式识别 → 解析清洗 → 抽样质量评估 → 元数据打标 → 小批量试入库 → 标注集验证召回与答案 → 批量入库;不直接全量导入未验证的新来源。
概念解释
- 准入:质量与标签达标。
- 试跑:小批量验证管线适配。
- 验证:标注集回归通过再放量。
原理流程
- 识别格式与难点。
- 抽样跑通管线并评估。
- 小批量验证后批量接入。
代码 / 图示
新来源 → 抽样解析 → 质量/标签评估 → 试入库 → 标注集验证 → 批量接入
常见误区
- 误区:新来源直接全量导入;正解:未验证格式可能产生大量低质块。
- 误区:只验证解析能跑通;正解:还要看召回命中率与答案可用性。
追问
- Q:新来源标签词表不匹配怎么办? A:先评审补充词表或映射到现有标签。
- Q:接入后观察什么? A:低质比例、召回表现、用户反馈中的来源错误。
10.3.1.4-011 语料与索引不一致如何对账?
一句话结论
定期比对源文档清单与索引块集合:缺失块、孤儿块(源已删仍在索引)、版本状态不一致;按对账结果补齐、下线或重建,保证索引候选集合与有效语料一致。
概念解释
- 缺失:源有索引无。
- 孤儿:索引有源已失效。
- 状态:版本/权限标签不一致。
原理流程
- 导出源文档与块清单。
- 按 doc_id/版本比对。
- 修复差异并刷新索引。
代码 / 图示
源清单 ⟷ 索引块清单
缺块 → 补建; 孤儿 → 下线; 状态不符 → 修正标签
常见误区
- 误区:增量更新后不需要对账;正解:失败重试、中断写入会留下不一致,需要定期校验。
- 误区:只对账数量;正解:版本与权限标签也要逐条核对。
追问
- Q:对账频率? A:增量链路稳定后周期对账,重大重建后立即对账。
- Q:孤儿块怎么产生? A:文档删除或版本替换时旧块未被标记失效。
10.3.1.4-012 敏感与个人信息在语料侧如何处理?
一句话结论
入库前识别个人信息与敏感字段,按合规要求脱敏、隔离或排除;敏感语料单独控制权限与留存;不把未经处理的个人信息写入可被广泛召回的普通索引。
概念解释
- 识别:PII、密钥、业务机密。
- 处理:脱敏、排除、隔离。
- 留存:最小必要与期限控制。
原理流程
- 扫描敏感模式。
- 按分级处理(脱敏/隔离/排除)。
- 敏感库独立权限控制。
代码 / 图示
敏感扫描 → 脱敏入库 / 隔离专属库 / 排除
访问: 独立权限 + 审计留痕
常见误区
- 误区:敏感信息靠生成层不输出;正解:先在语料层控制,避免进入候选。
- 误区:脱敏后不保留对照;正解:需要还原的场景按授权单独管理,不进普通索引。
追问
- Q:脱敏规则怎么维护? A:模式与字段清单版本化,新敏感类型定期补充。
- Q:用户要求删除个人数据怎么办? A:按数据主体请求定位块并下线删除,记录处理结果。
10.3.1.4-013 语料质量如何用指标持续度量?
一句话结论
度量入库合格率、低质块比例、重复率、标签正确率、过期块占比、召回命中率;指标按批次与来源统计,趋势下滑触发排查;质量指标与检索评测分开看,分别定位是语料问题还是检索问题。
概念解释
- 入库质量:合格率、低质、重复。
- 标签质量:正确率、覆盖率。
- 时效:过期块占比。
原理流程
- 定义语料质量指标口径。
- 按批次/来源采集。
- 趋势监控与异常排查。
代码 / 图示
合格率 / 低质率 / 重复率 / 标签正确率 / 过期占比 / 召回命中
按批次、来源分组监控
常见误区
- 误区:答案不好就调检索参数;正解:先看语料质量指标,低质或过期语料不是检索能救的。
- 误区:指标只看总量;正解:按来源分组才能定位问题文档类别。
追问
- Q:标签正确率怎么测? A:抽样人工核对标签与实际归属。
- Q:指标阈值怎么定? A:基于历史基线与业务容忍度设定,不照搬固定数值。
10.3.1.4-014 历史对话与反馈如何回流为语料?
一句话结论
有效问答可经审核沉淀为 FAQ 或知识片段,错误对话作为评测负例与改进依据;回流内容同样走解析、打标、质量门禁,不把未审核的对话直接写入权威知识库。
概念解释
- 正例沉淀:好问答转 FAQ/片段。
- 负例回流:错误案例进评测集。
- 审核:入库前人工或规则确认。
原理流程
- 收集高质量问答与失败案例。
- 审核归类为知识沉淀或评测样本。
- 走标准入库/入评测集流程。
代码 / 图示
对话 → 审核 → 好问答: 转FAQ入库; 失败案例: 评测负例
常见误区
- 误区:所有用户对话都入库扩充知识;正解:未经审核的回答可能含错误与个人信息。
- 误区:失败案例只记录不利用;正解:应进入评测集防止复发。
追问
- Q:对话中个人信息怎么处理? A:回流前脱敏,不保留可识别身份内容。
- Q:FAQ 片段来源标什么? A:标注为人工沉淀/对话提炼,与原始文档区分可信度。
10.3.1.4-015 语料治理如何纳入发布与变更流程?
一句话结论
语料变更(新增、废止、权限调整、重建)进入发布流程:变更清单、影响范围、回归验证、回滚方案;索引更新与内容变更同步发布,发布后抽查检索结果,保留变更记录可追溯。
概念解释
- 变更清单:本次新增/废止/修改范围。
- 回归:标注集与安全样本验证。
- 回滚:索引/快照可恢复。
原理流程
- 提交语料变更清单。
- 管线更新索引并跑回归。
- 发布抽查,异常按快照回滚。
代码 / 图示
变更清单 → 索引更新 → 回归(召回/安全) → 发布抽查 → 异常回滚快照
常见误区
- 误区:语料更新随时改不用流程;正解:废止与权限错误直接影响答案合规,必须留痕与验证。
- 误区:回滚只回代码不回索引;正解:索引快照也要能恢复到上一有效版本。
追问
- Q:变更影响范围怎么评估? A:按文档关联块与标签统计受影响候选范围。
- Q:发布后抽查哪些问题? A:高频问题召回、权限隔离、废止内容不再命中。
10.3.1.4-016 大语种/多语言语料治理注意什么?
一句话结论
多语言语料标注语言字段,按语言匹配对应 Embedding;翻译件与原文分别标注版本关系,避免跨语言重复误判;术语表与译名一致性纳入语料复核。
概念解释
- 语言字段:块语言标识。
- 版本关系:原文与翻译件关联。
- 一致性:术语译名统一。
原理流程
- 识别块语言并打标。
- 原文/翻译件建立关联。
- 术语一致性抽样复核。
代码 / 图示
lang=zh/en; 翻译件关联 source_doc
术语表: 译名一致检查
常见误区
- 误区:多语言混在一个库用同一嵌入;正解:语言不匹配会降低跨语言召回质量。
- 误区:翻译件当独立原文重复入库;正解:应与原文关联,标注翻译版本。
追问
- Q:跨语言检索要不要支持? A:按需选择多语言嵌入模型,能力以模型官方文档为准。
- Q:译名冲突怎么发现? A:术语表对照同一概念的不同译名,归并到标准译法。
10.3.1.4-017 语料留存与删除策略如何制定?
一句话结论
按合规要求与业务价值设定留存期限:权威文档长期留存,临时产物、过期版本、个人信息到期下线;删除请求定位到文档与块级记录执行,并验证索引中不可召回。
概念解释
- 留存分级:长期/限期/临时。
- 删除范围:源文件、块、向量、关联快照。
- 验证:删除后检索不可命中。
原理流程
- 分级制定留存策略。
- 到期自动/人工下线。
- 删除后对账验证不可召回。
代码 / 图示
留存分级 → 到期下线 → 删除源/块/向量/关联 → 对账验证
常见误区
- 误区:删掉文件就算删除完成;正解:向量库与索引中的残留块仍需清除。
- 误区:所有材料无限期留存;正解:个人信息与临时内容超期留存存在合规风险。
追问
- Q:删除需要保留日志吗? A:记录删除对象、时间、执行人,满足审计要求。
- Q:归档版本可恢复吗? A:归档介质与在线索引分开,恢复需走授权流程。
10.3.1.4-018 治理中如何区分语料问题与检索问题?
一句话结论
同一失败案例先查候选块:正确依据是否在索引中、标签是否正确、版本是否有效;依据缺失或错误归语料治理,依据在但没召回归检索/嵌入问题;分层归因避免参数调错方向。
概念解释
- 语料归因:缺块、错标签、过期、低质。
- 检索归因:嵌入、召回、排序、过滤配置。
- 分层排查:先语料后检索。
原理流程
- 回放问题应命中的来源。
- 核对索引中块状态与标签。
- 区分语料缺陷与检索缺陷再改进。
代码 / 图示
错题 → 依据在索引? 否: 语料问题; 是: 标签/版本? 否: 语料; 是: 检索/嵌入问题
常见误区
- 误区:召回低就换模型调参数;正解:上游缺块或过期时调检索无法解决。
- 误区:把答案错误都记为语料问题;正解:依据充分但排序靠后属于检索链路问题。
追问
- Q:归因记录在哪? A:评测样本标注错误类型,回流到对应治理或检索优化环节。
- Q:两类问题都存在怎么办? A:先修语料基线,再评估检索配置。
10.3.1.4-019 语料治理的自动化清单是什么?
一句话结论
自动化覆盖:变更检测、指纹去重、低质规则扫描、标签校验、过期标记、索引对账、批次快照;人工保留:争议标签、新来源准入、敏感复核;自动规则定期由人工错例回流更新。
概念解释
- 自动项:可规则化的检测与标记。
- 人工项:判断性与高风险复核。
- 回流:人工修正反哺自动规则。
原理流程
- 规则化检测接入管线。
- 争议与高风险转人工队列。
- 错例回流优化规则。
代码 / 图示
自动: 去重/低质/标签/过期/对账/快照
人工: 争议标签/新来源/敏感复核
常见误区
- 误区:治理全靠人工定期翻文档;正解:规模上来后必须自动化检测,人工只处理判断项。
- 误区:自动规则建好不更新;正解:新错例类型需要持续补充规则。
追问
- Q:自动标记误报怎么办? A:人工复核队列反馈修正规则,降低误报率。
- Q:自动对账频率? A:增量链路每日/每批对账,全量周期对账兜底。
10.3.1.4-020 语料治理落地清单是什么?
一句话结论
清单:来源准入流程、去重与近重复规则、版本失效下线、增量与全量重建策略、权限标签同步、敏感信息处理、质量指标与对账、快照回滚、变更发布流程;每项有负责人、指标与记录。
概念解释
- 准入:新来源验证。
- 维护:去重、时效、权限、敏感。
- 运营:指标、对账、快照、流程。
原理流程
- 建立治理规则与负责人。
- 接入自动化检测与对账。
- 指标监控,变更走发布流程。
代码 / 图示
□ 来源准入 □ 去重规则 □ 版本下线 □ 增量/全量策略
□ 权限同步 □ 敏感处理 □ 指标对账 □ 快照回滚 □ 变更流程
常见误区
- 误区:治理集中在上线前一次清理;正解:语料持续变化,治理是常态化运营环节。
- 误区:治理职责不清没人跟踪;正解:内容有效性归业务,管线与索引归工程,边界明确。
追问
- Q:治理优先级怎么排? A:先处理过期、越权、低质高风险项,再优化重复与标签细节。
- Q:治理成效如何向业务说明? A:用过期块下降、召回命中提升、误拦/漏召减少等指标汇报。