罗罗编程学习记录
本页内容 展开查看

10.6.1.1 RAG 全链路落地

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.6 AI 全栈场景题 / 10.6.1 AI 全栈场景

10.6.1.1-001 设计企业知识库问答:完整链路由哪些组件组成?

一句话结论

链路:文档接入与解析 → 清洗结构化 → 切分 → embedding 入库 → 查询改写与混合检索 → rerank → 片段拼装与权限过滤 → 生成带引用回答 → 引用校验与反馈回流。组件职责分层,检索与生成可独立调优。

概念解释

  • 离线链路:文档到索引。
  • 在线链路:提问到回答。
  • 反馈回流:错题与点击进入迭代。

原理流程

  1. 离线解析切分建库。
  2. 在线检索证据后生成。
  3. 结果校验并回流样本。

代码 / 图示

文档 → 解析 → 清洗 → 切分 → embedding → 向量库
提问 → 改写 → 混合检索 → rerank → 权限过滤 → 拼装 → 生成(带引用) → 校验

常见误区

  • 误区:链路只有「向量化 + 提问检索 + 生成」三步;正解:权限、引用校验与回流是生产链路必备环节。
  • 误区:检索与生成绑定调优;正解:分层评测可分别定位检索缺失与生成误用。

追问

  • Q:离线链路多久跑一次? 答:按文档更新频率做增量同步,见 10.6.1.1-007。
  • Q:各环节指标? 答:见 10.6.1.1-005 与 10.6.1.4 在线监控。

10.6.1.1-002 需求分析阶段要明确哪些业务口径?

一句话结论

明确:可回答范围与不可回答边界、用户角色与可访问文档范围、期望答案形态(引用原文/摘要/多文档汇总)、更新时效、回答语言与合规要求;口径写入需求与验收标准,避免上线后反复调整检索和生成策略。

概念解释

  • 范围边界:能答与拒答。
  • 角色权限:文档可见范围。
  • 答案形态:引用/摘要/汇总。

原理流程

  1. 访谈业务与用户角色。
  2. 定义可答范围与答案形态。
  3. 形成验收口径并评审。

代码 / 图示

范围 + 角色权限 + 答案形态 + 时效 + 语言 + 合规 → 验收标准

常见误区

  • 误区:先搭检索再说业务边界;正解:边界不清会导致越权回答与拒答口径混乱。
  • 误区:默认所有问题都要长篇回答;正解:不同任务答案形态不同,需按场景定义。

追问

  • Q:范围外问题怎么处理? 答:明确拒答口径与引导通道,见 10.6.1.1-008。
  • Q:权限口径从哪来? 答:对接现有文档系统的角色与部门权限体系。

10.6.1.1-003 文档接入与解析要覆盖哪些格式和噪声?

一句话结论

覆盖:PDF、Word、网页、表格、图片扫描件、邮件与工单导出;解析时处理页眉页脚、目录、表格结构、图文混排、重复片段与编码问题;解析结果保留标题层级与来源定位;解析质量直接决定后续检索命中。

概念解释

  • 格式覆盖:多来源文档。
  • 噪声清洗:页眉页脚与重复。
  • 结构保留:标题与定位。

原理流程

  1. 按格式选择解析器。
  2. 清洗噪声并保留结构。
  3. 抽样校验解析质量。

代码 / 图示

原始文档 → 解析器 → 标题层级/表格/定位 → 清洗去噪 → 校验入库

常见误区

  • 误区:文本抽取出来即可入库;正解:表格、扫描件与层级结构丢失会破坏答案依据。
  • 误区:所有格式共用一套解析;正解:不同格式需要专门处理与抽样校验。

追问

  • Q:扫描件怎么处理? 答:OCR 识别并校验准确率,低质量页面标记人工处理。
  • Q:解析产物带什么元数据? 答:来源、标题层级、页码/段落定位、更新时间。

10.6.1.1-004 切分策略如何与文档类型匹配?

一句话结论

按结构优先:按标题、段落、条目切分;长段落按语义与固定长度补充切分;保留重叠上下文与元数据;问答类文档保留完整问答对;表格按行或表块保留;块大小与重叠按检索评测调整,不套用固定经验值。

概念解释

  • 结构切分:标题段落条目。
  • 补充切分:长度与语义边界。
  • 重叠保留:上下文连贯。

原理流程

  1. 识别文档结构层级。
  2. 结构块优先切分。
  3. 评测调整块大小与重叠。

代码 / 图示

标题 → 段落/条目 → 超长段落语义切分
块: 内容 + 标题路径 + 来源定位 + 重叠上下文

常见误区

  • 误区:所有文档按固定字符数硬切;正解:切断条款或问答对会破坏完整性。
  • 误区:重叠上下文不需要;正解:边界片段信息不完整会降低命中与答案质量。

追问

  • Q:切分参数怎么调? 答:用检索评测对比块大小/重叠对 Recall@k 与答案质量的影响。
  • Q:元数据带什么? 答:标题路径、文档版本、权限标签与更新时间。

10.6.1.1-005 检索质量如何度量,关键指标有哪些?

一句话结论

检索层看 Recall@k(正确证据是否进入前 k)、MRR/NDCG(正确证据排名);生成层看忠实度、事实正确率与引用支撑;端到端看答案可用率;分层归因,检索差先优化语料与检索,证据到位仍错归生成;指标定义与阈值按任务设定。

概念解释

  • 召回:证据是否找得到。
  • 排名:证据排得是否靠前。
  • 忠实度:答案是否基于证据。

原理流程

  1. 标注正确证据与合格答案。
  2. 分层计算检索与生成指标。
  3. 错题归因到环节修复。

代码 / 图示

Recall@k · MRR · NDCG(检索)
忠实度 · 事实正确 · 引用支撑(生成)
答案可用率(端到端)

常见误区

  • 误区:只看端到端答案好坏;正解:不分层无法判断改语料、检索还是提示。
  • 误区:Recall 够了就不用管排名;正解:证据排在后面可能进不了拼装上下文。

追问

  • Q:k 怎么定? 答:按上下文预算与评测表现对比不同 k 的指标与成本。
  • Q:引用正确率怎么判? 答:逐条核对引用来源是否支撑对应结论。

10.6.1.1-006 查询改写与检索扩展解决什么问题?

一句话结论

把用户口语、指代与省略改写为可检索的完整查询;必要时生成多个检索角度(同义、相关概念)扩大召回;改写结果保留原始意图,不引入无关方向;多轮对话结合历史消解指代;改写效果用检索指标对比验证。

概念解释

  • 指代消解:结合历史补全。
  • 同义扩展:多检索角度。
  • 意图保持:改写不跑偏。

原理流程

  1. 结合会话历史理解意图。
  2. 生成改写查询与扩展角度。
  3. 多路检索合并去重。

代码 / 图示

用户消息 + 历史 → 查询改写 → 同义/相关角度 → 多路检索 → 合并去重

常见误区

  • 误区:改写越详细越好;正解:过度扩展引入无关片段,稀释上下文。
  • 误区:忽略多轮指代;正解:「这个方案」等指代不补全会检索错误文档。

追问

  • Q:改写失败怎么办? 答:保留原始查询兜底检索,不依赖改写结果。
  • Q:多路结果如何合并? 答:按分数与来源去重,rerank 统一排序。

10.6.1.1-007 文档增量更新与索引一致性如何保证?

一句话结论

文档变更触发增量解析与重新切分入库,旧版本片段标记失效;删除文档同步移除或标记不可检索;记录文档版本与索引更新时间;检索结果标注版本时间;更新链路失败可重试并记录积压;避免新旧片段同时被召回造成答案矛盾。

概念解释

  • 增量同步:变更片段更新。
  • 版本失效:旧片段下线。
  • 一致性:检索不到已删内容。

原理流程

  1. 监听文档变更事件。
  2. 增量解析重建对应片段。
  3. 旧版本失效并校验一致性。

代码 / 图示

文档变更 → 重新解析切分 → 新版本入库 → 旧版本失效
删除 → 标记不可检索; 失败重试 + 积压监控

常见误区

  • 误区:全量重建频繁跑;正解:增量更新降低成本,但要保证失效同步。
  • 误区:删除文档后片段仍可命中;正解:未下线旧片段会返回过期甚至错误依据。

追问

  • Q:更新失败怎么发现? 答:监控索引积压与版本时间,抽样核对文档状态。
  • Q:片段带版本号吗? 答:带文档版本与更新时间,答案可标注时效。

10.6.1.1-008 证据不足或超出范围时如何回答?

一句话结论

检索不到合格证据或证据与问题无关时,明确说明依据不足并给出引导(查阅入口/转人工);不允许模型凭参数知识补全业务事实;拒答口径在提示与输出校验中固化;证据不足的样本进入评测集跟踪拒答正确率。

概念解释

  • 证据门槛:合格片段不足。
  • 拒答口径:说明与引导。
  • 禁止编造:不补业务事实。

原理流程

  1. 评估检索证据相关性。
  2. 不足时走拒答模板。
  3. 拒答样本纳入回归评测。

代码 / 图示

证据不足/无关 → "未找到可靠依据" + 引导通道
不调用参数记忆补全业务答案

常见误区

  • 误区:模型回答得流畅就算可用;正解:无依据流畅回答属于幻觉,风险更高。
  • 误区:拒答统一一句话;正解:可区分无证据、超范围与权限不足三种口径。

追问

  • Q:权限不足怎么表达? 答:说明无访问权限与申请通道,不泄露文档存在与否的细节。
  • Q:拒答率高怎么分析? 答:区分检索缺失与生成不敢答,分别优化。

10.6.1.1-009 带引用回答如何落地引用格式与校验?

一句话结论

回答结论后标注来源编号,映射到具体文档片段定位;生成后校验:每个关键结论有引用、引用片段真实存在、引用内容支撑结论;引用不可支撑时重写或拒答;前端展示来源可回溯;引用与结论一致性纳入评测。

概念解释

  • 引用映射:结论到片段定位。
  • 支撑校验:证据是否对应。
  • 可回溯:用户可查看来源。

原理流程

  1. 拼装片段时分配引用编号。
  2. 生成回答带编号标注。
  3. 后置校验引用支撑关系。

代码 / 图示

片段[1][2] → 回答结论标注[1]
校验: 片段存在 + 内容支撑结论

常见误区

  • 误区:附上文档名就算引用;正解:需定位到片段并核对支撑关系。
  • 误区:引用格式交给自由生成;正解:格式与映射需要约束和后置校验。

追问

  • Q:多文档汇总怎么引用? 答:分结论标注各自来源,不混用编号。
  • Q:引用校验失败怎么办? 答:去掉无支撑结论,仍不足则拒答。

10.6.1.1-010 知识库权限隔离如何在检索链路实现?

一句话结论

片段携带角色/部门/密级标签;检索时先按用户权限过滤再排序;生成链路不传入无权片段;权限校验在检索与拼装两侧重复确认;越权样本纳入安全评测;权限体系对接文档源系统,不另造一套可见性逻辑。

概念解释

  • 权限标签:角色部门密级。
  • 过滤前置:先过滤再检索。
  • 双侧校验:检索与拼装复核。

原理流程

  1. 入库时写入权限标签。
  2. 查询按身份过滤候选。
  3. 拼装前复核片段权限。

代码 / 图示

片段: 内容 + 权限标签
查询: 用户身份 → 权限过滤 → 排序 → 拼装前复核

常见误区

  • 误区:只在前端隐藏无权文档;正解:检索层必须过滤,否则片段进入上下文可能被复述。
  • 误区:向量库检索后再过滤就够;正解:两侧校验防止标签错误与越权混入。

追问

  • Q:部门调整后权限怎么同步? 答:源系统权限变更同步更新标签,索引失效重建。
  • Q:权限不足样本怎么评测? 答:构造无权问题,期望不返回受限片段与结论。

10.6.1.1-011 混合检索(向量 + 关键词)如何组合?

一句话结论

向量检索覆盖语义相近,关键词检索覆盖精确术语、编号与专有名词;两路结果合并去重后由 rerank 统一排序;权重与融合方式按评测调整;纯向量对型号、编号类精确词召回不足,纯关键词对同义表达弱,互补使用。

概念解释

  • 语义检索:意思相近。
  • 关键词检索:精确匹配。
  • 融合排序:合并后重排。

原理流程

  1. 两路并行检索。
  2. 结果合并去重。
  3. rerank 综合排序。

代码 / 图示

embedding 近邻 ┐
              ├→ 合并去重 → rerank → top-k
关键词倒排   ┘

常见误区

  • 误区:只做向量检索;正解:编号、术语、型号精确匹配常依赖关键词通道。
  • 误区:两路分数直接相加;正解:不同尺度分数需按融合策略归一化,方案细节以所用检索组件为准。

追问

  • Q:rerank 解决什么? 答:对候选片段做精排,提升正确证据排名,见 10.3.2.4。
  • Q:融合效果怎么验证? 答:对比单路与混合的 Recall@k 与答案可用率。

10.6.1.1-012 一个方案落地时如何安排上线节奏?

一句话结论

先离线评测固定基线,再小范围灰度(特定部门/问题类型),收集反馈与错误样本,达标后逐步放量;灰度期保留人工兜底与回滚通道;上线后持续监控检索与答案指标;每次语料或模型变更重新跑离线回归。

概念解释

  • 离线基线:发布前门禁。
  • 灰度放量:分范围验证。
  • 回滚通道:异常可退回。

原理流程

  1. 离线评测达标。
  2. 小范围灰度观察。
  3. 达标放量,异常回滚。

代码 / 图示

离线评测 → 灰度(部门/场景) → 反馈回流 → 放量 → 持续监控
回滚: 旧版本/人工兜底

常见误区

  • 误区:评测通过直接全量;正解:真实分布与边界场景需要灰度验证。
  • 误区:灰度只看成功率;正解:拒答率、引用正确率与用户反馈同样要观察。

追问

  • Q:灰度对照怎么设计? 答:见 10.6.1.4 灰度对照与样本分流。
  • Q:放量门槛有哪些? 答:答案可用率、引用正确率、拒答与越权指标达标。

10.6.1.1-013 常见 RAG 错题类型如何分类归因?

一句话结论

分为:检索未召回(语料缺失/切分/embedding)、召回但排名靠后(rerank/关键词)、证据混入无关片段、生成遗漏证据、生成超出证据(幻觉)、引用错配、权限标签错误;每类对应不同修复环节;错题归因后进入回归集。

概念解释

  • 检索类:找得到/排得前。
  • 生成类:用得对/不编造。
  • 引用类:映射与支撑。

原理流程

  1. 回放检索片段与生成回答。
  2. 按类型归因。
  3. 修复对应环节并固化样本。

代码 / 图示

未召回 → 语料/切分/embedding
排名差 → rerank/关键词
幻觉/遗漏 → 生成约束
引用错配 → 引用校验

常见误区

  • 误区:错题一律换模型;正解:多数问题在检索与语料层,换模型不解决证据缺失。
  • 误区:归因只记「回答不好」;正解:类型不清就无法定位修复环节。

追问

  • Q:错题样本怎么复用? 答:脱敏后进入离线评测回归集,防止复现。
  • Q:多轮错题怎么回放? 答:保留会话上下文与检索轨迹,完整复现失败路径。

10.6.1.1-014 多轮对话中 RAG 上下文如何组织?

一句话结论

每轮结合历史消解指代后重新检索;历史按摘要与关键槽位压缩进入上下文,避免无限累积;当前问题的证据优先拼装;历史结论不替代本轮证据;多轮状态(已确认事实、待办)单独维护,不全部塞回提示。

概念解释

  • 每轮检索:指代消解后查新证据。
  • 历史压缩:摘要与槽位留存。
  • 状态分离:会话状态独立存储。

原理流程

  1. 结合历史理解当前问题。
  2. 本轮检索新证据。
  3. 压缩历史后拼装上下文。

代码 / 图示

历史(摘要+槽位) + 本轮证据 → 生成
历史结论不作为本轮事实依据

常见误区

  • 误区:把整段历史都塞入上下文;正解:历史膨胀增加成本并稀释本轮证据。
  • 误区:沿用第一轮检索结果;正解:话题转移后需要重新检索。

追问

  • Q:历史摘要放哪? 答:系统/会话状态区,与本轮证据分区标注。
  • Q:上下文超预算怎么办? 答:淘汰早期历史,保留当前任务与关键槽位。

10.6.1.1-015 表格与结构化数据如何进入 RAG?

一句话结论

表格保留行列结构,按行或表块切分并保留表头上下文;结构化数据(数据库/接口)可通过检索或工具查询补充;表格答案引用定位到表与行;纯文本切分破坏表格时单独校验;数值类问题必要时走结构化查询而非向量检索。

概念解释

  • 结构保留:表头与行列关系。
  • 行块切分:可定位可比对。
  • 结构化查询:数值计算走工具。

原理流程

  1. 识别表格结构并保留表头。
  2. 行块入库带定位。
  3. 数值问题走结构化查询。

代码 / 图示

表格 → 表头 + 行块(定位) → 检索
数值汇总/对比 → 接口/数据库工具查询

常见误区

  • 误区:表格转纯文本后切分;正解:行列关系丢失会导致数字与列错配。
  • 误区:向量检索替代数值计算;正解:汇总、排序等计算应走结构化查询工具。

追问

  • Q:跨表关联怎么处理? 答:通过结构化工具按条件查询,不依赖片段拼接。
  • Q:表格引用怎么展示? 答:标注表名与行定位,必要时回显原表片段。

10.6.1.1-016 RAG 链路的成本构成与优化点是什么?

一句话结论

成本:embedding 计算与向量库存储、检索与 rerank 调用、生成输入(片段条数与长度)与输出 token;优化:片段条数预算、rerank 只对候选精排、缓存高频查询、压缩历史;按环节归集用量,优化对照检索与答案指标,不牺牲质量砍片段。

概念解释

  • 索引成本:embedding 与存储。
  • 在线成本:检索/rerank/生成。
  • 优化对照:质量指标同步看。

原理流程

  1. 归集各环节用量。
  2. 找占比高的环节优化。
  3. 优化后对比质量指标。

代码 / 图示

embedding/存储 + 检索/rerank + 输入片段 + 输出 token
优化: 片段预算 · rerank 候选量 · 查询缓存 · 历史压缩

常见误区

  • 误区:只压缩生成输出;正解:输入片段与 rerank 候选量常是更大成本项。
  • 误区:减少片段不影响质量;正解:片段不足会降低 Recall,需评测确认。

追问

  • Q:rerank 成本怎么控制? 答:只对向量/关键词候选做精排,候选数量按评测标定。
  • Q:哪些查询可缓存? 答:稳定知识类高频问题,动态状态问题不缓存。

10.6.1.1-017 如何向业务方说明 RAG 方案的效果与边界?

一句话结论

用可解释指标说明:答案可用率、引用正确率、拒答与越权情况、典型错题类型;明确边界:依赖语料覆盖与更新时效,超出范围拒答;给出迭代计划(语料补充、错题回流);不承诺无幻觉或 100% 命中,用实测基线说话。

概念解释

  • 指标说明:可量化效果。
  • 边界说明:依赖与限制。
  • 迭代计划:语料与样本回流。

原理流程

  1. 汇报离线与灰度指标。
  2. 说明能力边界与依赖。
  3. 给出迭代与复盘节奏。

代码 / 图示

指标(可用率/引用/拒答/越权) + 边界(语料/时效) + 迭代计划

常见误区

  • 误区:用演示效果替代指标汇报;正解:业务决策需要可复测的基线数据。
  • 误区:承诺覆盖全部问题;正解:语料之外的问题按拒答口径处理。

追问

  • Q:指标达不到预期先优化什么? 答:按归因顺序:语料覆盖 → 切分检索 → 生成约束。
  • Q:业务补充语料如何对接? 答:明确接入格式、权限标签与更新流程。

10.6.1.1-018 RAG 落地清单是什么?

一句话结论

清单:需求边界与权限口径、文档解析清洗与元数据、切分策略与重叠、embedding 与向量库选型、混合检索与 rerank、查询改写与指代消解、权限过滤双侧校验、带引用生成与支撑校验、证据不足拒答、增量更新与版本失效、分层评测与错题回流、成本归集与优化、灰度上线与回滚。

概念解释

  • 链路组件:离线与在线分层。
  • 质量保障:评测与回流。
  • 工程闭环:更新、成本、灰度。

原理流程

  1. 按链路逐项建设。
  2. 分层评测把关质量。
  3. 灰度上线并持续迭代。

代码 / 图示

□ 需求权限口径  □ 解析清洗  □ 切分元数据  □ 检索rerank
□ 改写消解  □ 权限过滤  □ 引用校验  □ 拒答口径
□ 增量更新  □ 分层评测  □ 成本优化  □ 灰度回滚

常见误区

  • 误区:清单只列模型与向量库;正解:权限、引用、更新与回流环节决定生产可用性。
  • 误区:上线即结束;正解:错题回流与语料更新是持续运营过程。

追问

  • Q:检索组件细节? 答:见 10.3.2 Embedding 与向量数据库、10.3.2 检索优化。
  • Q:在线监控指标? 答:见 10.6.1.4 可观测、灰度与回归。