10.6.1.1 RAG 全链路落地
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.6 AI 全栈场景题 / 10.6.1 AI 全栈场景
10.6.1.1-001 设计企业知识库问答:完整链路由哪些组件组成?
一句话结论
链路:文档接入与解析 → 清洗结构化 → 切分 → embedding 入库 → 查询改写与混合检索 → rerank → 片段拼装与权限过滤 → 生成带引用回答 → 引用校验与反馈回流。组件职责分层,检索与生成可独立调优。
概念解释
- 离线链路:文档到索引。
- 在线链路:提问到回答。
- 反馈回流:错题与点击进入迭代。
原理流程
- 离线解析切分建库。
- 在线检索证据后生成。
- 结果校验并回流样本。
代码 / 图示
文档 → 解析 → 清洗 → 切分 → embedding → 向量库
提问 → 改写 → 混合检索 → rerank → 权限过滤 → 拼装 → 生成(带引用) → 校验
常见误区
- 误区:链路只有「向量化 + 提问检索 + 生成」三步;正解:权限、引用校验与回流是生产链路必备环节。
- 误区:检索与生成绑定调优;正解:分层评测可分别定位检索缺失与生成误用。
追问
- Q:离线链路多久跑一次? 答:按文档更新频率做增量同步,见 10.6.1.1-007。
- Q:各环节指标? 答:见 10.6.1.1-005 与 10.6.1.4 在线监控。
10.6.1.1-002 需求分析阶段要明确哪些业务口径?
一句话结论
明确:可回答范围与不可回答边界、用户角色与可访问文档范围、期望答案形态(引用原文/摘要/多文档汇总)、更新时效、回答语言与合规要求;口径写入需求与验收标准,避免上线后反复调整检索和生成策略。
概念解释
- 范围边界:能答与拒答。
- 角色权限:文档可见范围。
- 答案形态:引用/摘要/汇总。
原理流程
- 访谈业务与用户角色。
- 定义可答范围与答案形态。
- 形成验收口径并评审。
代码 / 图示
范围 + 角色权限 + 答案形态 + 时效 + 语言 + 合规 → 验收标准
常见误区
- 误区:先搭检索再说业务边界;正解:边界不清会导致越权回答与拒答口径混乱。
- 误区:默认所有问题都要长篇回答;正解:不同任务答案形态不同,需按场景定义。
追问
- Q:范围外问题怎么处理? 答:明确拒答口径与引导通道,见 10.6.1.1-008。
- Q:权限口径从哪来? 答:对接现有文档系统的角色与部门权限体系。
10.6.1.1-003 文档接入与解析要覆盖哪些格式和噪声?
一句话结论
覆盖:PDF、Word、网页、表格、图片扫描件、邮件与工单导出;解析时处理页眉页脚、目录、表格结构、图文混排、重复片段与编码问题;解析结果保留标题层级与来源定位;解析质量直接决定后续检索命中。
概念解释
- 格式覆盖:多来源文档。
- 噪声清洗:页眉页脚与重复。
- 结构保留:标题与定位。
原理流程
- 按格式选择解析器。
- 清洗噪声并保留结构。
- 抽样校验解析质量。
代码 / 图示
原始文档 → 解析器 → 标题层级/表格/定位 → 清洗去噪 → 校验入库
常见误区
- 误区:文本抽取出来即可入库;正解:表格、扫描件与层级结构丢失会破坏答案依据。
- 误区:所有格式共用一套解析;正解:不同格式需要专门处理与抽样校验。
追问
- Q:扫描件怎么处理? 答:OCR 识别并校验准确率,低质量页面标记人工处理。
- Q:解析产物带什么元数据? 答:来源、标题层级、页码/段落定位、更新时间。
10.6.1.1-004 切分策略如何与文档类型匹配?
一句话结论
按结构优先:按标题、段落、条目切分;长段落按语义与固定长度补充切分;保留重叠上下文与元数据;问答类文档保留完整问答对;表格按行或表块保留;块大小与重叠按检索评测调整,不套用固定经验值。
概念解释
- 结构切分:标题段落条目。
- 补充切分:长度与语义边界。
- 重叠保留:上下文连贯。
原理流程
- 识别文档结构层级。
- 结构块优先切分。
- 评测调整块大小与重叠。
代码 / 图示
标题 → 段落/条目 → 超长段落语义切分
块: 内容 + 标题路径 + 来源定位 + 重叠上下文
常见误区
- 误区:所有文档按固定字符数硬切;正解:切断条款或问答对会破坏完整性。
- 误区:重叠上下文不需要;正解:边界片段信息不完整会降低命中与答案质量。
追问
- Q:切分参数怎么调? 答:用检索评测对比块大小/重叠对 Recall@k 与答案质量的影响。
- Q:元数据带什么? 答:标题路径、文档版本、权限标签与更新时间。
10.6.1.1-005 检索质量如何度量,关键指标有哪些?
一句话结论
检索层看 Recall@k(正确证据是否进入前 k)、MRR/NDCG(正确证据排名);生成层看忠实度、事实正确率与引用支撑;端到端看答案可用率;分层归因,检索差先优化语料与检索,证据到位仍错归生成;指标定义与阈值按任务设定。
概念解释
- 召回:证据是否找得到。
- 排名:证据排得是否靠前。
- 忠实度:答案是否基于证据。
原理流程
- 标注正确证据与合格答案。
- 分层计算检索与生成指标。
- 错题归因到环节修复。
代码 / 图示
Recall@k · MRR · NDCG(检索)
忠实度 · 事实正确 · 引用支撑(生成)
答案可用率(端到端)
常见误区
- 误区:只看端到端答案好坏;正解:不分层无法判断改语料、检索还是提示。
- 误区:Recall 够了就不用管排名;正解:证据排在后面可能进不了拼装上下文。
追问
- Q:k 怎么定? 答:按上下文预算与评测表现对比不同 k 的指标与成本。
- Q:引用正确率怎么判? 答:逐条核对引用来源是否支撑对应结论。
10.6.1.1-006 查询改写与检索扩展解决什么问题?
一句话结论
把用户口语、指代与省略改写为可检索的完整查询;必要时生成多个检索角度(同义、相关概念)扩大召回;改写结果保留原始意图,不引入无关方向;多轮对话结合历史消解指代;改写效果用检索指标对比验证。
概念解释
- 指代消解:结合历史补全。
- 同义扩展:多检索角度。
- 意图保持:改写不跑偏。
原理流程
- 结合会话历史理解意图。
- 生成改写查询与扩展角度。
- 多路检索合并去重。
代码 / 图示
用户消息 + 历史 → 查询改写 → 同义/相关角度 → 多路检索 → 合并去重
常见误区
- 误区:改写越详细越好;正解:过度扩展引入无关片段,稀释上下文。
- 误区:忽略多轮指代;正解:「这个方案」等指代不补全会检索错误文档。
追问
- Q:改写失败怎么办? 答:保留原始查询兜底检索,不依赖改写结果。
- Q:多路结果如何合并? 答:按分数与来源去重,rerank 统一排序。
10.6.1.1-007 文档增量更新与索引一致性如何保证?
一句话结论
文档变更触发增量解析与重新切分入库,旧版本片段标记失效;删除文档同步移除或标记不可检索;记录文档版本与索引更新时间;检索结果标注版本时间;更新链路失败可重试并记录积压;避免新旧片段同时被召回造成答案矛盾。
概念解释
- 增量同步:变更片段更新。
- 版本失效:旧片段下线。
- 一致性:检索不到已删内容。
原理流程
- 监听文档变更事件。
- 增量解析重建对应片段。
- 旧版本失效并校验一致性。
代码 / 图示
文档变更 → 重新解析切分 → 新版本入库 → 旧版本失效
删除 → 标记不可检索; 失败重试 + 积压监控
常见误区
- 误区:全量重建频繁跑;正解:增量更新降低成本,但要保证失效同步。
- 误区:删除文档后片段仍可命中;正解:未下线旧片段会返回过期甚至错误依据。
追问
- Q:更新失败怎么发现? 答:监控索引积压与版本时间,抽样核对文档状态。
- Q:片段带版本号吗? 答:带文档版本与更新时间,答案可标注时效。
10.6.1.1-008 证据不足或超出范围时如何回答?
一句话结论
检索不到合格证据或证据与问题无关时,明确说明依据不足并给出引导(查阅入口/转人工);不允许模型凭参数知识补全业务事实;拒答口径在提示与输出校验中固化;证据不足的样本进入评测集跟踪拒答正确率。
概念解释
- 证据门槛:合格片段不足。
- 拒答口径:说明与引导。
- 禁止编造:不补业务事实。
原理流程
- 评估检索证据相关性。
- 不足时走拒答模板。
- 拒答样本纳入回归评测。
代码 / 图示
证据不足/无关 → "未找到可靠依据" + 引导通道
不调用参数记忆补全业务答案
常见误区
- 误区:模型回答得流畅就算可用;正解:无依据流畅回答属于幻觉,风险更高。
- 误区:拒答统一一句话;正解:可区分无证据、超范围与权限不足三种口径。
追问
- Q:权限不足怎么表达? 答:说明无访问权限与申请通道,不泄露文档存在与否的细节。
- Q:拒答率高怎么分析? 答:区分检索缺失与生成不敢答,分别优化。
10.6.1.1-009 带引用回答如何落地引用格式与校验?
一句话结论
回答结论后标注来源编号,映射到具体文档片段定位;生成后校验:每个关键结论有引用、引用片段真实存在、引用内容支撑结论;引用不可支撑时重写或拒答;前端展示来源可回溯;引用与结论一致性纳入评测。
概念解释
- 引用映射:结论到片段定位。
- 支撑校验:证据是否对应。
- 可回溯:用户可查看来源。
原理流程
- 拼装片段时分配引用编号。
- 生成回答带编号标注。
- 后置校验引用支撑关系。
代码 / 图示
片段[1][2] → 回答结论标注[1]
校验: 片段存在 + 内容支撑结论
常见误区
- 误区:附上文档名就算引用;正解:需定位到片段并核对支撑关系。
- 误区:引用格式交给自由生成;正解:格式与映射需要约束和后置校验。
追问
- Q:多文档汇总怎么引用? 答:分结论标注各自来源,不混用编号。
- Q:引用校验失败怎么办? 答:去掉无支撑结论,仍不足则拒答。
10.6.1.1-010 知识库权限隔离如何在检索链路实现?
一句话结论
片段携带角色/部门/密级标签;检索时先按用户权限过滤再排序;生成链路不传入无权片段;权限校验在检索与拼装两侧重复确认;越权样本纳入安全评测;权限体系对接文档源系统,不另造一套可见性逻辑。
概念解释
- 权限标签:角色部门密级。
- 过滤前置:先过滤再检索。
- 双侧校验:检索与拼装复核。
原理流程
- 入库时写入权限标签。
- 查询按身份过滤候选。
- 拼装前复核片段权限。
代码 / 图示
片段: 内容 + 权限标签
查询: 用户身份 → 权限过滤 → 排序 → 拼装前复核
常见误区
- 误区:只在前端隐藏无权文档;正解:检索层必须过滤,否则片段进入上下文可能被复述。
- 误区:向量库检索后再过滤就够;正解:两侧校验防止标签错误与越权混入。
追问
- Q:部门调整后权限怎么同步? 答:源系统权限变更同步更新标签,索引失效重建。
- Q:权限不足样本怎么评测? 答:构造无权问题,期望不返回受限片段与结论。
10.6.1.1-011 混合检索(向量 + 关键词)如何组合?
一句话结论
向量检索覆盖语义相近,关键词检索覆盖精确术语、编号与专有名词;两路结果合并去重后由 rerank 统一排序;权重与融合方式按评测调整;纯向量对型号、编号类精确词召回不足,纯关键词对同义表达弱,互补使用。
概念解释
- 语义检索:意思相近。
- 关键词检索:精确匹配。
- 融合排序:合并后重排。
原理流程
- 两路并行检索。
- 结果合并去重。
- rerank 综合排序。
代码 / 图示
embedding 近邻 ┐
├→ 合并去重 → rerank → top-k
关键词倒排 ┘
常见误区
- 误区:只做向量检索;正解:编号、术语、型号精确匹配常依赖关键词通道。
- 误区:两路分数直接相加;正解:不同尺度分数需按融合策略归一化,方案细节以所用检索组件为准。
追问
- Q:rerank 解决什么? 答:对候选片段做精排,提升正确证据排名,见 10.3.2.4。
- Q:融合效果怎么验证? 答:对比单路与混合的 Recall@k 与答案可用率。
10.6.1.1-012 一个方案落地时如何安排上线节奏?
一句话结论
先离线评测固定基线,再小范围灰度(特定部门/问题类型),收集反馈与错误样本,达标后逐步放量;灰度期保留人工兜底与回滚通道;上线后持续监控检索与答案指标;每次语料或模型变更重新跑离线回归。
概念解释
- 离线基线:发布前门禁。
- 灰度放量:分范围验证。
- 回滚通道:异常可退回。
原理流程
- 离线评测达标。
- 小范围灰度观察。
- 达标放量,异常回滚。
代码 / 图示
离线评测 → 灰度(部门/场景) → 反馈回流 → 放量 → 持续监控
回滚: 旧版本/人工兜底
常见误区
- 误区:评测通过直接全量;正解:真实分布与边界场景需要灰度验证。
- 误区:灰度只看成功率;正解:拒答率、引用正确率与用户反馈同样要观察。
追问
- Q:灰度对照怎么设计? 答:见 10.6.1.4 灰度对照与样本分流。
- Q:放量门槛有哪些? 答:答案可用率、引用正确率、拒答与越权指标达标。
10.6.1.1-013 常见 RAG 错题类型如何分类归因?
一句话结论
分为:检索未召回(语料缺失/切分/embedding)、召回但排名靠后(rerank/关键词)、证据混入无关片段、生成遗漏证据、生成超出证据(幻觉)、引用错配、权限标签错误;每类对应不同修复环节;错题归因后进入回归集。
概念解释
- 检索类:找得到/排得前。
- 生成类:用得对/不编造。
- 引用类:映射与支撑。
原理流程
- 回放检索片段与生成回答。
- 按类型归因。
- 修复对应环节并固化样本。
代码 / 图示
未召回 → 语料/切分/embedding
排名差 → rerank/关键词
幻觉/遗漏 → 生成约束
引用错配 → 引用校验
常见误区
- 误区:错题一律换模型;正解:多数问题在检索与语料层,换模型不解决证据缺失。
- 误区:归因只记「回答不好」;正解:类型不清就无法定位修复环节。
追问
- Q:错题样本怎么复用? 答:脱敏后进入离线评测回归集,防止复现。
- Q:多轮错题怎么回放? 答:保留会话上下文与检索轨迹,完整复现失败路径。
10.6.1.1-014 多轮对话中 RAG 上下文如何组织?
一句话结论
每轮结合历史消解指代后重新检索;历史按摘要与关键槽位压缩进入上下文,避免无限累积;当前问题的证据优先拼装;历史结论不替代本轮证据;多轮状态(已确认事实、待办)单独维护,不全部塞回提示。
概念解释
- 每轮检索:指代消解后查新证据。
- 历史压缩:摘要与槽位留存。
- 状态分离:会话状态独立存储。
原理流程
- 结合历史理解当前问题。
- 本轮检索新证据。
- 压缩历史后拼装上下文。
代码 / 图示
历史(摘要+槽位) + 本轮证据 → 生成
历史结论不作为本轮事实依据
常见误区
- 误区:把整段历史都塞入上下文;正解:历史膨胀增加成本并稀释本轮证据。
- 误区:沿用第一轮检索结果;正解:话题转移后需要重新检索。
追问
- Q:历史摘要放哪? 答:系统/会话状态区,与本轮证据分区标注。
- Q:上下文超预算怎么办? 答:淘汰早期历史,保留当前任务与关键槽位。
10.6.1.1-015 表格与结构化数据如何进入 RAG?
一句话结论
表格保留行列结构,按行或表块切分并保留表头上下文;结构化数据(数据库/接口)可通过检索或工具查询补充;表格答案引用定位到表与行;纯文本切分破坏表格时单独校验;数值类问题必要时走结构化查询而非向量检索。
概念解释
- 结构保留:表头与行列关系。
- 行块切分:可定位可比对。
- 结构化查询:数值计算走工具。
原理流程
- 识别表格结构并保留表头。
- 行块入库带定位。
- 数值问题走结构化查询。
代码 / 图示
表格 → 表头 + 行块(定位) → 检索
数值汇总/对比 → 接口/数据库工具查询
常见误区
- 误区:表格转纯文本后切分;正解:行列关系丢失会导致数字与列错配。
- 误区:向量检索替代数值计算;正解:汇总、排序等计算应走结构化查询工具。
追问
- Q:跨表关联怎么处理? 答:通过结构化工具按条件查询,不依赖片段拼接。
- Q:表格引用怎么展示? 答:标注表名与行定位,必要时回显原表片段。
10.6.1.1-016 RAG 链路的成本构成与优化点是什么?
一句话结论
成本:embedding 计算与向量库存储、检索与 rerank 调用、生成输入(片段条数与长度)与输出 token;优化:片段条数预算、rerank 只对候选精排、缓存高频查询、压缩历史;按环节归集用量,优化对照检索与答案指标,不牺牲质量砍片段。
概念解释
- 索引成本:embedding 与存储。
- 在线成本:检索/rerank/生成。
- 优化对照:质量指标同步看。
原理流程
- 归集各环节用量。
- 找占比高的环节优化。
- 优化后对比质量指标。
代码 / 图示
embedding/存储 + 检索/rerank + 输入片段 + 输出 token
优化: 片段预算 · rerank 候选量 · 查询缓存 · 历史压缩
常见误区
- 误区:只压缩生成输出;正解:输入片段与 rerank 候选量常是更大成本项。
- 误区:减少片段不影响质量;正解:片段不足会降低 Recall,需评测确认。
追问
- Q:rerank 成本怎么控制? 答:只对向量/关键词候选做精排,候选数量按评测标定。
- Q:哪些查询可缓存? 答:稳定知识类高频问题,动态状态问题不缓存。
10.6.1.1-017 如何向业务方说明 RAG 方案的效果与边界?
一句话结论
用可解释指标说明:答案可用率、引用正确率、拒答与越权情况、典型错题类型;明确边界:依赖语料覆盖与更新时效,超出范围拒答;给出迭代计划(语料补充、错题回流);不承诺无幻觉或 100% 命中,用实测基线说话。
概念解释
- 指标说明:可量化效果。
- 边界说明:依赖与限制。
- 迭代计划:语料与样本回流。
原理流程
- 汇报离线与灰度指标。
- 说明能力边界与依赖。
- 给出迭代与复盘节奏。
代码 / 图示
指标(可用率/引用/拒答/越权) + 边界(语料/时效) + 迭代计划
常见误区
- 误区:用演示效果替代指标汇报;正解:业务决策需要可复测的基线数据。
- 误区:承诺覆盖全部问题;正解:语料之外的问题按拒答口径处理。
追问
- Q:指标达不到预期先优化什么? 答:按归因顺序:语料覆盖 → 切分检索 → 生成约束。
- Q:业务补充语料如何对接? 答:明确接入格式、权限标签与更新流程。
10.6.1.1-018 RAG 落地清单是什么?
一句话结论
清单:需求边界与权限口径、文档解析清洗与元数据、切分策略与重叠、embedding 与向量库选型、混合检索与 rerank、查询改写与指代消解、权限过滤双侧校验、带引用生成与支撑校验、证据不足拒答、增量更新与版本失效、分层评测与错题回流、成本归集与优化、灰度上线与回滚。
概念解释
- 链路组件:离线与在线分层。
- 质量保障:评测与回流。
- 工程闭环:更新、成本、灰度。
原理流程
- 按链路逐项建设。
- 分层评测把关质量。
- 灰度上线并持续迭代。
代码 / 图示
□ 需求权限口径 □ 解析清洗 □ 切分元数据 □ 检索rerank
□ 改写消解 □ 权限过滤 □ 引用校验 □ 拒答口径
□ 增量更新 □ 分层评测 □ 成本优化 □ 灰度回滚
常见误区
- 误区:清单只列模型与向量库;正解:权限、引用、更新与回流环节决定生产可用性。
- 误区:上线即结束;正解:错题回流与语料更新是持续运营过程。
追问
- Q:检索组件细节? 答:见 10.3.2 Embedding 与向量数据库、10.3.2 检索优化。
- Q:在线监控指标? 答:见 10.6.1.4 可观测、灰度与回归。