10.3.2.5 RAG 评测与质量门禁
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.3 RAG 检索增强 / 10.3.2 检索与增强
10.3.2.5-001 RAG 评测为什么要分检索层与生成分层?
一句话结论
检索层衡量证据找得准不准,生成分层衡量答案用得对不对;两层指标分开才能定位问题:证据缺失是检索问题,证据在但答案错是生成/组装问题,混在一起无法改进。
概念解释
- 检索层:候选覆盖与排序。
- 生成层:依据证据作答的质量。
- 分层归因:错题定位到具体环节。
原理流程
- 标注问题、正确证据与合格答案。
- 分别计算检索与生成指标。
- 错题按环节归因改进。
代码 / 图示
检索: 证据命中/排名 → 生成: 忠实度/相关性/引用
错题归因: 缺证据? 有证据没用好?
常见误区
- 误区:只看最终答案对错;正解:不分解到检索与生成,无法判断该改语料、检索还是提示。
- 误区:检索命中就等于答案会对;正解:证据到位后仍可能被生成层误用或遗漏。
追问
- Q:两层指标在哪个环节采集? A:检索结果与最终答案分别留存,供指标计算与复盘。
- Q:端到端指标还要吗? A:要,作为整体体验参考,但不能替代分层定位。
10.3.2.5-002 检索层常用指标有哪些?
一句话结论
常用 Recall@k(正确证据是否进入前 k)、MRR(首个正确证据排名)、命中率、NDCG(考虑排名位置的排序质量);检索指标围绕「正确来源是否被召回、是否靠前」计算。
概念解释
- Recall@k:正确块进入 top-k 比例。
- MRR:首个命中名次倒数。
- NDCG:排名折损增益。
原理流程
- 标注每题正确来源块。
- 跑检索得到排名列表。
- 按指标公式统计汇总。
代码 / 图示
Recall@k = 命中正确块的题目 / 全部题目
MRR = 均值(1 / 首个正确名次)
常见误区
- 误区:只看 top-1 命中率;正解:RAG 取多路 top-k 进上下文,Recall@k 更贴近实际。
- 误区:检索分高就代表答案好;正解:检索只是上游,生成质量另算。
追问
- Q:k 取多少? A:按实际进入上下文的片段条数设定,常见对比多个 k 值。
- Q:一题多正确证据怎么算? A:按应覆盖证据集合计算命中比例,而非只看一条。
10.3.2.5-003 生成层的忠实度(groundedness)怎么衡量?
一句话结论
忠实度检查答案陈述是否都能由提供证据支撑,区分有依据结论与无依据臆造;可通过规则核对引用对齐、NLI 蕴含判断或人工/judge 评审;忠实度低是幻觉风险的直接信号。
概念解释
- 有依据:陈述可回溯到证据。
- 无依据:证据未支持的推断。
- 度量:支撑比例与违规陈述数。
原理流程
- 拆分答案为可核对要点。
- 逐条对照证据是否支撑。
- 计算忠实度比例并记录越界陈述。
代码 / 图示
答案要点 → 证据蕴含? 是: 有依据; 否: 越界
忠实度 = 有依据要点 / 全部要点
常见误区
- 误区:答案通顺就是忠实;正解:通顺但脱离证据的陈述仍属低忠实度。
- 误区:忠实度只看引用编号;正解:编号存在不代表内容真被该证据支撑,需核对蕴含关系。
追问
- Q:NLI 蕴含判断是什么? A:用模型判断「证据是否蕴含答案陈述」,作为辅助手段并需人工校准。
- Q:合理推断算不算无依据? A:基于证据的合理推论可标注为推断,超出证据的结论应剔除或声明。
10.3.2.5-004 答案相关性与完整性怎么评?
一句话结论
相关性衡量答案是否切中问题,完整性衡量是否覆盖问题要求的要点;二者与忠实度分开评:忠实但答偏、完整但有臆造都是不同缺陷;按问题必备要点清单核对覆盖度。
概念解释
- 相关性:是否回答所问。
- 完整性:必备要点是否齐全。
- 分离评价:三个维度独立打分。
原理流程
- 标注问题必备要点。
- 核对答案覆盖要点情况。
- 检查是否偏离主题或答非所问。
代码 / 图示
相关性: 答案主题 vs 问题意图
完整性: 命中必备要点 / 必备要点总数
常见误区
- 误区:忠实度高就够了;正解:忠实但漏掉关键要点或答偏,同样不合格。
- 误区:答案越长越完整;正解:完整性按要点覆盖,不以篇幅衡量。
追问
- Q:要点清单谁定? A:业务/人工标注,按问题类型列出必备结论与约束。
- Q:多要点问题怎么评分? A:按要点命中比例,关键要点缺失直接判不合格。
10.3.2.5-005 引用准确率如何计算?
一句话结论
引用准确率检查答案标注的引用是否真的支撑对应陈述,且引用指向真实存在的来源;区分「编号合法」(指向已提供块)与「引用有效」(该块确实支撑要点),两层都要核对。
概念解释
- 编号合法:引用在提供集合内。
- 引用有效:证据支撑陈述。
- 虚假引用:指向不相关或不存在来源。
原理流程
- 校验引用编号合法。
- 核对引用与陈述支撑关系。
- 统计有效引用比例与错引数。
代码 / 图示
引用合法: 编号 ∈ 提供块集合
引用有效: 该块蕴含对应陈述
准确率 = 有效引用 / 全部引用
常见误区
- 误区:有引用编号就说明依据可靠;正解:编号合法但内容不支撑属于错引。
- 误区:引用准确率只查文件是否存在;正解:还要核对陈述与证据的对应关系。
追问
- Q:错引怎么归因? A:组装映射错误归检索/模板,模型乱标归生成提示与校验。
- Q:多引用并列怎么算有效? A:至少一条支撑该要点即部分有效,逐条核对记录。
10.3.2.5-006 RAG 标注集如何构建?
一句话结论
标注集覆盖高频问题、边界情况、历史错题与对抗/拒答场景,每题配正确证据、必备要点与合格标准;样本来自真实流量脱敏回流,按问题类型配比,规模随迭代扩充并版本化。
概念解释
- 覆盖类型:典型、边界、错题、对抗。
- 标注内容:证据、要点、标准。
- 版本化:样本集版本与基线对应。
原理流程
- 收集真实问题并脱敏。
- 标注正确证据与要点。
- 分类配比入库,持续回流补充。
代码 / 图示
样本: 问题 + 正确证据 + 必备要点 + 合格标准
类型: 典型/边界/错题/拒答
常见误区
- 误区:标注集只收顺利正例;正解:边界与失败样本才暴露短板。
- 误区:标注一次不再更新;正解:业务与语料变化后样本集需版本演进。
追问
- Q:证据标注到什么粒度? A:到块或段落,与检索单元一致,便于 Recall@k 计算。
- Q:标注一致性怎么保证? A:先对齐标准,抽样双人复核,分歧讨论修订口径。
10.3.2.5-007 人工评分与 LLM-as-judge 在 RAG 评测中如何配合?
一句话结论
人工作为基准校准,judge 批量初筛与放量;忠实度、相关性、引用等维度写成可对照标准,judge 输出分项判定与理由,争议与高风险样本人工终审;judge 偏差需定期用人工基准回归校准。
概念解释
- 人工基准:权威判定。
- judge 放量:批量评分与初筛。
- 校准:人工样本对照 judge 一致性。
原理流程
- 定义分项评判标准。
- judge 批量评分,人工抽检校准。
- 争议样本升级人工复核。
代码 / 图示
人工基准集 ← 校准 → judge 分项评分
高风险/争议 → 人工终审
常见误区
- 误区:judge 评分直接当最终结论;正解:存在位置、长度、风格偏差,需人工基准校准。
- 误区:忠实度交给 judge 自由判断;正解:可核验的引用对齐优先用规则,judge 辅助语义判断。
追问
- Q:judge 评判 RAG 看哪些维度? A:依据支撑、要点覆盖、相关性、引用对应,分项打分。
- Q:judge 与人工分歧怎么处理? A:先查标准是否清晰,复核双方判定,修订标准与提示。
10.3.2.5-008 质量门禁如何设置指标阈值?
一句话结论
按业务风险设定分层阈值:忠实度、引用合法率等硬指标设最低合格线,相关性/完整性按基线与容忍度定;检索与生成指标分别设门禁,不达标阻断发布;阈值基于历史基线标定,不套用固定数值。
概念解释
- 硬指标:忠实度、引用合法、权限隔离。
- 软指标:相关性、完整性。
- 门禁:指标不达标不放行。
原理流程
- 建立历史基线分布。
- 设定合格线与告警幅度。
- 发布回归对照阈值阻断劣化。
代码 / 图示
忠实度 ≥ 合格线; 引用合法率 = 100%(硬约束)
相关性/完整性 ≥ 基线 - 允许波动
常见误区
- 误区:阈值拍一个高值;正解:脱离基线的高值无法发布,过低失去防护。
- 误区:只设端到端总分门禁;正解:分层指标门禁才能阻止局部劣化。
追问
- Q:不同任务阈值一样吗? A:高风险链路更严,辅助任务可放宽。
- Q:阈值多久复核? A:基线演进与业务变化后定期重估,记录调整原因。
10.3.2.5-009 线上监控应跟踪哪些 RAG 指标?
一句话结论
线上跟踪检索命中率/无证据率、答案忠实度抽检、引用错误率、拒答率与用户反馈;按问题类型与来源分组监控趋势,异常下滑触发排查;线上样本回流标注集形成闭环。
概念解释
- 检索信号:命中、无证据、候选相关性。
- 生成信号:忠实度、引用、拒答。
- 反馈:用户点赞/点踩与工单。
原理流程
- 采集线上检索与答案记录。
- 抽检计算质量指标。
- 趋势告警,样本回流评测集。
代码 / 图示
召回命中 · 无证据率 · 忠实度抽检 · 引用错误 · 拒答率 · 反馈
分组监控 + 异常告警 + 样本回流
常见误区
- 误区:上线后只看用户满意度;正解:满意度样本稀疏,需要过程指标主动抽检。
- 误区:监控全量明文答案;正解:敏感内容脱敏后留存用于分析。
追问
- Q:无证据率高说明什么? A:检索/语料问题,回看召回与覆盖率。
- Q:线上错题怎么回流? A:脱敏后入标注集,归因为检索或生成问题。
10.3.2.5-010 如何评测拒答与证据不足场景?
一句话结论
标注无依据/越权/超范围问题的期望行为是合理拒答或声明不足;评测误拒(能答却拒)与漏拒(该拒却编造)两类;拒答不是失败,正确识别证据边界是 RAG 能力的一部分。
概念解释
- 漏拒:无依据仍作答。
- 误拒:有证据却拒绝。
- 期望行为:声明不足/澄清/拒答。
原理流程
- 构造证据不足与越权样本。
- 检查是否合理拒答。
- 分别统计两类错误。
代码 / 图示
漏拒 = 该拒未拒 / 应拒样本; 误拒 = 能答却拒 / 可答样本
常见误区
- 误区:拒答率高就是系统差;正解:关键看是否该拒,漏拒风险高于适度误拒。
- 误区:拒答样本不计入评测;正解:边界识别是独立评测维度。
追问
- Q:误拒怎么优化? A:检查检索是否漏召相关证据,而非直接放宽生成约束。
- Q:拒答话术要评测吗? A:要,需明确、不泄露无权内容,并给出可行替代路径。
10.3.2.5-011 检索评测与生成评测的样本如何对应?
一句话结论
同一题目同时保留正确证据标注与答案期望,检索层用证据标注算召回,生成层用证据加答案算忠实度;样本一一对应才能把「没找到」和「找到了没用好」分开归因。
概念解释
- 双标注:证据 + 答案要点。
- 对应关系:同一题跨两层使用。
- 归因衔接:检索结果接入生成评测。
原理流程
- 题目标注正确证据集合。
- 标注答案必备要点。
- 跑管线后两层指标对照。
代码 / 图示
题 → 正确证据(检索标注) + 答案要点(生成标注)
检索命中? 是 → 生成是否用好?
常见误区
- 误区:检索集与生成集分开随机取样;正解:不对应就无法做错题环节归因。
- 误区:生成评测不带证据输入;正解:脱离候选证据无法判断忠实度。
追问
- Q:证据标注有争议怎么办? A:业务复核确认,作为检索基线。
- Q:生成答案标准怎么定? A:按证据可支撑的范围定义合格答案。
10.3.2.5-012 如何做 RAG 版本回归对比?
一句话结论
固定标注集、模型版本与参数,改动提示、检索配置或语料前后跑同一批样本,对比分层指标与错题;回归集版本固定保证可比,劣化样本逐条归因,结论记录在评测报告中。
概念解释
- 控制变量:样本/模型/参数一致。
- 对比:新旧配置指标与错题。
- 回归集:版本固定可重复。
原理流程
- 记录当前基线指标。
- 改动后跑同一回归集。
- 对比分层指标,劣化项归因。
代码 / 图示
回归集 S(版本固定) + 模型 M + 配置 P
旧配置 → 基线; 新配置 → 对比跑批
常见误区
- 误区:回归集每次顺手改几条;正解:随意换样本让前后指标不可比。
- 误区:只看端到端总分;正解:分层指标防止某环节局部劣化被总分掩盖。
追问
- Q:模型升级时怎么回归? A:先在新模型上重建基线,再对比配置改动。
- Q:回归集多久更新? A:业务规则与语料变化时版本化更新,并重建基线说明。
10.3.2.5-013 忠实度校验可以用哪些工程手段?
一句话结论
手段包括:引用编号合法性校验、要点-证据对齐核对、NLI 蕴含辅助判断、规则化事实字段比对、人工/judge 抽检;可程序化部分自动执行,语义开放部分人工或 judge 复核,多层兜底。
概念解释
- 规则校验:编号、字段、枚举。
- 语义判断:蕴含、要点对齐。
- 分层兜底:自动 + 人工。
原理流程
- 能规则化的先自动校验。
- 语义层用 NLI/judge 辅助。
- 疑难样本人工复核。
代码 / 图示
自动: 引用合法/字段一致/枚举匹配
辅助: NLI 蕴含, judge 分项判定
人工: 疑难与高风险复核
常见误区
- 误区:靠提示模型「不要编造」就能保证忠实;正解:需要后置校验与证据对照机制。
- 误区:一种手段覆盖全部忠实度问题;正解:结构与语义缺陷要分层手段配合。
追问
- Q:NLI 判断出错怎么办? A:作为辅助信号,关键结论人工复核,不单独裁决。
- Q:校验失败如何处理? A:标记不可靠,重试或转人工,不默认放行。
10.3.2.5-014 如何评估检索增强相对纯生成的收益?
一句话结论
在同一标注集上对比纯生成(无检索)与 RAG 的答案忠实度、相关性与事实正确率;增益来自证据约束时 RAG 才值得引入;若检索证据质量差,可能引入噪声,需要用指标证明收益。
概念解释
- 对照:纯生成 vs RAG。
- 增益维度:事实准确、忠实、引用。
- 证据质量:弱证据可能负收益。
原理流程
- 准备同一标注集。
- 分别跑纯生成与 RAG。
- 对比指标差距与错题类型。
代码 / 图示
纯生成答案 vs RAG 答案
对比: 事实正确率/忠实度/相关性/引用
常见误区
- 误区:上了 RAG 答案一定更好;正解:检索噪声与错误证据可能让答案变差。
- 误区:凭几个例子判断增益;正解:需标注集上的指标对比。
追问
- Q:RAG 收益不明显时查什么? A:先看检索召回与证据质量,再看生成是否用好证据。
- Q:哪些问题不需要 RAG? A:模型通用知识可答且不依赖内部资料的问题。
10.3.2.5-015 评测报告应包含哪些内容?
一句话结论
报告记录:标注集版本、模型与检索配置版本、分层指标结果、与基线对比、错题清单与归因、judge/人工覆盖情况与残留风险;报告可追溯到具体配置组合,支撑发布决策。
概念解释
- 元信息:样本/模型/配置版本。
- 结果:分层指标与对比。
- 归因:错题清单与改进项。
原理流程
- 跑批采集分层指标。
- 生成对比报告。
- 归档关联发布记录。
代码 / 图示
报告: 集版本/模型/配置 · 检索+生成指标 · 基线对比 · 错题归因 · 残留风险
常见误区
- 误区:报告只写总分;正解:分层指标与错题清单才支持定位改进。
- 误区:不记版本组合;正解:缺版本无法复现与回滚对照。
追问
- Q:报告给谁看? A:任务负责人评审,高风险链路加业务/安全角色复核。
- Q:报告保留多久? A:与发布记录配套留存,支持线上问题回溯。
10.3.2.5-016 线上错题如何归因到语料、检索还是生成?
一句话结论
回放错题链路:正确证据是否在索引中(语料)、是否被召回(检索)、召回后是否被正确使用(生成/组装);按环节记录错误类型,对应改进到语料治理、检索调优或提示与校验层。
概念解释
- 语料:缺块、错标签、过期、低质。
- 检索:漏召、排序差、过滤错。
- 生成:未用证据、引用错、编造。
原理流程
- 回放问题与候选集合。
- 逐层定位出错环节。
- 分类记录并改进。
代码 / 图示
依据在索引? 否→语料; 在但没召回? →检索; 召回但没用好? →生成/组装
常见误区
- 误区:答案错都归模型;正解:先排除语料与检索问题,再谈模型能力。
- 误区:归因只记现象;正解:环节分类决定改进方向与责任归属。
追问
- Q:证据错配怎么识别? A:看召回片段与问题是否相关、能否支撑答案要点。
- Q:多环节都有问题怎么办? A:先修语料基线,再优化检索与生成。
10.3.2.5-017 如何防止评测集被「背答案」污染?
一句话结论
评测样本不进入微调/训练数据,自托管继续训练时隔离评测集;托管 API 核对供应商数据条款;定期更新样本组合,观察答案是否异常稳定、换相近表述后表现是否骤降来识别记忆痕迹。
概念解释
- 隔离:训练/微调与评测分开。
- 更新:轮换样本保持独立。
- 识别:异常稳定与表述敏感。
原理流程
- 划分训练与评测样本。
- 继续训练前排除评测集。
- 定期更新样本并监控异常。
代码 / 图示
训练数据 ≠ 评测集; 微调前排除; 样本定期轮换
常见误区
- 误区:评测样本放进微调集提升效果;正解:指标反映记忆而非泛化能力。
- 误区:托管 API 不存在泄露;正解:数据政策需核对,敏感样本更要谨慎。
追问
- Q:公开 benchmark 能替代自有集吗? A:只能参考,业务口径与场景仍需自有评测集。
- Q:样本更新节奏? A:按业务变化补充新问题,避免旧样本长期固定。
10.3.2.5-018 RAG 评测常见指标误区有哪些?
一句话结论
常见误区:只看端到端正确率、用平均答案长度代替完整性、把引用编号当忠实度、忽略拒答两类错误、judge 偏差未校准、阈值脱离基线;指标定义要明确口径并分层对照。
概念解释
- 口径混淆:维度互相替代。
- 漏维度:拒答、引用、忠实度。
- 偏差:judge 与阈值问题。
原理流程
- 核对各指标定义与计算口径。
- 补齐缺失维度统计。
- 校准 judge 与阈值基线。
代码 / 图示
误区: 总分代替分层 / 长度代替完整 / 编号代替忠实 / 忽略拒答
常见误区
- 误区:一个指标说明全部质量;正解:检索、忠实、相关、引用分别度量。
- 误区:指标跨版本直接比较;正解:样本集与模型版本变化后需重建基线。
追问
- Q:指标口径写在哪里? A:评测方案文档中固化定义、分母与统计方式。
- Q:指标异常波动怎么排查? A:先区分样本/模型/配置变化,再看真实质量劣化。
10.3.2.5-019 离线评测与线上反馈如何形成闭环?
一句话结论
离线回归集保证发布前质量,线上抽检与用户反馈发现新问题;线上错题脱敏回流标注集,扩充边界与对抗样本,再进入离线回归验证改进效果,形成持续迭代闭环。
概念解释
- 离线:发布前回归门禁。
- 线上:抽检、反馈、错题回流。
- 闭环:样本扩充 → 回归验证。
原理流程
- 离线集回归达标后发布。
- 线上抽检收集错题与反馈。
- 错题回流扩充离线集,迭代后再回归。
代码 / 图示
离线回归 → 发布 → 线上抽检/反馈 → 错题回流 → 扩充回归集 → 再验证
常见误区
- 误区:离线评测通过就不用看线上;正解:线上分布与离线样本存在差异,需持续监控。
- 误区:线上错题只记录不利用;正解:应进入评测集防止同类问题复发。
追问
- Q:回流样本怎么脱敏? A:去除个人信息与机密,替换为等价虚构样本后入库。
- Q:闭环节奏? A:按迭代周期回流一批,重大线上问题即时补充回归样本。
10.3.2.5-020 RAG 质量门禁落地清单是什么?
一句话结论
清单:分层指标定义、双标注评测集、检索 Recall/MRR 指标、忠实度/相关性/完整性/引用校验、人工与 judge 配合校准、阈值门禁、线上监控指标、错题归因回流、版本回归与报告归档。
概念解释
- 评测资产:标注集、标准、指标口径。
- 门禁:分层阈值与阻断。
- 运营:监控、归因、回流、回归。
原理流程
- 建设分层评测资产。
- 发布前回归门禁。
- 线上监控与错题回流持续迭代。
代码 / 图示
□ 分层指标 □ 双标注集 □ 检索指标 □ 忠实/相关/完整/引用
□ judge校准 □ 阈值门禁 □ 线上监控 □ 归因回流
□ 版本回归 □ 报告归档
常见误区
- 误区:评测是上线前一次性动作;正解:语料、检索、模型变化后都需要回归与线上监控。
- 误区:门禁只卡生成答案;正解:召回缺失与证据质量问题也要在门禁中体现。
追问
- Q:评测资产存哪里? A:与模板、配置同版本管理,样本集与基线记录可追溯。
- Q:RAG 章节收尾衔接? A:Agent 如何调用工具与编排任务,见 10.4 章。