10.12.2 RAG 评测(RAGAS/召回率/忠实度)
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.12 评测与数据
覆盖范围
- RAG 评测的核心指标
- RAGAS 框架
- 检索质量评测(召回率/精确率)
- 生成质量评测(忠实度/相关性)
- 端到端 RAG 评测
- 常见问题与优化方向
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.12.2-001 | RAG 评测有哪些核心指标? | 进阶 | ★★★★ |
| 10.12.2-002 | RAGAS 是什么? | 基础 | ★★★ |
| 10.12.2-003 | 召回率怎么算? | 进阶 | ★★★★ |
| 10.12.2-004 | 忠实度怎么评? | 进阶 | ★★★ |
| 10.12.2-005 | RAG 效果不好怎么排查? | 进阶 | ★★★★ |
| 10.12.2-006 | 检索和生成怎么分开评? | 进阶 | ★★★ |
| 10.12.2-007 | RAG 评测需要标注什么? | 基础 | ★★★ |
| 10.12.2-008 | RAGAS 指标怎么解读? | 基础 | ★★★ |
10.12.2-001 RAG 评测有哪些核心指标?
频率 ★★★★ | 难度 进阶
一句话结论
RAG 评测分两部分:检索质量(召回率、精确率、MRR)和生成质量(忠实度、答案相关性);检索是基础,检索不好生成再好也白搭。
概念解释
- 检索指标:召回率(找到多少相关文档)、精确率(找到的里有多少相关)、MRR(第一个相关文档的排名)。
- 生成指标:忠实度(回答是否基于检索到的文档,不编造)、答案相关性(回答是否切题)。
- 分开评:检索和生成分开评,定位问题在检索还是生成。
原理流程
- 检索评测:看召回的文档是否相关。
- 生成评测:看回答是否基于文档、是否切题。
- 综合:检索好 + 生成好 = RAG 效果好。
代码 / 示例
RAG 核心指标:
检索质量:
- 召回率: 相关文档被找到的比例
- 精确率: 检索到的文档中相关的比例
- MRR: 第一个相关文档的排名倒数
生成质量:
- 忠实度: 回答是否基于检索到的上下文 (不编造)
- 答案相关性: 回答是否切题
常见误区
- 误区:只看最终回答好不好;正解:要分开评检索和生成,知道问题在哪。
- 误区:检索召回率高就好;正解:召回率高但精确率低,检索到一堆无关文档,生成也会受影响。
追问
- Q:先优化检索还是生成? A:先优化检索,检索好了生成才有基础。
- Q:RAG 效果不好怎么定位? A:先看召回的文档对不对,不对就优化检索;对了但回答不好,就优化生成。
10.12.2-002 RAGAS 是什么?
频率 ★★★ | 难度 基础
一句话结论
RAGAS 是 RAG 自动评测框架:用 LLM 自动评估 RAG 的各项指标(忠实度、答案相关性、上下文召回率等),不需要人工标注标准答案。
概念解释
- 自动化:用 LLM 做裁判,自动打分。
- 指标:faithfulness(忠实度)、answer_relevancy(答案相关性)、context_recall(上下文召回)、context_precision(上下文精确率)。
- 优势:不需要人工标准答案,自动跑。
- 局限:LLM 裁判有偏差,和人工一致性约 70~85%。
原理流程
- 准备问题和检索到的上下文。
- RAGAS 用 LLM 评估各指标。
- 输出各项分数。
- 对比不同 RAG 方案的分数。
代码 / 示例
from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_recall
# RAGAS 评测
result = evaluate(
dataset=eval_dataset, # 包含 question, answer, contexts, ground_truth
metrics=[faithfulness, answer_relevancy, context_recall]
)
print(result)
常见误区
- 误区:RAGAS 分数就是最终效果;正解:RAGAS 是自动评测,和人工有偏差,关键决策还要人工评。
- 误区:RAGAS 不需要标注;正解:context_recall 需要 ground_truth(标准答案),还是要标注。
追问
- Q:RAGAS 用什么模型做裁判? A:通常用 GPT-4 或同级模型,裁判模型越强,评分越准。
- Q:RAGAS 分数多少算好? A:0.7 以上算可用,0.8 以上算好,具体看业务要求。
10.12.2-003 召回率怎么算?
频率 ★★★★ | 难度 进阶
一句话结论
召回率 = 检索到的相关文档数 / 所有相关文档总数;衡量"有没有漏掉相关文档";召回率低说明检索没找到该找的内容。
概念解释
- 相关文档:标准答案对应的文档片段。
- 召回率:找到的相关文档占所有相关文档的比例。
- 召回率低:漏了相关文档,RAG 会回答不全或答错。
- 精确率:检索到的文档里有多少是相关的。
原理流程
- 标注:每个问题的相关文档是哪些。
- 检索:跑检索,看找到哪些文档。
- 算召回率:找到的相关文档 / 总相关文档。
代码 / 示例
召回率计算:
问题: "公司的退款政策是什么?"
相关文档: [doc1, doc3, doc5] (共 3 篇相关)
检索到: [doc1, doc2, doc3] (找到 2 篇相关)
召回率 = 2/3 = 66.7%
常见误区
- 误区:召回率 100% 才好;正解:召回率高但精确率低(一堆无关文档)也不好,要平衡。
- 误区:召回率就是准确率;正解:召回率和精确率是两个指标,要一起看。
追问
- Q:召回率低怎么优化? A:改 chunk 大小、加混合检索、改 query 改写、加 Rerank。
- Q:召回率多少算好? A:业务场景不同,通常 80%+ 算可用。
10.12.2-004 忠实度怎么评?
频率 ★★★ | 难度 进阶
一句话结论
忠实度(faithfulness)衡量回答是否完全基于检索到的上下文,有没有编造;忠实度低说明模型在"幻觉",回答里有上下文没有的内容。
概念解释
- 忠实度:回答中的每个陈述都能在检索到的上下文里找到依据。
- 幻觉:回答里有上下文没有的内容,是编造的。
- 忠实度低:模型在编造,RAG 的可信度下降。
原理流程
- 把回答拆成一个个陈述。
- 每个陈述检查是否在上下文里有依据。
- 忠实度 = 有依据的陈述数 / 总陈述数。
代码 / 示例
忠实度评估:
回答: "退款政策是 7 天无理由, 而且需要提供发票"
上下文: "7 天无理由退款, 不需要发票"
陈述 1: "7 天无理由退款" → 上下文有, 忠实
陈述 2: "需要提供发票" → 上下文没有, 不忠实
忠实度 = 1/2 = 50%
常见误区
- 误区:回答看起来对就行;正解:要检查回答的每个陈述是否有上下文依据,不然就是幻觉。
- 误区:忠实度高就够了;正解:忠实度高但回答不切题也不行,还要看答案相关性。
追问
- Q:忠实度低怎么优化? A:改 prompt("只根据上下文回答,不要编造")、加引用(要求回答引用来源)、换更强的模型。
- Q:怎么自动评忠实度? A:RAGAS 用 LLM 拆陈述、检查依据,自动算忠实度。
10.12.2-005 RAG 效果不好怎么排查?
频率 ★★★★ | 难度 进阶
一句话结论
排查步骤:先看检索到的文档对不对 → 不对就优化检索;对了但回答不好 → 优化生成;一步步定位,不要上来就改模型。
概念解释
- 第一步:看检索结果,召回的文档相关吗?
- 第二步:检索对了,但回答不好,是生成问题。
- 第三步:检索不对,优化检索(chunk、embedding、rerank)。
原理流程
- 拿一个 bad case。
- 看检索到的文档,对不对?
- 不对 → 优化检索。
- 对 → 看回答哪里不好,优化生成。
代码 / 示例
RAG 排查流程:
1. 拿 bad case
2. 打印检索到的文档
- 文档相关吗?
- 不相关 → 优化检索 (chunk/embedding/rerank)
- 相关 → 下一步
3. 看回答
- 回答基于文档吗? 有没有编造?
- 编造 → 优化 prompt, 加引用
- 回答不全 → 优化召回率
- 回答不切题 → 优化 prompt
常见误区
- 误区:RAG 效果不好就换模型;正解:80% 的问题在检索,不是模型。
- 误区:上来就调各种参数;正解:先看检索结果,一步步定位。
追问
- Q:怎么快速定位问题? A:打印检索到的文档,一眼就能看出检索对不对。
- Q:常见问题有哪些? A:检索没召回相关文档、chunk 太大或太小、embedding 模型不匹配、prompt 不好。
10.12.2-006 检索和生成怎么分开评?
频率 ★★★ | 难度 进阶
一句话结论
分开评:检索只看召回的文档准不准,生成只看回答好不好;用同一个问题集,分别评两个阶段,定位问题在哪。
概念解释
- 检索评测:只看召回率、精确率,不管生成。
- 生成评测:给标准答案的上下文,看生成的回答好不好。
- 分开评:知道问题在检索还是生成。
原理流程
- 检索评测:问题 → 检索文档 → 评召回率。
- 生成评测:问题 + 标准答案上下文 → 生成回答 → 评忠实度和相关性。
- 对比:检索分低还是生成分低。
代码 / 示例
分开评测:
检索阶段:
问题 → 检索 → 评召回率/精确率
生成阶段:
问题 + 标准答案上下文 → 生成 → 评忠实度/相关性
对比:
检索分低 → 优化检索
生成分低 → 优化生成
常见误区
- 误区:只看端到端结果;正解:分开评才能定位问题,端到端分低不知道是哪的问题。
- 误区:检索和生成是耦合的;正解:可以分开评,检索用标准上下文,生成用标准检索结果。
追问
- Q:怎么构造生成阶段的评测? A:用人工标注的相关文档作为上下文,看模型生成的回答好不好。
- Q:为什么要分开? A:端到端效果差,你不知道是检索没找到,还是生成没写好。
10.12.2-007 RAG 评测需要标注什么?
频率 ★★★ | 难度 基础
一句话结论
需要标注:问题、标准答案(ground truth)、相关文档(哪些文档是回答这个问题的);有了这三样,就能算召回率、忠实度等指标。
概念解释
- 问题:用户的问题。
- 标准答案:人工写的正确回答。
- 相关文档:哪些文档片段是回答这个问题的依据。
- 有了这三样,就能自动算各种指标。
原理流程
- 收集问题。
- 人工写标准答案。
- 标注哪些文档是相关的。
- 有了这三样,就能跑 RAGAS 等自动评测。
代码 / 示例
{
"question": "公司的退款政策是什么?",
"answer": "7天无理由退款, 不需要发票",
"contexts": ["退款政策文档: 7天无理由..."],
"ground_truths": ["7天无理由退款"]
}
常见误区
- 误区:只标问题和答案就够了;正解:还要标相关文档,才能评检索质量。
- 误区:标准答案要完美;正解:标准答案是参考,不需要完美,关键是相关文档标注准。
追问
- Q:相关文档怎么标? A:人工看每篇文档,判断是否相关,或者用人工写的答案反向找。
- Q:标注量多大? A:50~100 道就够日常用,每道题标问题、答案、相关文档。
10.12.2-008 RAGAS 指标怎么解读?
频率 ★★★ | 难度 基础
一句话结论
RAGAS 四个核心指标:faithfulness(忠实度)、answer_relevancy(答案相关性)、context_recall(上下文召回)、context_precision(上下文精确率);分两类看,检索类和生成类。
概念解释
- faithfulness:回答是否基于上下文,不编造。
- answer_relevancy:回答是否切题。
- context_recall:相关文档有没有都被召回。
- context_precision:召回的文档里相关的多不多。
原理流程
- 跑 RAGAS,得到四个分数。
- 检索类(recall、precision)低 → 优化检索。
- 生成类(faithfulness、relevancy)低 → 优化生成。
代码 / 示例
RAGAS 指标解读:
context_recall 低 → 漏了相关文档, 优化召回
context_precision 低 → 召回太多无关文档, 优化精确率
faithfulness 低 → 模型在编造, 优化 prompt
answer_relevancy 低 → 回答不切题, 优化 prompt
常见误区
- 误区:四个指标都要 100%;正解:平衡即可,召回率高但精确率低也不好。
- 误区:RAGAS 分数就是绝对效果;正解:RAGAS 是相对值,对比不同方案的变化更有意义。
追问
- Q:哪个指标最重要? A:看业务,客服场景忠实度最重要(不能答错),检索场景召回率最重要。
- Q:RAGAS 分数多少算好? A:0.7+ 可用,0.8+ 好,具体看业务要求。
待整理清单
- [ ] RAGAS 与人工评估的一致性
- [ ] 多跳 RAG 的评测
- [ ] 表格 RAG 的评测
- [ ] RAG 评测的自动化流水线
- [ ] 线上 RAG 质量监控