罗罗编程学习记录
本页内容 展开查看

10.12.2 RAG 评测(RAGAS/召回率/忠实度)

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.12 评测与数据

覆盖范围

  • RAG 评测的核心指标
  • RAGAS 框架
  • 检索质量评测(召回率/精确率)
  • 生成质量评测(忠实度/相关性)
  • 端到端 RAG 评测
  • 常见问题与优化方向

高频题速览

编号 题目 难度 频率
10.12.2-001 RAG 评测有哪些核心指标? 进阶 ★★★★
10.12.2-002 RAGAS 是什么? 基础 ★★★
10.12.2-003 召回率怎么算? 进阶 ★★★★
10.12.2-004 忠实度怎么评? 进阶 ★★★
10.12.2-005 RAG 效果不好怎么排查? 进阶 ★★★★
10.12.2-006 检索和生成怎么分开评? 进阶 ★★★
10.12.2-007 RAG 评测需要标注什么? 基础 ★★★
10.12.2-008 RAGAS 指标怎么解读? 基础 ★★★

10.12.2-001 RAG 评测有哪些核心指标?

频率 ★★★★ | 难度 进阶

一句话结论

RAG 评测分两部分:检索质量(召回率、精确率、MRR)和生成质量(忠实度、答案相关性);检索是基础,检索不好生成再好也白搭。

概念解释

  • 检索指标:召回率(找到多少相关文档)、精确率(找到的里有多少相关)、MRR(第一个相关文档的排名)。
  • 生成指标:忠实度(回答是否基于检索到的文档,不编造)、答案相关性(回答是否切题)。
  • 分开评:检索和生成分开评,定位问题在检索还是生成。

原理流程

  1. 检索评测:看召回的文档是否相关。
  2. 生成评测:看回答是否基于文档、是否切题。
  3. 综合:检索好 + 生成好 = RAG 效果好。

代码 / 示例

RAG 核心指标:
  检索质量:
    - 召回率: 相关文档被找到的比例
    - 精确率: 检索到的文档中相关的比例
    - MRR: 第一个相关文档的排名倒数

  生成质量:
    - 忠实度: 回答是否基于检索到的上下文 (不编造)
    - 答案相关性: 回答是否切题

常见误区

  • 误区:只看最终回答好不好;正解:要分开评检索和生成,知道问题在哪。
  • 误区:检索召回率高就好;正解:召回率高但精确率低,检索到一堆无关文档,生成也会受影响。

追问

  • Q:先优化检索还是生成? A:先优化检索,检索好了生成才有基础。
  • Q:RAG 效果不好怎么定位? A:先看召回的文档对不对,不对就优化检索;对了但回答不好,就优化生成。

10.12.2-002 RAGAS 是什么?

频率 ★★★ | 难度 基础

一句话结论

RAGAS 是 RAG 自动评测框架:用 LLM 自动评估 RAG 的各项指标(忠实度、答案相关性、上下文召回率等),不需要人工标注标准答案。

概念解释

  • 自动化:用 LLM 做裁判,自动打分。
  • 指标:faithfulness(忠实度)、answer_relevancy(答案相关性)、context_recall(上下文召回)、context_precision(上下文精确率)。
  • 优势:不需要人工标准答案,自动跑。
  • 局限:LLM 裁判有偏差,和人工一致性约 70~85%。

原理流程

  1. 准备问题和检索到的上下文。
  2. RAGAS 用 LLM 评估各指标。
  3. 输出各项分数。
  4. 对比不同 RAG 方案的分数。

代码 / 示例

from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_recall

# RAGAS 评测
result = evaluate(
    dataset=eval_dataset,  # 包含 question, answer, contexts, ground_truth
    metrics=[faithfulness, answer_relevancy, context_recall]
)
print(result)

常见误区

  • 误区:RAGAS 分数就是最终效果;正解:RAGAS 是自动评测,和人工有偏差,关键决策还要人工评。
  • 误区:RAGAS 不需要标注;正解:context_recall 需要 ground_truth(标准答案),还是要标注。

追问

  • Q:RAGAS 用什么模型做裁判? A:通常用 GPT-4 或同级模型,裁判模型越强,评分越准。
  • Q:RAGAS 分数多少算好? A:0.7 以上算可用,0.8 以上算好,具体看业务要求。

10.12.2-003 召回率怎么算?

频率 ★★★★ | 难度 进阶

一句话结论

召回率 = 检索到的相关文档数 / 所有相关文档总数;衡量"有没有漏掉相关文档";召回率低说明检索没找到该找的内容。

概念解释

  • 相关文档:标准答案对应的文档片段。
  • 召回率:找到的相关文档占所有相关文档的比例。
  • 召回率低:漏了相关文档,RAG 会回答不全或答错。
  • 精确率:检索到的文档里有多少是相关的。

原理流程

  1. 标注:每个问题的相关文档是哪些。
  2. 检索:跑检索,看找到哪些文档。
  3. 算召回率:找到的相关文档 / 总相关文档。

代码 / 示例

召回率计算:
  问题: "公司的退款政策是什么?"
  相关文档: [doc1, doc3, doc5] (共 3 篇相关)
  检索到: [doc1, doc2, doc3] (找到 2 篇相关)
  
  召回率 = 2/3 = 66.7%

常见误区

  • 误区:召回率 100% 才好;正解:召回率高但精确率低(一堆无关文档)也不好,要平衡。
  • 误区:召回率就是准确率;正解:召回率和精确率是两个指标,要一起看。

追问

  • Q:召回率低怎么优化? A:改 chunk 大小、加混合检索、改 query 改写、加 Rerank。
  • Q:召回率多少算好? A:业务场景不同,通常 80%+ 算可用。

10.12.2-004 忠实度怎么评?

频率 ★★★ | 难度 进阶

一句话结论

忠实度(faithfulness)衡量回答是否完全基于检索到的上下文,有没有编造;忠实度低说明模型在"幻觉",回答里有上下文没有的内容。

概念解释

  • 忠实度:回答中的每个陈述都能在检索到的上下文里找到依据。
  • 幻觉:回答里有上下文没有的内容,是编造的。
  • 忠实度低:模型在编造,RAG 的可信度下降。

原理流程

  1. 把回答拆成一个个陈述。
  2. 每个陈述检查是否在上下文里有依据。
  3. 忠实度 = 有依据的陈述数 / 总陈述数。

代码 / 示例

忠实度评估:
  回答: "退款政策是 7 天无理由, 而且需要提供发票"
  上下文: "7 天无理由退款, 不需要发票"
  
  陈述 1: "7 天无理由退款" → 上下文有, 忠实
  陈述 2: "需要提供发票" → 上下文没有, 不忠实
  
  忠实度 = 1/2 = 50%

常见误区

  • 误区:回答看起来对就行;正解:要检查回答的每个陈述是否有上下文依据,不然就是幻觉。
  • 误区:忠实度高就够了;正解:忠实度高但回答不切题也不行,还要看答案相关性。

追问

  • Q:忠实度低怎么优化? A:改 prompt("只根据上下文回答,不要编造")、加引用(要求回答引用来源)、换更强的模型。
  • Q:怎么自动评忠实度? A:RAGAS 用 LLM 拆陈述、检查依据,自动算忠实度。

10.12.2-005 RAG 效果不好怎么排查?

频率 ★★★★ | 难度 进阶

一句话结论

排查步骤:先看检索到的文档对不对 → 不对就优化检索;对了但回答不好 → 优化生成;一步步定位,不要上来就改模型。

概念解释

  • 第一步:看检索结果,召回的文档相关吗?
  • 第二步:检索对了,但回答不好,是生成问题。
  • 第三步:检索不对,优化检索(chunk、embedding、rerank)。

原理流程

  1. 拿一个 bad case。
  2. 看检索到的文档,对不对?
  3. 不对 → 优化检索。
  4. 对 → 看回答哪里不好,优化生成。

代码 / 示例

RAG 排查流程:
  1. 拿 bad case
  2. 打印检索到的文档
     - 文档相关吗?
       - 不相关 → 优化检索 (chunk/embedding/rerank)
       - 相关 → 下一步
  3. 看回答
     - 回答基于文档吗? 有没有编造?
       - 编造 → 优化 prompt, 加引用
       - 回答不全 → 优化召回率
       - 回答不切题 → 优化 prompt

常见误区

  • 误区:RAG 效果不好就换模型;正解:80% 的问题在检索,不是模型。
  • 误区:上来就调各种参数;正解:先看检索结果,一步步定位。

追问

  • Q:怎么快速定位问题? A:打印检索到的文档,一眼就能看出检索对不对。
  • Q:常见问题有哪些? A:检索没召回相关文档、chunk 太大或太小、embedding 模型不匹配、prompt 不好。

10.12.2-006 检索和生成怎么分开评?

频率 ★★★ | 难度 进阶

一句话结论

分开评:检索只看召回的文档准不准,生成只看回答好不好;用同一个问题集,分别评两个阶段,定位问题在哪。

概念解释

  • 检索评测:只看召回率、精确率,不管生成。
  • 生成评测:给标准答案的上下文,看生成的回答好不好。
  • 分开评:知道问题在检索还是生成。

原理流程

  1. 检索评测:问题 → 检索文档 → 评召回率。
  2. 生成评测:问题 + 标准答案上下文 → 生成回答 → 评忠实度和相关性。
  3. 对比:检索分低还是生成分低。

代码 / 示例

分开评测:
  检索阶段:
    问题 → 检索 → 评召回率/精确率
  
  生成阶段:
    问题 + 标准答案上下文 → 生成 → 评忠实度/相关性
  
  对比:
    检索分低 → 优化检索
    生成分低 → 优化生成

常见误区

  • 误区:只看端到端结果;正解:分开评才能定位问题,端到端分低不知道是哪的问题。
  • 误区:检索和生成是耦合的;正解:可以分开评,检索用标准上下文,生成用标准检索结果。

追问

  • Q:怎么构造生成阶段的评测? A:用人工标注的相关文档作为上下文,看模型生成的回答好不好。
  • Q:为什么要分开? A:端到端效果差,你不知道是检索没找到,还是生成没写好。

10.12.2-007 RAG 评测需要标注什么?

频率 ★★★ | 难度 基础

一句话结论

需要标注:问题、标准答案(ground truth)、相关文档(哪些文档是回答这个问题的);有了这三样,就能算召回率、忠实度等指标。

概念解释

  • 问题:用户的问题。
  • 标准答案:人工写的正确回答。
  • 相关文档:哪些文档片段是回答这个问题的依据。
  • 有了这三样,就能自动算各种指标。

原理流程

  1. 收集问题。
  2. 人工写标准答案。
  3. 标注哪些文档是相关的。
  4. 有了这三样,就能跑 RAGAS 等自动评测。

代码 / 示例

{
  "question": "公司的退款政策是什么?",
  "answer": "7天无理由退款, 不需要发票",
  "contexts": ["退款政策文档: 7天无理由..."],
  "ground_truths": ["7天无理由退款"]
}

常见误区

  • 误区:只标问题和答案就够了;正解:还要标相关文档,才能评检索质量。
  • 误区:标准答案要完美;正解:标准答案是参考,不需要完美,关键是相关文档标注准。

追问

  • Q:相关文档怎么标? A:人工看每篇文档,判断是否相关,或者用人工写的答案反向找。
  • Q:标注量多大? A:50~100 道就够日常用,每道题标问题、答案、相关文档。

10.12.2-008 RAGAS 指标怎么解读?

频率 ★★★ | 难度 基础

一句话结论

RAGAS 四个核心指标:faithfulness(忠实度)、answer_relevancy(答案相关性)、context_recall(上下文召回)、context_precision(上下文精确率);分两类看,检索类和生成类。

概念解释

  • faithfulness:回答是否基于上下文,不编造。
  • answer_relevancy:回答是否切题。
  • context_recall:相关文档有没有都被召回。
  • context_precision:召回的文档里相关的多不多。

原理流程

  1. 跑 RAGAS,得到四个分数。
  2. 检索类(recall、precision)低 → 优化检索。
  3. 生成类(faithfulness、relevancy)低 → 优化生成。

代码 / 示例

RAGAS 指标解读:

context_recall 低 → 漏了相关文档, 优化召回
context_precision 低 → 召回太多无关文档, 优化精确率
faithfulness 低 → 模型在编造, 优化 prompt
answer_relevancy 低 → 回答不切题, 优化 prompt

常见误区

  • 误区:四个指标都要 100%;正解:平衡即可,召回率高但精确率低也不好。
  • 误区:RAGAS 分数就是绝对效果;正解:RAGAS 是相对值,对比不同方案的变化更有意义。

追问

  • Q:哪个指标最重要? A:看业务,客服场景忠实度最重要(不能答错),检索场景召回率最重要。
  • Q:RAGAS 分数多少算好? A:0.7+ 可用,0.8+ 好,具体看业务要求。

待整理清单

  • [ ] RAGAS 与人工评估的一致性
  • [ ] 多跳 RAG 的评测
  • [ ] 表格 RAG 的评测
  • [ ] RAG 评测的自动化流水线
  • [ ] 线上 RAG 质量监控