06.5 阶段 4:RAG 检索增强
所属:全栈开发面试题库 / 学习路径 / 06 AI Agent
本页目录
一、阶段定位
模型的知识有截止日期、不含你的私有文档。RAG(Retrieval-Augmented Generation,检索增强生成)解决的问题是:在回答前,先从你的文档库里检索出相关片段,塞进上下文,让模型基于这些材料作答。这样回答有来源、可引用、可拒答,而不是凭记忆编造。
为什么这是阶段 4:前面的工具调用(阶段 3)让模型能查实时信息,RAG 是它的一个特例——检索器就是一个工具。但 RAG 比调一次 API 复杂得多:文档要解析、要切分、要 embedding、要存进向量库、要检索、要重排、要拼装、要评测。它是企业知识库问答的标准形态。
与前后阶段的衔接:往上接 阶段 3 工具调用,检索器就是一个工具;往下接 阶段 5 Agent 编排,Agent 会把 RAG 作为记忆组件。跳过本阶段直接做 Agent,常见后果是:切分把表格标题切断、只做向量检索忽略关键词、检索结果不重排全塞上下文、不做拒答模型硬编答案、文档更新后索引不同步。
本阶段的卡点(判断依据):
- 切分只按固定长度,把表格、标题与正文切断:现象是一个 chunk 里前半句是标题后半句是表格数据,embedding 后语义混乱。判断标准:你能否说清固定长度切分的问题,并给出按结构切分或重叠的方案。
- 只做向量检索忽略关键词匹配:现象是搜"GB28181"这种专有名词,向量检索召不回,因为同义词匹配不上。判断标准:你能否说出 BM25 关键词检索与向量检索的互补关系。
- 检索结果不重排直接全量塞进上下文:现象是塞了 20 个 chunk,模型抓不住重点,成本高。判断标准:你能否说出 top_k 与 rerank 的作用。
- 不做拒答,模型对无关问题硬编答案:现象是问"今天天气",模型从文档里硬凑一段。判断标准:你能否在检索不到相关资料时让模型明确拒答。
- 文档更新后索引不同步:现象是文档改了,问答还是旧内容。判断标准:你能否说明增量更新与重建索引的区别。
二、阶段目标与投入
| 能力目标(可验证的行为) | 验证方式 |
|---|---|
| 能把文档解析、切分、embedding、入库跑通 | 一份 PDF 能切出 chunk 并能向量检索回来 |
| 能说出 chunk 大小、重叠、embedding 维度的取舍 | 对比 256/512/1024 token 切分的召回差异 |
| 能区分向量检索与 BM25 混合检索 | 专有名词查询在混合检索下召回正常 |
| 能对检索结果做 rerank 与上下文拼装 | top_k=20 经 rerank 取 5,带引用 |
| 能实现检索不到时拒答 | 无关问题模型不硬编,明确说找不到资料 |
| 能构建评测集并记录召回率、正确率、幻觉率 | 30 条问答评测集有指标输出 |
建议学时:
- 全职(每天 4–6 小时):2.5 周,约 60 小时。其中解析切分 12 小时、embedding 与向量库 16 小时、混合检索与 rerank 12 小时、上下文与拒答 10 小时、评测 10 小时。
- 在职(每天 2 小时、周末补 4 小时):5–6 周,约 65 小时。评测要动手建,不要只看概念。
学时分配:解析切分 18%、embedding 与向量库 27%、混合检索与元数据 18%、rerank 与上下文 15%、拒答与幻觉 12%、评测 10%。向量库与检索是核心。
三、先修自检
| 先修项 | 合格标准 | 不合格时回到 |
|---|---|---|
| chat completions | 能发请求并管理 messages | 06.1 阶段 0 |
| 结构化输出 | 能用 JSON Schema 约束 | 06.3 阶段 2 |
| 工具调用 | 能实现 tool_calls 循环 | 06.4 阶段 3 |
| Python 数据处理 | 能读写文件、处理列表 | 补 Python 基础 |
经验判断:如果你写过数据库,最容易理解向量库是"按相似度而非按精确匹配查";最容易忽视的是"检索质量决定回答上限,模型再强也救不回错的检索"。
四、知识地图
| 模块 | 知识点 | 掌握程度 | 对应题库章节 |
|---|---|---|---|
| 解析与切分 | 文档清洗、chunk 大小/重叠、按结构切分 | 会用 | 10.3 RAG 检索增强 |
| embedding 与向量 | embedding 模型、维度、余弦/点积相似度 | 能讲清原理 | 10.3 RAG 检索增强 |
| 向量库与索引 | HNSW/IVF、pgvector/Milvus/Qdrant | 会用 | 05.6 向量数据库与语义检索 |
| 混合检索 | BM25 + 向量、元数据过滤 | 会用 | 10.3 RAG 检索增强 |
| rerank 与拼装 | top_k、重排、引用、上下文窗口 | 会用 | 10.3 RAG 检索增强 |
| 拒答与评测 | 幻觉抑制、召回率、faithfulness、RAGAS | 会用 | 10.3 RAG 检索增强 |
进度管理建议:用一份自有文档库贯穿本阶段。《知识点全清单》给全量条目;术语查《术语表》;向量库取舍另见 05.6 向量数据库。
五、分模块精讲
5.1 文档解析、清洗与切分
为什么需要它:原始文档(PDF、Word、HTML)含页眉页脚、表格、目录、格式符号。直接塞给模型既浪费 token 又引入噪声。切分(chunking)把长文档切成小段,每段单独 embedding 入库。
核心机制:
- 解析:PDF 提取文本时保留标题层级;表格尽量转成结构化文本(Markdown 表格)而不是拆散的行列。
- 清洗:去掉页眉页脚、重复导航、空白、乱码。
- 切分策略:
- 固定长度:按 token 数切(常见 256–1024 token),带重叠(overlap 10–20%)防止切断语义。
- 按结构:按标题/段落/句子边界切,比固定长度更保语义。
- 语义切分:相邻句子语义突变处切开。
- chunk 太小:上下文不足,检索到片段但回答不了问题;太大:噪声多、不精确、浪费上下文。
- 重叠的作用:避免一句话被从中间切开,两侧都能检索到。
最小可运行示例:
# chunking.py:按 token 数切分并带重叠
def chunk_text(text: str, chunk_size: int = 500, overlap: int = 80) -> list[str]:
# 简化版按字符切;生产用 tokenizer 按 token 切
chunks = []
start = 0
while start < len(text):
end = start + chunk_size
chunks.append(text[start:end])
start = end - overlap # 回退 overlap 实现重叠
return chunks
doc = "第一章 概述 ... " * 50
chunks = chunk_text(doc, chunk_size=500, overlap=80)
print(f"切出 {len(chunks)} 个 chunk")
# 每个 chunk 带元数据:来源、页码、标题路径
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| chunk 里表格被拆成碎行 | 按固定长度切 | 表格整块保留,或按结构切 |
| 一句话被从中间切开 | 没设 overlap | 加 10–20% 重叠 |
| chunk 太小回答不完整 | chunk_size 太小 | 调到 500–800 token |
| chunk 太大噪声多 | chunk_size 太大 | 缩小到能独立表达一个意思 |
面试考法:问"chunk 大小怎么定"。要点:太小上下文不足,太大噪声多;常见 256–1024 token,带 10–20% 重叠;按标题/段落边界切优于纯固定长度。追问常问"为什么要重叠",答到"防止一句话从中间切开,两侧都能被检索到"。
5.2 embedding 模型与向量
为什么需要它:要按语义而非字面匹配,必须把文本转成向量(embedding),再算向量相似度。这是 RAG 的检索基础。
核心机制:
- embedding 模型把文本映射成固定长度的浮点向量(常见维度 384、768、1024、1536、3072)。
- 语义相近的文本向量距离近,即使字面不同("怎么退款"和"如何退货")。
- 相似度度量:余弦相似度(cosine,最常用)、点积(dot product)、欧氏距离。归一化后余弦与点积等价。
- 不同 embedding 模型产生的向量不能混用,维度也不同;换模型必须重建索引。
- 一个 embedding 调用一次(批量可一次多段),query 用同一模型 embedding。
最小可运行示例:
# embedding.py:调用 embedding 接口(OpenAI 兼容)
import httpx
from config import BASE_URL, API_KEY, auth_header
def embed(texts: list[str]) -> list[list[float]]:
r = httpx.post(f"{BASE_URL}/embeddings", headers=auth_header(),
json={"model": "text-embedding-3-small", "input": texts},
timeout=30.0)
return [d["embedding"] for d in r.json()["data"]]
vecs = embed(["怎么退款", "如何退货", "今天天气"])
print(f"维度: {len(vecs[0])}") # 如 1536
# 算余弦相似度
import math
def cos(a, b):
dot = sum(x*y for x, y in zip(a, b))
na = math.sqrt(sum(x*x for x in a)); nb = math.sqrt(sum(y*y for y in b))
return dot / (na*nb)
print("退款 vs 退货:", cos(vecs[0], vecs[1])) # 高
print("退款 vs 天气:", cos(vecs[0], vecs[2])) # 低
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 检索结果语义对不上 | query 与文档用了不同 embedding 模型 | 统一用同一模型 |
| 向量维度不一致 | 换了模型没重建索引 | 换模型必须重建索引 |
| 专有名词召回差 | 向量语义匹配对精确词弱 | 加 BM25 混合检索(5.4) |
面试考法:问"为什么 embedding 能做语义检索"。要点:embedding 模型把文本映射到向量空间,语义相近文本向量距离近,用余弦相似度度量;不同模型向量不通用,换模型要重建索引。
5.3 向量库与索引类型
为什么需要它:几十万到几百万条向量,逐条算余弦太慢。向量库用近似最近邻(ANN)索引加速检索,在精度与速度间取平衡。
核心机制:
- 常见索引类型:
- HNSW(Hierarchical Navigable Small World):图索引,查询快、召回高,内存占用较大,是当前主流。参数
M(每个节点连接数)、ef_search(搜索宽度),越大越准越慢。 - IVF(Inverted File):先聚类分桶,只搜附近桶,训练时需要指定
nlist(桶数),查询时nprobe(搜几个桶)。
- HNSW(Hierarchical Navigable Small World):图索引,查询快、召回高,内存占用较大,是当前主流。参数
- 常见向量库:pgvector(PostgreSQL 扩展,适合已有 PG 的轻量场景)、Milvus(大规模生产)、Qdrant(Rust 写,过滤强)、Elasticsearch(向量+关键词混合)。
- 选型:数据量小、已有 PG → pgvector;大规模、高吞吐 → Milvus/Qdrant;要混合检索 → Elasticsearch 或 Qdrant。
- 元数据(来源、时间、部门)随向量一起存,可过滤。
最小可运行示例:
# vector_store.py:用 pgvector 概念示意(伪代码)
# 建表:id, content, embedding(vector 维度)
# CREATE TABLE docs (id bigserial, content text, embedding vector(1536));
# 建 HNSW 索引
# CREATE INDEX ON docs USING hnsw (embedding vector_cosine_ops);
# 检索:找与 query 向量最相近的 5 条
# SELECT content FROM docs ORDER BY embedding <=> $1 LIMIT 5;
# <=> 是余弦距离运算符
# search.py:检索接口
def retrieve(query_vec: list[float], top_k: int = 5) -> list[str]:
# 实际调用向量库,返回 top_k 条 content
...
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 检索慢但召回一般 | 索引参数默认没调好 | HNSW 调大 ef_search;IVF 调 nprobe |
| 内存占用高 | HNSW 图索引占内存 | 评估数据量,必要时选 IVF |
| 加了元数据过滤后召回下降 | 过滤过严 | 先粗筛再向量排序,或用支持过滤的库 |
面试考法:问"HNSW 和 IVF 的区别"。要点:HNSW 是图索引,查询快召回高但占内存;IVF 是聚类分桶,内存小但要调 nprobe。追问常问"怎么选向量库",答到"小量+已有 PG 用 pgvector,大规模用 Milvus/Qdrant,混合检索用 ES/Qdrant"。
5.4 元数据过滤与混合检索
为什么需要它:纯向量检索对专有名词、编号、精确词不敏感。混合检索(BM25 关键词 + 向量语义)互补:关键词匹配精确词,向量匹配语义。
核心机制:
- BM25:基于词频的关键词检索,对"GB28181""订单号 A-1"这类精确词召回好。
- 混合检索:向量召回 top 20 + BM25 召回 top 20,合并后用 rerank 重排。
- 元数据过滤:检索时按来源、时间、部门、文档类型过滤,缩小范围。
- 加权融合:向量分与 BM25 分加权(如 0.5/0.5),或用 RRF(Reciprocal Rank Fusion)。
最小可运行示例:
# hybrid.py:向量 + BM25 召回后合并
def hybrid_retrieve(query: str, top_k: int = 20) -> list[str]:
vec_hits = vector_search(query, top_k) # 语义召回
kw_hits = bm25_search(query, top_k) # 关键词召回
# 合并去重(RRF:按排名融合)
merged = rrf_fuse(vec_hits, kw_hits)
return merged[:top_k]
def rrf_fuse(*ranked_lists, k: int = 60):
scores = {}
for lst in ranked_lists:
for rank, item in enumerate(lst):
scores[item] = scores.get(item, 0) + 1.0 / (k + rank + 1)
return sorted(scores, key=scores.get, reverse=True)
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 搜专有名词召回为零 | 纯向量检索 | 加 BM25 关键词召回 |
| 跨部门数据串了 | 没加元数据过滤 | 检索时按部门过滤 |
| 两路结果重复 | 没去重 | 用 RRF 融合去重 |
面试考法:问"为什么要混合检索"。要点:向量检索懂语义但对精确词弱,BM25 懂关键词但不懂同义;两者互补,合并后用 RRF 融合再重排。
5.5 rerank 与上下文拼装、引用
为什么需要它:检索召回的 top 20 是粗排,不保证最相关的排前面。rerank(重排)用更精细的模型对 query 与每个 chunk 重新打分,取最相关的几条塞进上下文,提高质量、降低成本。
核心机制:
- 流程:混合检索召回 top 20 → rerank 模型重排 → 取 top 5 塞进 prompt。
- rerank 模型是 cross-encoder,同时看 query 与 chunk,打分比向量检索准,但慢,所以只对少量候选重排。
- 上下文拼装:把选中的 chunk 编号(如 [1]、[2]),拼进 system 提示词,要求模型引用编号。
- 引用:模型回答时带 [1][2],对应来源文档,可溯源。
- 控制:chunk 总数不超过上下文窗口,通常塞 3–5 条最相关。
最小可运行示例:
# build_context.py:检索 + rerank + 拼装
def answer(question: str) -> str:
candidates = hybrid_retrieve(question, top_k=20)
# rerank 重排
reranked = rerank(question, candidates)[:5]
# 拼装上下文
context = "\n\n".join(f"[{i+1}] {c}" for i, c in enumerate(reranked))
messages = [
{"role": "system", "content":
"你是知识库助手。只根据以下资料回答,并在句末用 [编号] 引用。"
"资料中找不到答案时,明确说'根据现有资料无法回答',不要编造。\n\n" + context},
{"role": "user", "content": question},
]
# 调用模型返回回答
...
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 塞太多 chunk 模型抓不住重点 | 没 rerank,全塞 top 20 | rerank 后取 3–5 条 |
| 回答没有来源 | 没要求引用 | system 里要求带 [编号] 引用 |
| 模型还是硬编答案 | 没写拒答规则 | system 里加"找不到就说无法回答" |
面试考法:问"rerank 为什么用 cross-encoder 而不是向量检索"。要点:向量检索是双塔(query 和文档分开编码)快但粗;cross-encoder 同时看两者打分准但慢,所以先向量粗排召回、再 cross-encoder 精排取少量。
5.6 拒答、幻觉抑制与 RAG 评测
为什么需要它:RAG 的价值是"可溯源、不胡说"。但如果检索到无关资料,模型仍会硬编。必须显式拒答,并用评测集量化质量。
核心机制:
- 拒答:system 里明确"资料中找不到就说无法回答,不要编造";检索相似度低于阈值(如余弦 < 0.5)时直接不调模型。
- 幻觉抑制:要求回答必须基于给定资料,引用来源;脱离资料的回答视为失败。
- 评测指标:
- 召回率(recall@k):正确 chunk 是否进了 top k。
- faithfulness(忠实度):回答是否被给定资料支持(RAGAS 指标)。
- 答案正确率:回答是否正确。
- 幻觉率:编造了资料里没有的内容比例。
- RAGAS:常用 RAG 评测框架,提供 faithfulness、answer relevancy、context recall 等指标。
- 增量更新:文档变更时按文档 ID 更新对应 chunk,不全量重建。
最小可运行示例:
# eval_rag.py:最小评测集
# 每条:问题、期望答案、相关 chunk id
EVAL_CASES = [
{"q": "怎么退款", "expected_contains": "7天", "related": ["chunk_12"]},
{"q": "今天天气", "expected_refuse": True}, # 无关问题应拒答
]
def evaluate(cases):
results = []
for c in cases:
resp = answer(c["q"])
if c.get("expected_refuse"):
ok = "无法回答" in resp
else:
ok = c["expected_contains"] in resp
results.append(ok)
acc = sum(results) / len(results)
print(f"准确率 {acc:.0%}")
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 无关问题模型硬编 | 没拒答规则或没阈值 | system 加拒答;相似度低于阈值不调模型 |
| 回答不基于资料 | 没要求引用 | 要求带编号引用,评测 faithfulness |
| 文档更新问答还是旧的 | 索引没增量更新 | 按文档 ID 更新 chunk |
面试考法:问"怎么评估一个 RAG 系统好不好"。要点:召回率看检索对不对,faithfulness 看回答是否被资料支持,正确率看答案对不对,幻觉率看有没有编造;用 RAGAS 这类工具量化,bad case 持续回流。
六、分层练习
6.1 复现型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 跑通切分+embedding+入库 | 一份文档切 chunk 并向量入库 | 能检索回对应片段 | 3 小时 |
| 对比 chunk 大小 | 用 256/512/1024 切分对比召回 | 记录差异 | 2 小时 |
| 向量 vs 关键词检索 | 同一查询分别跑向量与 BM25 | 看到召回差异 | 2 小时 |
| 加 rerank | 对 top 20 重排取 5 | 最相关的排前面 | 2 小时 |
| 实现拒答 | 无关问题模型返回"无法回答" | 不硬编 | 1.5 小时 |
6.2 改造型
| 练习 | 要求 | 验收标准 | 预计耗时 | ||
|---|---|---|---|---|---|
| 从固定长度切分改为按标题 | 给定固定切分,改按结构 | 表格不再被切断 | 2.5 小时 | ||
| 加元数据过滤 | 按部门过滤检索 | 跨部门不串数据 | 2 小时 | ||
| 加引用编号 | 回答带 [1][2] | 可溯源到文档 | 1.5 小时 | ||
| 加相似度阈值 | 低于 0.5 不调模型 | 低相似度问题直接拒答 | 1.5 小时 | ||
| 增量更新 | 改文档后只更新对应 chunk | 不全量重建 | 2.5 小时 |
6.3 设计型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 完整知识库问答 | 自有文档库接入,带引用与拒答 | 回答有来源、无关问题拒答 | 8 小时 |
| 30 条评测集 | 含正常/边界/对抗样本 | 输出召回率、正确率、幻觉率 | 6 小时 |
| 混合检索调优 | 向量/BM25 权重与 RRF 融合 | 专有名词查询召回正常 | 5 小时 |
七、排障表
| 现象 | 可能原因 | 排查步骤 | 解决办法 |
|---|---|---|---|
| 检索结果语义对不上 | query 与文档用了不同 embedding 模型 | 检查模型名 | 统一模型,重建索引 |
| 专有名词召回为零 | 纯向量检索 | 用 BM25 试同一查询 | 加混合检索 |
| chunk 里表格被拆碎 | 固定长度切分 | 看切分结果 | 按结构切分,表格整块保留 |
| 塞太多 chunk 抓不住重点 | 没 rerank | 看上下文长度 | rerank 后取 3–5 条 |
| 无关问题模型硬编 | 没拒答规则 | 看 system 提示 | 加拒答规则与相似度阈值 |
| 回答没有来源 | 没要求引用 | 看回答是否带编号 | system 要求带 [编号] 引用 |
| 文档更新后问答是旧的 | 索引没增量更新 | 对比文档与 chunk | 按文档 ID 更新 chunk |
| 检索慢召回低 | HNSW/IVF 参数默认 | 调 ef_search/nprobe | 按数据量调索引参数 |
八、出口条件
全部勾选后再进入 阶段 5 Agent 架构与编排。
- [ ] 能跑通文档解析→切分→embedding→入库→检索完整链路
- [ ] 能说出 chunk 大小、重叠、embedding 维度的取舍理由
- [ ] 能区分向量检索与 BM25 并做混合检索
- [ ] 能用 rerank 对 top 20 重排取 3–5 条,带引用拼装
- [ ] 能实现检索不到时拒答,不让模型硬编
- [ ] 能构建 30 条评测集并输出召回率、正确率、幻觉率
- [ ] 能说明文档更新后如何增量重建索引
自测题(先自己想,再看要点):
- chunk 为什么要设重叠?
- 要点:防止一句话从中间被切断,让两侧都能被检索到,常见 10–20%。
- 为什么要混合向量检索和 BM25?
- 要点:向量懂语义但对专有名词/编号弱,BM25 懂精确词但不懂同义;两者互补,RRF 融合后重排。
- rerank 为什么用 cross-encoder?
- 要点:向量双塔快但粗,cross-encoder 同时看 query 与文档打分准但慢,所以先向量粗排召回、再 cross-encoder 精排取少量。
- 怎么让模型对无关问题拒答?
- 要点:system 明确"资料找不到就说无法回答",相似度低于阈值直接不调模型,评测集里加入拒答用例。
- 换 embedding 模型为什么要重建索引?
- 要点:不同模型向量空间和维度不同,旧向量与新 query 不可比,必须全量重新 embedding。
- HNSW 和 IVF 的取舍?
- 要点:HNSW 查询快召回高但占内存;IVF 内存小但要调 nprobe;按数据量与延迟要求选。
- RAGAS 的 faithfulness 指什么?
- 要点:回答是否被给定资料支持,即回答里的每个论断能否在检索到的上下文里找到依据;低于阈值说明有幻觉。