05.5.2.5 向量库索引算法与召回权衡
所属:全栈开发面试题库 / 05 数据库与存储 / 05.5 NoSQL 与专用存储 / 05.5.2 文档、搜索与向量存储
覆盖范围
- 语义检索与 RAG 定位、向量相似度度量
- 暴力扫描复杂度与 ANN 近似检索权衡
- IVF、HNSW 结构与关键参数
- 标量量化 SQ、乘积量化 PQ、磁盘索引
- 标量过滤、召回/延迟评估、混合检索与选型清单
检索主线
文本 → Embedding 模型 → 向量
查询向量 → ANN 索引 → 候选 TopK → 相似度排序 → 返回
权衡:召回率 ↔ 延迟 ↔ 内存;精度用近似算法 + 量化换取规模
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.5.2.5-002 | 相似度度量 | 进阶 | ★★★★☆ |
| 05.5.2.5-004 | ANN 召回-延迟权衡 | 高级 | ★★★★★ |
| 05.5.2.5-005 | IVF nlist/nprobe | 高级 | ★★★★☆ |
| 05.5.2.5-006 | HNSW M/efConstruction/efSearch | 高级 | ★★★★★ |
| 05.5.2.5-007 | HNSW vs IVF | 进阶 | ★★★★☆ |
| 05.5.2.5-008 | SQ/PQ 量化 | 高级 | ★★★☆☆ |
| 05.5.2.5-011 | recall@k / P99 评估 | 进阶 | ★★★★☆ |
| 05.5.2.5-015 | BM25 + 向量混合 RRF | 高级 | ★★★★☆ |
05.5.2.5-001 向量检索在 RAG 中处于什么位置?
频率 ★★★☆☆ | 难度 基础
一句话结论
RAG 先把知识文本切块并 Embedding 入库;用户问题向量化后检索 TopK 相关片段,拼进上下文交给大模型生成答案。
概念解释
- 离线索引:文档切块 → Embedding → 向量库存储(含原文与元数据)。
- 在线检索:问题向量化 → 相似度检索 TopK。
- 生成:检索片段 + 问题 → LLM 生成答案。
原理流程
文档 → 切块 → 向量入库
提问 → 向量 → TopK 片段 → 拼接 prompt → LLM 回答
代码 / 命令
# 伪流程:embedding(question) → search(vector, top_k=5) → 拼装上下文
常见误区
- 误区:向量库替代大模型生成。正解:向量库负责找相关片段,生成由 LLM 完成。
- 误区:切块大小对检索无影响。正解:切块粒度直接影响片段相关性与上下文完整度。
追问
- 问:向量库存什么?答:向量、原文片段、文档 id/时间/权限等元数据。
- 问:检索不到相关片段怎么办?答:检查 embedding 质量、切块、同义词与混合检索。
05.5.2.5-002 向量相似度用哪些度量?
频率 ★★★★☆ | 难度 进阶
一句话结论
常用余弦相似度(Cosine)、欧氏距离(L2)、内积(IP);度量需与 Embedding 训练时一致,归一化后余弦与内积等价。
概念解释
- Cosine:方向相似,忽略模长,文本常用。
- L2(欧氏):向量空间距离,越小越近。
- IP(内积):含模长信息,归一化后等同余弦。
原理流程
查询向量与库内向量 → 计算度量 → 按相似度排序取 TopK
代码 / 命令
# 度量在建索引时指定;不同度量不可混用比较
# cosine / l2 / ip
常见误区
- 误区:不同度量可以混在一个索引比较。正解:索引按固定度量构建,混用结果无意义。
- 误区:内积和余弦总是一样。正解:仅向量归一化后等价。
追问
- 问:文本 Embedding 常用哪种?答:余弦相似度为主。
- 问:距离和相似度方向相反?答:L2 越小越近;余弦/内积越大越相似。
05.5.2.5-003 暴力扫描(brute force)的复杂度是多少?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
暴力检索把查询向量与库内每个向量逐一计算距离,复杂度 O(N·D),N 为向量数、D 为维度;规模大时延迟不可接受。
概念解释
- N:库内向量总数。
- D:向量维度。
- 成本:每次查询扫全库,内存带宽与计算随 N 线性增长。
原理流程
query × 全部 N 个向量 → 距离计算 → 排序取 TopK
代码 / 命令
# 小规模或评估召回基线时用 brute-force 精确检索
常见误区
- 误区:暴力检索结果不准。正解:它是精确结果,只是慢。
- 误区:ANN 是为了减少内存。正解:ANN 主要降查询延迟,内存收益需靠量化。
追问
- 问:暴力扫描适合什么规模?答:万级以内或作为召回对照基线。
- 问:D 大对成本影响?答:单次距离计算随维度上升,高维向量成本更高。
05.5.2.5-004 ANN 近似检索在权衡什么?
频率 ★★★★★ | 难度 高级
一句话结论
ANN 用近似结构在可接受的召回损失下大幅降低查询复杂度;核心权衡是召回率、查询延迟(P99)与内存占用。
概念解释
- 召回率(recall):TopK 中找到真实近邻的比例。
- 延迟:单次检索响应时间。
- 内存:索引结构与量化占用。
- 取舍:调参提高召回通常增加延迟/内存。
原理流程
ANN 索引 → 只访问候选子集 → 近似 TopK
候选越多 → 召回越高 → 延迟/成本越高
代码 / 命令
# 评估:对比 ANN 结果与 brute-force 基线的 recall@k
常见误区
- 误区:ANN 结果和暴力完全一致。正解:近似算法可能漏掉部分近邻。
- 误区:召回 100% 才可用。正解:按业务容忍度选择召回-延迟平衡点。
追问
- 问:三个指标哪个优先?答:在线场景先保延迟 P99,再在预算内提召回。
- 问:召回下降怎么补?答:增大搜索候选数、调整索引参数或混合检索。
05.5.2.5-005 IVF 的 nlist 和 nprobe 是什么?
频率 ★★★★☆ | 难度 高级
一句话结论
IVF 先把向量聚类成 nlist 个簇,查询只搜索最近的 nprobe 个簇;nlist 影响分簇粒度,nprobe 控制搜索范围与召回/延迟。
概念解释
- nlist:训练时聚类簇数。
- nprobe:查询时访问的邻近簇数量。
- 权衡:nprobe 越大召回越高,扫描簇越多延迟越高。
原理流程
训练:向量 → k-means 聚类 → nlist 簇
查询:定位最近 nprobe 簇 → 簇内比对 → TopK
代码 / 命令
# Faiss IVF 示例参数(伪代码)
# nlist = 100(簇数);查询 nprobe = 10(访问簇数)
常见误区
- 误区:IVF 建索引后无需训练。正解:需先用样本向量聚类训练质心。
- 误区:nprobe 越大索引越好。正解:它是查询期参数,过大退化为近暴力扫描。
追问
- 问:数据量小适合 IVF 吗?答:样本不足时聚类不稳,小库可暴力或 HNSW。
- 问:新增向量怎么入 IVF 簇?答:分配到最近簇,结构按实现支持增量与否核对。
05.5.2.5-006 HNSW 的 M、efConstruction、efSearch 是什么?
频率 ★★★★★ | 难度 高级
一句话结论
HNSW 是多层可导航小世界图:M 为节点连接数,efConstruction 控制建图质量,efSearch 控制查询时候选队列大小。
概念解释
- M:每个节点邻居连接数,影响图密度与内存。
- efConstruction:构建时候选数,越大图质量越好、构建越慢。
- efSearch:查询时搜索候选宽度,越大召回越高、延迟越高。
原理流程
建图:分层跳层连接 → 邻居数 M,候选 efConstruction
查询:顶层粗定位 → 下层细化 → efSearch 候选队列 → TopK
代码 / 命令
# 典型参数(伪代码,按具体向量库核对字段名)
# M = 16;efConstruction = 200;efSearch = 100
常见误区
- 误区:HNSW 是分层链表不需要图遍历。正解:它是多层邻居图,查询沿邻居导航。
- 误区:efSearch 设越大越好无成本。正解:候选队列扩大增加计算与延迟。
追问
- 问:M 大小怎么影响内存?答:M 越大邻居指针越多,内存占用上升。
- 问:HNSW 召回调哪个参数?答:主要调 efSearch;建图质量看 efConstruction。
05.5.2.5-007 HNSW 和 IVF 怎么选?
频率 ★★★★☆ | 难度 进阶
一句话结论
HNSW 查询召回稳定、延迟低、动态插入友好,内存占用较高;IVF 聚类分桶,内存较省但依赖训练与簇划分,海量数据可结合量化。
概念解释
| 维度 | HNSW | IVF |
|---|---|---|
| 结构 | 多层图 | 聚类簇倒排 |
| 召回 | 通常较高稳定 | 依赖 nprobe 与聚类质量 |
| 内存 | 邻居指针较高 | 簇结构较省 |
| 增量 | 插入友好 | 增量支持受限 |
| 适用 | 在线低延迟检索 | 海量、可量化、批处理 |
原理流程
低延迟高召回在线 → HNSW
超大规模 + 量化压缩 → IVF/PQ 组合
代码 / 命令
# 选型前用同一数据集对比 recall@k 与 P99 延迟
常见误区
- 误区:HNSW 在所有规模都优于 IVF。正解:超大规模下 HNSW 内存压力大,IVF+量化更省。
- 误区:IVF 召回一定低。正解:nprobe 足够大时接近暴力,只是延迟上升。
追问
- 问:两者能组合吗?答:部分实现支持 IVF 粗筛 + 图/量化精排,按产品能力核对。
- 问:动态更新频繁选哪个?答:HNSW 插入更新更友好。
05.5.2.5-008 SQ 和 PQ 量化是怎么压缩向量的?
频率 ★★★☆☆ | 难度 高级
一句话结论
标量量化(SQ)把浮点向量压成低比特整数;乘积量化(PQ)把向量切分子段分别编码,大幅降低内存,以一定精度损失为代价。
概念解释
- SQ(标量量化):逐维量化为 int8 等,压缩简单、损失小。
- PQ(乘积量化):分段 + 子空间码本,压缩比高,重建距离有近似误差。
- 目的:降低内存,支持更大向量规模。
原理流程
原始浮点向量 → SQ 逐维量化 / PQ 分段编码 → 压缩存储
查询 → 近似距离计算 → 可能重排(rerank)精排
代码 / 命令
# Faiss:SQ8 / PQ 索引类型;PQ 子段数与码本大小按库核对
常见误区
- 误区:量化后精度无损。正解:量化是近似,召回会有损失。
- 误区:PQ 适合小数据集。正解:PQ 编码训练有成本,海量向量收益才明显。
追问
- 问:量化损失怎么补召回?答:粗排召回大候选,用原始/高维向量 rerank 精排。
- 问:SQ 与 PQ 压缩比谁高?答:PQ 压缩比更高,误差也更大。
05.5.2.5-009 标量过滤(metadata filter)有哪两种执行方式?
频率 ★★☆☆☆ | 难度 高级
一句话结论
预过滤(pre-filter)先按元数据筛候选再查向量;后过滤(post-filter)先向量检索再剔除不满足条件者;前者过滤选择性强,后者避免过滤后候选不足。
概念解释
- pre-filter:先过滤元数据,在子集内做 ANN。
- post-filter:ANN 取足量候选后过滤,可能需多取候选补位。
- 权衡:过滤条件选择性、候选充足度。
原理流程
pre: 过滤集 → 子集内向量检索
post: 向量 TopN 扩展候选 → 过滤条件 → 补足 K 条
代码 / 命令
# 查询示例:status=online 的向量 TopK
# filter: { "status": "online" }
常见误区
- 误区:带过滤的向量查询都能高效走 ANN。正解:过滤后子集过小或实现为 post-filter 时,召回/延迟受影响。
- 误区:post-filter 取 TopK 就够。正解:过滤会丢弃候选,需扩大召回量再补位。
追问
- 问:强过滤条件选哪种?答:选择性高用 pre-filter,避免在全量上算向量。
- 问:元数据索引重要吗?答:过滤字段需有索引/高效过滤能力,否则过滤成为瓶颈。
05.5.2.5-010 向量库产品一般提供哪些能力?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
向量库提供向量入库与索引、相似度检索、元数据过滤、CRUD、集合/分区管理与监控;部分含混合检索、分片副本与持久化。
概念解释
- 核心:Embedding 存储、ANN 索引、TopK 查询。
- 配套:元数据过滤、标量字段、更新删除。
- 扩展:分片、副本、持久化、混合检索与权限。
原理流程
入库:向量 + 元数据 → 建索引
查询:向量 + 过滤 → ANN → TopK
代码 / 命令
# 各产品 API 不同;概念对齐:collection / index / search / filter
常见误区
- 误区:向量库就是 Redis/ES 加个字段。正解:专用索引结构、量化与检索优化是其核心差异。
- 误区:向量库不需要持久化。正解:生产需持久化与备份,避免重建成本。
追问
- 问:ES/Redis 也能存向量吗?答:可做轻量向量检索,专用向量库在规模与算法上更强(按版本能力核对)。
- 问:向量库和 Embedding 模型是一回事吗?答:模型生成向量,库负责存储与检索。
05.5.2.5-011 怎么评估召回率和检索性能?
频率 ★★★★☆ | 难度 进阶
一句话结论
用 recall@k 对比 ANN 与暴力基线的 TopK 重合度;性能看 QPS、P95/P99 延迟与内存占用,在标注集上做基准。
概念解释
- **recall@k**:ANN 前 K 中真实近邻占比。
- 延迟:P95/P99 而非平均值。
- 资源:内存、构建时间、QPS。
原理流程
标注查询集 → brute-force 金标准 → ANN 检索 → 算 recall@k + 延迟/内存
代码 / 命令
# recall@k = |ANN_topK ∩ gold_topK| / k
常见误区
- 误区:只看平均延迟。正解:在线接口以 P99 尾延迟为准。
- 误区:召回在小样本上调好就代表全量。正解:需覆盖真实分布的标注集评估。
追问
- 问:没有标注金标准怎么办?答:用暴力结果作近似金标准,人工抽样核对相关性。
- 问:召回和延迟冲突怎么定指标?答:按业务 SLA 设 P99 上限,在此基础上最大化召回。
05.5.2.5-012 索引参数怎么调优?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
先固定度量与数据集基线,再调 HNSW 的 efSearch/M、IVF 的 nprobe/nlist、量化级别;每次只调一组,复测 recall@k 与 P99。
概念解释
- 基线:暴力检索 recall 与延迟作对照。
- 调参顺序:结构参数 → 搜索参数 → 量化压缩。
- 复测:指标回归,避免顾此失彼。
原理流程
基线 → 调搜索候选宽度 → 看召回/延迟 → 调结构/量化 → 复测
代码 / 命令
# HNSW:efSearch 在线调;M/efConstruction 建库期定
常见误区
- 误区:照搬公开默认参数即可。正解:维度、规模、度量与业务分布不同,需实测。
- 误区:建库后反复改 M。正解:M 多为建库参数,改动需重建索引。
追问
- 问:线上召回下降先查什么?答:efSearch、数据分布变化、量化误差与过滤比例。
- 问:参数调整影响内存吗?答:M 与量化级别直接影响内存占用。
05.5.2.5-013 内存不够时磁盘索引(diskANN)是什么思路?
频率 ★★☆☆☆ | 难度 高级
一句话结论
向量规模超内存时,图索引分层存磁盘,热点/上层在内存,查询按需从磁盘加载节点,以更高延迟换取可容纳超大规模向量。
概念解释
- diskANN:磁盘驻留图索引,内存缓存部分结构。
- 权衡:避免全量向量占内存,查询有磁盘随机读延迟。
- 适用:十亿级以上、延迟敏感度较低的场景。
原理流程
图节点存磁盘 → 内存缓存上层/热点 → 查询导航按需加载磁盘节点
代码 / 命令
# 按产品支持的磁盘索引类型选择;评估磁盘 IO 与 P99
常见误区
- 误区:diskANN 延迟和内存索引一样。正解:磁盘随机读拉高尾延迟。
- 误区:所有大规模场景都上 diskANN。正解:内存能容纳时内存图索引延迟更优。
追问
- 问:磁盘索引瓶颈在哪?答:随机 IO 与缓存命中率。
- 问:内存与磁盘怎么分层?答:上层导航/热点驻内存,底层节点落磁盘。
05.5.2.5-014 向量的更新和删除怎么处理?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
向量更新多为删除旧向量 + 插入新向量;图/聚类索引对删除常做墓碑标记,后台压缩清理;持续更新需评估索引膨胀与重建。
概念解释
- 删除:标记墓碑,检索时跳过。
- 更新:旧向量删 + 新向量插。
- 压缩/重建:墓碑积累后回收,必要时重建索引。
原理流程
删除/更新 → 墓碑标记 → 检索跳过 → 后台压缩/重建回收
代码 / 命令
# 按产品 delete/update 接口;监控被删标记占比
常见误区
- 误区:删除向量立即释放索引空间。正解:多为墓碑延迟清理。
- 误区:频繁更新不影响索引质量。正解:墓碑与碎片积累会降低召回、占内存。
追问
- 问:元数据变更需要重算向量吗?答:仅标量字段变更多数不需重算;文本内容变了要重新 Embedding。
- 问:怎么判断需要重建索引?答:墓碑比例高、召回下降或结构失衡时评估重建。
05.5.2.5-015 BM25 和向量检索怎么混合?RRF 怎么融合?
频率 ★★★★☆ | 难度 高级
一句话结论
BM25 擅长关键词精确匹配,向量擅长语义相似;混合检索两路召回后融合排序,RRF 按排名位次融合,规避两路分数量纲不同。
概念解释
- BM25:词项命中,术语/编号精确。
- 向量:语义相近,同义/改写匹配。
- RRF:
score = Σ 1/(k + rank_i),用位次而非原始分融合。
原理流程
查询 → BM25 路 + 向量路各自 TopK
→ RRF 按排名融合 → 合并排序 → 最终 TopK
代码 / 命令
# RRF 公式:RRF(d) = Σ 1/(k + rank_i(d)),k 常取 60 类经验值
常见误区
- 误区:两路分数直接相加。正解:BM25 分与向量相似度量纲不同,直接加权需归一化,RRF 更稳。
- 误区:向量检索能完全替代关键词。正解:编号、专有名词、精确术语 BM25 仍更强。
追问
- 问:混合检索召回覆盖什么?答:关键词命中 + 语义相似互补,减少单一方式漏召。
- 问:权重怎么调?答:RRF 先按位次融合;需要侧重某路再调权重/候选数。
05.5.2.5-016 RAG 流程中检索质量受哪些环节影响?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
影响链包括切块策略、Embedding 模型、向量索引参数、元数据过滤与重排;任一环节短板都会让最终答案缺乏依据。
概念解释
- 切块:粒度、重叠、结构保留。
- Embedding:模型与领域匹配度。
- 检索:召回 TopK、过滤、混合与 rerank。
- 生成:上下文拼装与引用。
原理流程
文档切块 → Embedding → 入库
提问 → 检索 → 重排 → 上下文 → LLM
代码 / 命令
# 排查 bad case:先看是否召回到相关片段,再看生成是否误用
常见误区
- 误区:RAG 效果只取决于大模型。正解:检索不到相关片段,模型无法生成有依据答案。
- 误区:切块越大上下文越全越好。正解:过大降低向量区分度,混入无关内容。
追问
- 问:检索到相关片段但答案错?答:侧重重排、上下文排序与生成提示。
- 问:领域术语检索差怎么办?答:领域 Embedding、同义词词典与 BM25 混合。
05.5.2.5-017 为什么不能只追求召回率?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
召回率高不等于答案好,还要看精确率、相关片段排序、延迟与成本;盲目扩大候选会拖慢在线接口并引入噪声片段。
概念解释
- 召回 vs 精确:多取候选提高召回,但混入不相关内容。
- 排序/重排:相关片段是否排在前面进入上下文。
- 成本:候选越多,向量计算与后续 LLM 上下文成本越高。
原理流程
候选扩大 → 召回升 → 噪声/延迟/上下文成本升 → 需重排提纯
代码 / 命令
# 评估:recall@k、精确率、P99、进入 LLM 的片段质量
常见误区
- 误区:TopK 越大越好。正解:无关片段进入上下文会干扰生成,增加 token 成本。
- 误区:召回高就代表检索系统合格。正解:需结合排序与下游生成效果评估。
追问
- 问:噪声片段怎么过滤?答:相关性阈值、元数据过滤、重排模型精排。
- 问:在线延迟和召回冲突怎么取舍?答:限定候选数,离线重排或分级检索。
05.5.2.5-018 向量库选型检查清单有哪些?
频率 ★★☆☆☆ | 难度 基础
一句话结论
清单覆盖:向量规模与维度、度量、延迟/召回 SLA、更新频率、元数据过滤、混合检索、持久化副本、内存/磁盘方案与团队运维能力。
概念解释
- 规模:向量数、维度、增长预期。
- 性能:QPS、P99、recall@k 目标。
- 功能:过滤、混合检索、更新删除、持久化、分片副本。
- 成本:内存/磁盘、运维复杂度。
原理流程
需求指标 → 候选产品基准测试 → recall/延迟/内存对比 → 选型落地
代码 / 命令
# 基准:同一数据集跑 recall@k、P99、内存占用后再决定
常见误区
- 误区:按产品热度选型。正解:以自有数据集基准指标为准。
- 误区:忽略更新与过滤需求。正解:只测纯向量 TopK,上线后过滤/更新成为瓶颈。
追问
- 问:小规模 RAG 必须专用向量库吗?答:小规模可用内嵌/轻量方案,规模增长后再迁专用库。
- 问:选型前要准备什么?答:真实查询集、标注金标准与规模/延迟目标。
参考来源
- Faiss Wiki:索引类型与量化:https://github.com/facebookresearch/faiss/wiki
- HNSW 论文与结构说明:https://arxiv.org/abs/1603.09320
- Elasticsearch 向量检索:https://www.elastic.co/guide/en/elasticsearch/reference/current/knn-search.html
- Redis 向量检索(RediSearch):https://redis.io/docs/latest/develop/use/