罗罗编程学习记录
本页内容 展开查看

05.5.2.5 向量库索引算法与召回权衡

所属:全栈开发面试题库 / 05 数据库与存储 / 05.5 NoSQL 与专用存储 / 05.5.2 文档、搜索与向量存储

覆盖范围

  • 语义检索与 RAG 定位、向量相似度度量
  • 暴力扫描复杂度与 ANN 近似检索权衡
  • IVF、HNSW 结构与关键参数
  • 标量量化 SQ、乘积量化 PQ、磁盘索引
  • 标量过滤、召回/延迟评估、混合检索与选型清单

检索主线

文本 → Embedding 模型 → 向量
查询向量 → ANN 索引 → 候选 TopK → 相似度排序 → 返回
权衡:召回率 ↔ 延迟 ↔ 内存;精度用近似算法 + 量化换取规模

高频题速览

编号 题目 难度 频率
05.5.2.5-002 相似度度量 进阶 ★★★★☆
05.5.2.5-004 ANN 召回-延迟权衡 高级 ★★★★★
05.5.2.5-005 IVF nlist/nprobe 高级 ★★★★☆
05.5.2.5-006 HNSW M/efConstruction/efSearch 高级 ★★★★★
05.5.2.5-007 HNSW vs IVF 进阶 ★★★★☆
05.5.2.5-008 SQ/PQ 量化 高级 ★★★☆☆
05.5.2.5-011 recall@k / P99 评估 进阶 ★★★★☆
05.5.2.5-015 BM25 + 向量混合 RRF 高级 ★★★★☆

05.5.2.5-001 向量检索在 RAG 中处于什么位置?

频率 ★★★☆☆ | 难度 基础

一句话结论

RAG 先把知识文本切块并 Embedding 入库;用户问题向量化后检索 TopK 相关片段,拼进上下文交给大模型生成答案。

概念解释

  • 离线索引:文档切块 → Embedding → 向量库存储(含原文与元数据)。
  • 在线检索:问题向量化 → 相似度检索 TopK。
  • 生成:检索片段 + 问题 → LLM 生成答案。

原理流程

文档 → 切块 → 向量入库
提问 → 向量 → TopK 片段 → 拼接 prompt → LLM 回答

代码 / 命令

# 伪流程:embedding(question) → search(vector, top_k=5) → 拼装上下文

常见误区

  • 误区:向量库替代大模型生成。正解:向量库负责找相关片段,生成由 LLM 完成。
  • 误区:切块大小对检索无影响。正解:切块粒度直接影响片段相关性与上下文完整度。

追问

  • 问:向量库存什么?答:向量、原文片段、文档 id/时间/权限等元数据。
  • 问:检索不到相关片段怎么办?答:检查 embedding 质量、切块、同义词与混合检索。

05.5.2.5-002 向量相似度用哪些度量?

频率 ★★★★☆ | 难度 进阶

一句话结论

常用余弦相似度(Cosine)、欧氏距离(L2)、内积(IP);度量需与 Embedding 训练时一致,归一化后余弦与内积等价。

概念解释

  • Cosine:方向相似,忽略模长,文本常用。
  • L2(欧氏):向量空间距离,越小越近。
  • IP(内积):含模长信息,归一化后等同余弦。

原理流程

查询向量与库内向量 → 计算度量 → 按相似度排序取 TopK

代码 / 命令

# 度量在建索引时指定;不同度量不可混用比较
# cosine / l2 / ip

常见误区

  • 误区:不同度量可以混在一个索引比较。正解:索引按固定度量构建,混用结果无意义。
  • 误区:内积和余弦总是一样。正解:仅向量归一化后等价。

追问

  • 问:文本 Embedding 常用哪种?答:余弦相似度为主。
  • 问:距离和相似度方向相反?答:L2 越小越近;余弦/内积越大越相似。

05.5.2.5-003 暴力扫描(brute force)的复杂度是多少?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

暴力检索把查询向量与库内每个向量逐一计算距离,复杂度 O(N·D),N 为向量数、D 为维度;规模大时延迟不可接受。

概念解释

  • N:库内向量总数。
  • D:向量维度。
  • 成本:每次查询扫全库,内存带宽与计算随 N 线性增长。

原理流程

query × 全部 N 个向量 → 距离计算 → 排序取 TopK

代码 / 命令

# 小规模或评估召回基线时用 brute-force 精确检索

常见误区

  • 误区:暴力检索结果不准。正解:它是精确结果,只是慢。
  • 误区:ANN 是为了减少内存。正解:ANN 主要降查询延迟,内存收益需靠量化。

追问

  • 问:暴力扫描适合什么规模?答:万级以内或作为召回对照基线。
  • 问:D 大对成本影响?答:单次距离计算随维度上升,高维向量成本更高。

05.5.2.5-004 ANN 近似检索在权衡什么?

频率 ★★★★★ | 难度 高级

一句话结论

ANN 用近似结构在可接受的召回损失下大幅降低查询复杂度;核心权衡是召回率、查询延迟(P99)与内存占用。

概念解释

  • 召回率(recall):TopK 中找到真实近邻的比例。
  • 延迟:单次检索响应时间。
  • 内存:索引结构与量化占用。
  • 取舍:调参提高召回通常增加延迟/内存。

原理流程

ANN 索引 → 只访问候选子集 → 近似 TopK
候选越多 → 召回越高 → 延迟/成本越高

代码 / 命令

# 评估:对比 ANN 结果与 brute-force 基线的 recall@k

常见误区

  • 误区:ANN 结果和暴力完全一致。正解:近似算法可能漏掉部分近邻。
  • 误区:召回 100% 才可用。正解:按业务容忍度选择召回-延迟平衡点。

追问

  • 问:三个指标哪个优先?答:在线场景先保延迟 P99,再在预算内提召回。
  • 问:召回下降怎么补?答:增大搜索候选数、调整索引参数或混合检索。

05.5.2.5-005 IVF 的 nlist 和 nprobe 是什么?

频率 ★★★★☆ | 难度 高级

一句话结论

IVF 先把向量聚类成 nlist 个簇,查询只搜索最近的 nprobe 个簇;nlist 影响分簇粒度,nprobe 控制搜索范围与召回/延迟。

概念解释

  • nlist:训练时聚类簇数。
  • nprobe:查询时访问的邻近簇数量。
  • 权衡:nprobe 越大召回越高,扫描簇越多延迟越高。

原理流程

训练:向量 → k-means 聚类 → nlist 簇
查询:定位最近 nprobe 簇 → 簇内比对 → TopK

代码 / 命令

# Faiss IVF 示例参数(伪代码)
# nlist = 100(簇数);查询 nprobe = 10(访问簇数)

常见误区

  • 误区:IVF 建索引后无需训练。正解:需先用样本向量聚类训练质心。
  • 误区:nprobe 越大索引越好。正解:它是查询期参数,过大退化为近暴力扫描。

追问

  • 问:数据量小适合 IVF 吗?答:样本不足时聚类不稳,小库可暴力或 HNSW。
  • 问:新增向量怎么入 IVF 簇?答:分配到最近簇,结构按实现支持增量与否核对。

05.5.2.5-006 HNSW 的 M、efConstruction、efSearch 是什么?

频率 ★★★★★ | 难度 高级

一句话结论

HNSW 是多层可导航小世界图:M 为节点连接数,efConstruction 控制建图质量,efSearch 控制查询时候选队列大小。

概念解释

  • M:每个节点邻居连接数,影响图密度与内存。
  • efConstruction:构建时候选数,越大图质量越好、构建越慢。
  • efSearch:查询时搜索候选宽度,越大召回越高、延迟越高。

原理流程

建图:分层跳层连接 → 邻居数 M,候选 efConstruction
查询:顶层粗定位 → 下层细化 → efSearch 候选队列 → TopK

代码 / 命令

# 典型参数(伪代码,按具体向量库核对字段名)
# M = 16;efConstruction = 200;efSearch = 100

常见误区

  • 误区:HNSW 是分层链表不需要图遍历。正解:它是多层邻居图,查询沿邻居导航。
  • 误区:efSearch 设越大越好无成本。正解:候选队列扩大增加计算与延迟。

追问

  • 问:M 大小怎么影响内存?答:M 越大邻居指针越多,内存占用上升。
  • 问:HNSW 召回调哪个参数?答:主要调 efSearch;建图质量看 efConstruction。

05.5.2.5-007 HNSW 和 IVF 怎么选?

频率 ★★★★☆ | 难度 进阶

一句话结论

HNSW 查询召回稳定、延迟低、动态插入友好,内存占用较高;IVF 聚类分桶,内存较省但依赖训练与簇划分,海量数据可结合量化。

概念解释

维度 HNSW IVF
结构 多层图 聚类簇倒排
召回 通常较高稳定 依赖 nprobe 与聚类质量
内存 邻居指针较高 簇结构较省
增量 插入友好 增量支持受限
适用 在线低延迟检索 海量、可量化、批处理

原理流程

低延迟高召回在线 → HNSW
超大规模 + 量化压缩 → IVF/PQ 组合

代码 / 命令

# 选型前用同一数据集对比 recall@k 与 P99 延迟

常见误区

  • 误区:HNSW 在所有规模都优于 IVF。正解:超大规模下 HNSW 内存压力大,IVF+量化更省。
  • 误区:IVF 召回一定低。正解:nprobe 足够大时接近暴力,只是延迟上升。

追问

  • 问:两者能组合吗?答:部分实现支持 IVF 粗筛 + 图/量化精排,按产品能力核对。
  • 问:动态更新频繁选哪个?答:HNSW 插入更新更友好。

05.5.2.5-008 SQ 和 PQ 量化是怎么压缩向量的?

频率 ★★★☆☆ | 难度 高级

一句话结论

标量量化(SQ)把浮点向量压成低比特整数;乘积量化(PQ)把向量切分子段分别编码,大幅降低内存,以一定精度损失为代价。

概念解释

  • SQ(标量量化):逐维量化为 int8 等,压缩简单、损失小。
  • PQ(乘积量化):分段 + 子空间码本,压缩比高,重建距离有近似误差。
  • 目的:降低内存,支持更大向量规模。

原理流程

原始浮点向量 → SQ 逐维量化 / PQ 分段编码 → 压缩存储
查询 → 近似距离计算 → 可能重排(rerank)精排

代码 / 命令

# Faiss:SQ8 / PQ 索引类型;PQ 子段数与码本大小按库核对

常见误区

  • 误区:量化后精度无损。正解:量化是近似,召回会有损失。
  • 误区:PQ 适合小数据集。正解:PQ 编码训练有成本,海量向量收益才明显。

追问

  • 问:量化损失怎么补召回?答:粗排召回大候选,用原始/高维向量 rerank 精排。
  • 问:SQ 与 PQ 压缩比谁高?答:PQ 压缩比更高,误差也更大。

05.5.2.5-009 标量过滤(metadata filter)有哪两种执行方式?

频率 ★★☆☆☆ | 难度 高级

一句话结论

预过滤(pre-filter)先按元数据筛候选再查向量;后过滤(post-filter)先向量检索再剔除不满足条件者;前者过滤选择性强,后者避免过滤后候选不足。

概念解释

  • pre-filter:先过滤元数据,在子集内做 ANN。
  • post-filter:ANN 取足量候选后过滤,可能需多取候选补位。
  • 权衡:过滤条件选择性、候选充足度。

原理流程

pre:  过滤集 → 子集内向量检索
post: 向量 TopN 扩展候选 → 过滤条件 → 补足 K 条

代码 / 命令

# 查询示例:status=online 的向量 TopK
# filter: { "status": "online" }

常见误区

  • 误区:带过滤的向量查询都能高效走 ANN。正解:过滤后子集过小或实现为 post-filter 时,召回/延迟受影响。
  • 误区:post-filter 取 TopK 就够。正解:过滤会丢弃候选,需扩大召回量再补位。

追问

  • 问:强过滤条件选哪种?答:选择性高用 pre-filter,避免在全量上算向量。
  • 问:元数据索引重要吗?答:过滤字段需有索引/高效过滤能力,否则过滤成为瓶颈。

05.5.2.5-010 向量库产品一般提供哪些能力?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

向量库提供向量入库与索引、相似度检索、元数据过滤、CRUD、集合/分区管理与监控;部分含混合检索、分片副本与持久化。

概念解释

  • 核心:Embedding 存储、ANN 索引、TopK 查询。
  • 配套:元数据过滤、标量字段、更新删除。
  • 扩展:分片、副本、持久化、混合检索与权限。

原理流程

入库:向量 + 元数据 → 建索引
查询:向量 + 过滤 → ANN → TopK

代码 / 命令

# 各产品 API 不同;概念对齐:collection / index / search / filter

常见误区

  • 误区:向量库就是 Redis/ES 加个字段。正解:专用索引结构、量化与检索优化是其核心差异。
  • 误区:向量库不需要持久化。正解:生产需持久化与备份,避免重建成本。

追问

  • 问:ES/Redis 也能存向量吗?答:可做轻量向量检索,专用向量库在规模与算法上更强(按版本能力核对)。
  • 问:向量库和 Embedding 模型是一回事吗?答:模型生成向量,库负责存储与检索。

05.5.2.5-011 怎么评估召回率和检索性能?

频率 ★★★★☆ | 难度 进阶

一句话结论

用 recall@k 对比 ANN 与暴力基线的 TopK 重合度;性能看 QPS、P95/P99 延迟与内存占用,在标注集上做基准。

概念解释

  • **recall@k**:ANN 前 K 中真实近邻占比。
  • 延迟:P95/P99 而非平均值。
  • 资源:内存、构建时间、QPS。

原理流程

标注查询集 → brute-force 金标准 → ANN 检索 → 算 recall@k + 延迟/内存

代码 / 命令

# recall@k = |ANN_topK ∩ gold_topK| / k

常见误区

  • 误区:只看平均延迟。正解:在线接口以 P99 尾延迟为准。
  • 误区:召回在小样本上调好就代表全量。正解:需覆盖真实分布的标注集评估。

追问

  • 问:没有标注金标准怎么办?答:用暴力结果作近似金标准,人工抽样核对相关性。
  • 问:召回和延迟冲突怎么定指标?答:按业务 SLA 设 P99 上限,在此基础上最大化召回。

05.5.2.5-012 索引参数怎么调优?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

先固定度量与数据集基线,再调 HNSW 的 efSearch/M、IVF 的 nprobe/nlist、量化级别;每次只调一组,复测 recall@k 与 P99。

概念解释

  • 基线:暴力检索 recall 与延迟作对照。
  • 调参顺序:结构参数 → 搜索参数 → 量化压缩。
  • 复测:指标回归,避免顾此失彼。

原理流程

基线 → 调搜索候选宽度 → 看召回/延迟 → 调结构/量化 → 复测

代码 / 命令

# HNSW:efSearch 在线调;M/efConstruction 建库期定

常见误区

  • 误区:照搬公开默认参数即可。正解:维度、规模、度量与业务分布不同,需实测。
  • 误区:建库后反复改 M。正解:M 多为建库参数,改动需重建索引。

追问

  • 问:线上召回下降先查什么?答:efSearch、数据分布变化、量化误差与过滤比例。
  • 问:参数调整影响内存吗?答:M 与量化级别直接影响内存占用。

05.5.2.5-013 内存不够时磁盘索引(diskANN)是什么思路?

频率 ★★☆☆☆ | 难度 高级

一句话结论

向量规模超内存时,图索引分层存磁盘,热点/上层在内存,查询按需从磁盘加载节点,以更高延迟换取可容纳超大规模向量。

概念解释

  • diskANN:磁盘驻留图索引,内存缓存部分结构。
  • 权衡:避免全量向量占内存,查询有磁盘随机读延迟。
  • 适用:十亿级以上、延迟敏感度较低的场景。

原理流程

图节点存磁盘 → 内存缓存上层/热点 → 查询导航按需加载磁盘节点

代码 / 命令

# 按产品支持的磁盘索引类型选择;评估磁盘 IO 与 P99

常见误区

  • 误区:diskANN 延迟和内存索引一样。正解:磁盘随机读拉高尾延迟。
  • 误区:所有大规模场景都上 diskANN。正解:内存能容纳时内存图索引延迟更优。

追问

  • 问:磁盘索引瓶颈在哪?答:随机 IO 与缓存命中率。
  • 问:内存与磁盘怎么分层?答:上层导航/热点驻内存,底层节点落磁盘。

05.5.2.5-014 向量的更新和删除怎么处理?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

向量更新多为删除旧向量 + 插入新向量;图/聚类索引对删除常做墓碑标记,后台压缩清理;持续更新需评估索引膨胀与重建。

概念解释

  • 删除:标记墓碑,检索时跳过。
  • 更新:旧向量删 + 新向量插。
  • 压缩/重建:墓碑积累后回收,必要时重建索引。

原理流程

删除/更新 → 墓碑标记 → 检索跳过 → 后台压缩/重建回收

代码 / 命令

# 按产品 delete/update 接口;监控被删标记占比

常见误区

  • 误区:删除向量立即释放索引空间。正解:多为墓碑延迟清理。
  • 误区:频繁更新不影响索引质量。正解:墓碑与碎片积累会降低召回、占内存。

追问

  • 问:元数据变更需要重算向量吗?答:仅标量字段变更多数不需重算;文本内容变了要重新 Embedding。
  • 问:怎么判断需要重建索引?答:墓碑比例高、召回下降或结构失衡时评估重建。

05.5.2.5-015 BM25 和向量检索怎么混合?RRF 怎么融合?

频率 ★★★★☆ | 难度 高级

一句话结论

BM25 擅长关键词精确匹配,向量擅长语义相似;混合检索两路召回后融合排序,RRF 按排名位次融合,规避两路分数量纲不同。

概念解释

  • BM25:词项命中,术语/编号精确。
  • 向量:语义相近,同义/改写匹配。
  • RRF:score = Σ 1/(k + rank_i),用位次而非原始分融合。

原理流程

查询 → BM25 路 + 向量路各自 TopK
→ RRF 按排名融合 → 合并排序 → 最终 TopK

代码 / 命令

# RRF 公式:RRF(d) = Σ 1/(k + rank_i(d)),k 常取 60 类经验值

常见误区

  • 误区:两路分数直接相加。正解:BM25 分与向量相似度量纲不同,直接加权需归一化,RRF 更稳。
  • 误区:向量检索能完全替代关键词。正解:编号、专有名词、精确术语 BM25 仍更强。

追问

  • 问:混合检索召回覆盖什么?答:关键词命中 + 语义相似互补,减少单一方式漏召。
  • 问:权重怎么调?答:RRF 先按位次融合;需要侧重某路再调权重/候选数。

05.5.2.5-016 RAG 流程中检索质量受哪些环节影响?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

影响链包括切块策略、Embedding 模型、向量索引参数、元数据过滤与重排;任一环节短板都会让最终答案缺乏依据。

概念解释

  • 切块:粒度、重叠、结构保留。
  • Embedding:模型与领域匹配度。
  • 检索:召回 TopK、过滤、混合与 rerank。
  • 生成:上下文拼装与引用。

原理流程

文档切块 → Embedding → 入库
提问 → 检索 → 重排 → 上下文 → LLM

代码 / 命令

# 排查 bad case:先看是否召回到相关片段,再看生成是否误用

常见误区

  • 误区:RAG 效果只取决于大模型。正解:检索不到相关片段,模型无法生成有依据答案。
  • 误区:切块越大上下文越全越好。正解:过大降低向量区分度,混入无关内容。

追问

  • 问:检索到相关片段但答案错?答:侧重重排、上下文排序与生成提示。
  • 问:领域术语检索差怎么办?答:领域 Embedding、同义词词典与 BM25 混合。

05.5.2.5-017 为什么不能只追求召回率?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

召回率高不等于答案好,还要看精确率、相关片段排序、延迟与成本;盲目扩大候选会拖慢在线接口并引入噪声片段。

概念解释

  • 召回 vs 精确:多取候选提高召回,但混入不相关内容。
  • 排序/重排:相关片段是否排在前面进入上下文。
  • 成本:候选越多,向量计算与后续 LLM 上下文成本越高。

原理流程

候选扩大 → 召回升 → 噪声/延迟/上下文成本升 → 需重排提纯

代码 / 命令

# 评估:recall@k、精确率、P99、进入 LLM 的片段质量

常见误区

  • 误区:TopK 越大越好。正解:无关片段进入上下文会干扰生成,增加 token 成本。
  • 误区:召回高就代表检索系统合格。正解:需结合排序与下游生成效果评估。

追问

  • 问:噪声片段怎么过滤?答:相关性阈值、元数据过滤、重排模型精排。
  • 问:在线延迟和召回冲突怎么取舍?答:限定候选数,离线重排或分级检索。

05.5.2.5-018 向量库选型检查清单有哪些?

频率 ★★☆☆☆ | 难度 基础

一句话结论

清单覆盖:向量规模与维度、度量、延迟/召回 SLA、更新频率、元数据过滤、混合检索、持久化副本、内存/磁盘方案与团队运维能力。

概念解释

  • 规模:向量数、维度、增长预期。
  • 性能:QPS、P99、recall@k 目标。
  • 功能:过滤、混合检索、更新删除、持久化、分片副本。
  • 成本:内存/磁盘、运维复杂度。

原理流程

需求指标 → 候选产品基准测试 → recall/延迟/内存对比 → 选型落地

代码 / 命令

# 基准:同一数据集跑 recall@k、P99、内存占用后再决定

常见误区

  • 误区:按产品热度选型。正解:以自有数据集基准指标为准。
  • 误区:忽略更新与过滤需求。正解:只测纯向量 TopK,上线后过滤/更新成为瓶颈。

追问

  • 问:小规模 RAG 必须专用向量库吗?答:小规模可用内嵌/轻量方案,规模增长后再迁专用库。
  • 问:选型前要准备什么?答:真实查询集、标注金标准与规模/延迟目标。

参考来源