05.6.6.1 索引类型与工厂字符串
所属:全栈开发面试题库 / 05 数据库与存储 / 05.6 向量数据库与语义检索 / 05.6.6 Faiss
覆盖范围
- Faiss 的库定位:嵌入进程的检索算法库,不是服务
- index_factory 工厂字符串语法、索引族与组合写法
- Flat / IVFFlat / IVFPQ / HNSWFlat / HNSWPQ / LSH / IVFSQ / OPQ / PCA / Refine / IDMap
- train 前置条件、add 与 add_with_ids、nprobe 与 efSearch 入口
- 外部 ID 管理、IDSelector 删除、range_search、MetricType
- GPU 索引前缀与转换、索引大小与召回判断链、常见写法错误
工厂字符串主线
faiss.index_factory(d, "PCA64,OPQ16,IVF1024,PQ16", METRIC_L2)
预处理(PCA/OPQ) → 粗量化(IVF nlist) → 残差编码(Flat/PQ/SQ)
包装层:IDMap2, RefineFlat, HNSW...
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.6.6.1-001 | Faiss 是库不是服务 | 基础 | ★★★★★ |
| 05.6.6.1-002 | index_factory 函数签名 | 基础 | ★★★★★ |
| 05.6.6.1-006 | IVFPQ 结构与工厂写法 | 进阶 | ★★★★★ |
| 05.6.6.1-015 | IVF+PQ+OPQ 组合写法 | 高级 | ★★★★★ |
| 05.6.6.1-016 | 哪些索引必须先 train | 基础 | ★★★★★ |
| 05.6.6.1-018 | add 与 add_with_ids | 基础 | ★★★★★ |
| 05.6.6.1-023 | remove_ids 的代价 | 高级 | ★★★★★ |
| 05.6.6.1-028 | 索引族选择判断链 | 高级 | ★★★★★ |
| 05.6.6.1-029 | 未训练直接 add 的错误 | 基础 | ★★★★★ |
| 05.6.6.1-035 | 索引不存标签与文档 | 基础 | ★★★★★ |
| 05.6.6.1-048 | 完整构建检索流程 | 高级 | ★★★★★ |
05.6.6.1-001 Faiss 的定位是什么,它和向量数据库有什么区别?
频率 ★★★★★ | 难度 基础
一句话结论
Faiss 是嵌入应用进程的向量相似度检索算法库,只提供索引构建与近邻搜索,不提供服务化、元数据存储、多租户权限与持久化运维;这些边界要由上层服务补齐。
概念解释
- 库形态:编译进 Python/C++/Java 进程,调用是进程内函数调用。
- 只存:向量与索引结构,不存原文、标签、业务元数据。
- 无内置:网络服务、副本分片、鉴权、标量过滤与全文检索。
原理流程
应用进程 → 加载/构建 Faiss 索引 → search 返回向量编号与距离
→ 标签与回显由应用侧映射表或业务库补齐
代码 / 命令
# 面试要点:Faiss = 检索算法底座;向量库 = 在底座之上加存储、服务与治理
常见误区
- 误区:Faiss 可以直接当线上向量数据库用。正解:需要自行封装服务、元数据映射、持久化与并发控制。
- 误区:Faiss 索引里能取出原文。正解:索引只含向量与内部编号,原文必须外部保存。
追问
- 问:哪些向量库底层参考了 Faiss 思路?答:大量系统借鉴 IVF/PQ/HNSW 等索引族,但补齐了服务与存储层。
- 问:什么场景直接用 Faiss 库合适?答:离线检索、嵌入应用内的小规模近似搜索、作为自研服务的检索内核。
05.6.6.1-002 index_factory 的签名与参数是什么?
频率 ★★★★★ | 难度 基础
一句话结论
faiss.index_factory(d, factory_string, metric) 按维度、工厂字符串与度量类型创建索引;d 为向量维度,factory_string 描述索引结构组合,metric 取 Faiss 度量常量。
概念解释
- d:输入向量维度,与实际向量列数一致。
- factory_string:逗号分隔的索引族与参数序列。
- metric:度量常量,默认 L2;可选内积等,取值见 MetricType 题。
原理流程
index_factory(d, "IVF100,Flat", METRIC_L2)
→ 解析工厂串 → 逐层构造索引对象 → 返回可训练/可添加的索引
代码 / 命令
# Python 形态(API 名以 Faiss 当前版本为准)
# import faiss
# index = faiss.index_factory(d, "IVF100,Flat", faiss.METRIC_L2)
常见误区
- 误区:工厂串里写的维度要和 d 重复配置。正解:d 单独传入,工厂串内的 PCA 等才会改写维度。
- 误区:metric 可以在 add 之后再改。正解:度量在索引创建时确定,事后更改需要重建。
追问
- 问:工厂串解析失败报什么?答:非法 token 或参数会在构造阶段抛异常,按 wiki 索引类型表核对写法。
- 问:d 与向量维度不符会怎样?答:train/add 阶段维度校验失败,属于初始化期可暴露的错误。
05.6.6.1-003 工厂字符串的整体结构怎么解析?
频率 ★★★★☆ | 难度 进阶
一句话结论
工厂串按逗号从左到右逐层包裹:预处理层(PCA/OPQ)→ 粗索引层(IVF/HNSW/LSH)→ 编码层(Flat/PQ/SQ)→ 包装层(IDMap/Refine);每层声明自己的数值参数。
概念解释
- 顺序语义:左侧先作用于向量,右侧作为内部索引被包裹。
- 参数位置:nlist、M、nbits 等紧跟在对应索引族 token 后。
- 组合约束:不是任意 token 都能拼接,合法组合以 wiki 索引类型表为准。
原理流程
"PCA64,OPQ16,IVF1024,PQ16"
PCA 降维 → OPQ 旋转 → IVF 聚类 → PQ 残差编码
代码 / 命令
# 读法模板:预处理,粗量化,残差编码,包装
# 非法组合:构造期即报错,不要靠运行后现象反推
常见误区
- 误区:逗号顺序不影响结构。正解:顺序决定包裹关系与作用层级,写反会得到不同索引。
- 误区:所有 token 可自由搭配。正解:编码层必须与粗索引兼容,参数个数也要匹配。
追问
- 问:包装层写在哪一侧?答:IDMap、RefineFlat 等作为外层包裹,写在工厂串相应位置,具体语法核对 wiki。
- 问:看不懂现有串先查什么?答:按 wiki 索引类型表逐段拆 token,核对每个数字参数归属。
05.6.6.1-004 IndexFlatL2 与 IndexFlatIP 是什么结构?
频率 ★★★★☆ | 难度 基础
一句话结论
Flat 索引把全部原始向量保留在内存,查询逐一精确计算距离,是暴力精确检索;L2 用欧氏距离,IP 用内积,召回为 100% 但复杂度随向量数线性增长。
概念解释
- 结构:无训练、无聚类、无压缩,向量原样存储。
- 适用:小规模数据集、召回金标准基线、refine 重排层。
- 工厂写法:
Flat配合度量选择 L2 或 IP 行为。
原理流程
add 原始向量 → search 与每个向量算距离 → 排序取 TopK
→ 结果精确,N×D 计算量
代码 / 命令
# index = faiss.index_factory(d, "Flat", faiss.METRIC_L2)
# 基线用途:与 ANN 索引对比 recall@k
常见误区
- 误区:Flat 是近似索引。正解:它是精确暴力检索,只是慢。
- 误区:Flat 需要 train。正解:无参数可训练,add 即可搜索。
追问
- 问:Flat 适合多少数据?答:万级以内或作为对照基线,规模大时延迟不可接受。
- 问:IP 下向量要归一化吗?答:未归一化内积受模长影响;要等价余弦需先归一化。
05.6.6.1-005 IndexIVFFlat 的结构是什么?
频率 ★★★★☆ | 难度 进阶
一句话结论
IVFFlat 先用训练样本 k-means 聚成 nlist 个簇,向量按簇归属存储,查询只访最近 nprobe 个簇、簇内保留原始向量做 Flat 比对;结构原理见通用题,这里落点是工厂写法与训练要求。
概念解释
- 粗量化:簇质心在 train 阶段学习,工厂串
IVF<nlist>。 - 残差层:
Flat保留簇内原始向量,无压缩。 - 查询参数:
nprobe控制访问簇数,运行期可调。
原理流程
train(xb) 学质心 → add 向量入簇
→ search 定位最近 nprobe 簇 → 簇内 Flat 比对 → TopK
代码 / 命令
# index = faiss.index_factory(d, "IVF100,Flat", faiss.METRIC_L2)
# index.train(xb); index.add(xb); index.nprobe = 10
常见误区
- 误区:IVFFlat 加完向量自动聚类。正解:必须先 train 出质心,再 add。
- 误区:nlist 等于 nprobe。正解:前者训练期簇数,后者查询期访问簇数,两者独立。
追问
- 问:样本不足以聚类怎么办?答:簇数取小、样本分布要覆盖全量;样本差会导致质心不稳。
- 问:IVFFlat 内存比 Flat 省吗?答:省的是索引结构,簇内仍是原始向量,压缩收益有限。
05.6.6.1-006 IndexIVFPQ 的结构与工厂写法?
频率 ★★★★★ | 难度 进阶
一句话结论
IVFPQ = IVF 聚类粗筛 + PQ 乘积量化编码残差向量,工厂串形如 IVF<nlist>,PQ<M>,<nbits>;压缩比高、内存省,代价是近似距离误差,通常配合 refine 重排补召回。
概念解释
- 粗层:IVF 质心分簇。
- 编码层:PQ 把残差分段码本编码,M 为子段数,nbits 为每子段编码位数。
- 训练:质心与 PQ 码本都需要训练样本学习。
原理流程
train:聚类 + 学习 PQ 码本
add:残差 PQ 编码入库
search:访 nprobe 簇 → PQ 近似距离 → TopK(可选 Flat refine 重排)
代码 / 命令
# index = faiss.index_factory(d, "IVF1024,PQ16", faiss.METRIC_L2)
# 典型 nbits=8(以版本允许取值为准,待确认);M 整除维度或按实现约定
常见误区
- 误区:IVFPQ 存的是原始向量。正解:存 PQ 编码与码本,距离是近似重建距离。
- 误区:PQ 误差可以忽略。正解:召回损失需要靠增大 nprobe 或 refine 重排补偿。
追问
- 问:M 怎么选?答:权衡压缩比与重建误差,M 越大编码越细、占用越高,需实测 recall。
- 问:小数据集用 PQ 划算吗?答:码本训练有固定成本,数据量小时 Flat/HNSW 更简单可靠。
05.6.6.1-007 IndexHNSWFlat 的结构与入口参数?
频率 ★★★☆☆ | 难度 进阶
一句话结论
HNSWFlat 在多层图结构上导航检索,向量以 Flat 形式保留;图的邻居数与构建/搜索候选通过索引对象属性设置,工厂串形如 HNSW<M>,Flat,无需 train 即可 add 建图。
概念解释
- 图结构:建图过程随插入逐步构建,无独立训练阶段。
- 参数入口:M、efConstruction、efSearch 在索引对象上读取/设置,不写在工厂串数值里(以版本属性名为准,待确认)。
- 特点:查询延迟稳定、插入友好,内存高于 IVF 系。
原理流程
add 向量 → 逐层插入邻居图
→ search 顶层导航向下层细化 → efSearch 候选队列 → TopK
代码 / 命令
# index = faiss.index_factory(d, "HNSW16,Flat")
# index.hnsw.efSearch = 32 # 属性名以版本为准
常见误区
- 误区:HNSW 像 IVF 一样必须 train。正解:图索引直接 add 构建,train 为空操作。
- 误区:M 与 efSearch 写进工厂串数字即可。正解:构建参数与搜索参数多通过对象属性调整。
追问
- 问:HNSW 召回不足调哪个?答:查询期先调 efSearch;图质量问题再评估 M 与 efConstruction 并重建。
- 问:HNSW 内存高在哪?答:每层邻居指针与连接表显著高于倒排簇结构。
05.6.6.1-008 IndexHNSWPQ 是什么?
频率 ★★★☆☆ | 难度 进阶
一句话结论
HNSWPQ 用 HNSW 图做导航、PQ 编码压缩向量,介于 HNSWFlat 与 IVFPQ 之间:保留图的导航能力,同时降低向量存储占用,适合希望图检索又受内存约束的场景。
概念解释
- 组合:图索引外壳 + PQ 残差编码层。
- 训练:PQ 码本需要训练样本,图本身随插入构建。
- 代价:PQ 近似误差同样存在,召回需实测。
原理流程
train PQ 码本 → add 向量:入图 + PQ 编码
search:图导航定位 → PQ 近似距离排序
代码 / 命令
# 工厂写法以 wiki 为准(待确认 token 形式)
# 候选:HNSW<M>,PQ<M>,<nbits> 类组合
常见误区
- 误区:HNSWPQ 等于 HNSWFlat 压缩版且无损。正解:引入 PQ 误差,召回与内存要一起评估。
- 误区:HNSWPQ 不需要训练。正解:PQ 部分仍需 train。
追问
- 问:HNSWPQ 与 IVFPQ 怎么选?答:看重图导航与插入友好选 HNSW 系;超大规模倒排压缩选 IVF 系,以基准测试为准。
- 问:召回补偿手段?答:图导航候选扩大 + 原始向量 refine 重排。
05.6.6.1-009 IndexLSH 是什么,适用什么场景?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
LSH(局部敏感哈希)用随机投影分桶近似近邻,结构简单、可解释性弱,召回通常低于图与 IVF 系;现代工程中更多作为对照或特定近似场景,不是首选索引族。
概念解释
- 原理:哈希投影把相近向量映射到相近桶,查询访相关桶。
- 特点:无复杂训练,压缩依赖哈希位数。
- 局限:召回与距离精度有限,参数空间经验性强。
原理流程
随机投影 → 向量入桶 → 查询访邻近桶 → 桶内比对 → TopK
代码 / 命令
# 工厂 token 与参数以 wiki 为准(待确认)
# 选型前先用 Flat/IVF/HNSW 基准对比 recall 与延迟
常见误区
- 误区:LSH 是最新的高性能索引。正解:它是早期近似方法,多数场景已被 IVF/PQ/HNSW 替代。
- 误区:LSH 不需要任何参数。正解:哈希位数与桶策略直接影响召回与内存。
追问
- 问:什么场景还会考虑 LSH?答:对召回要求不高、希望结构简单的实验或对照。
- 问:LSH 结果怎么评估?答:同样用 recall@k 对照 Flat 金标准,不能只看返回条数。
05.6.6.1-010 IndexIVFSQ 是什么结构?
频率 ★★★☆☆ | 难度 进阶
一句话结论
IVFSQ 在 IVF 簇内用标量量化(如 SQ8)压缩残差向量,压缩比低于 PQ、量化误差也更小;工厂串形如 IVF<nlist>,SQ8 类写法,具体 SQ 档位以 wiki 为准(待确认)。
概念解释
- 编码层:逐维低比特整数量化,实现简单、误差小于乘积量化。
- 与 PQ 对比:SQ 压缩比中等、重建误差较低;PQ 压缩比高、误差更大。
- 训练:IVF 质心需要训练,SQ 校准参数按实现确定。
原理流程
train 质心(及 SQ 校准)→ add 残差标量量化入库
search:访簇 → SQ 近似距离 → TopK
代码 / 命令
# 写法以 wiki 为准:IVF100,SQ8 类;SQ 位宽可选档位核对文档
常见误区
- 误区:SQ8 是无损压缩。正解:低比特量化存在精度损失,召回需对照基线。
- 误区:SQ 与 PQ 可以互换参数。正解:量化机制不同,M/nbits 与位宽参数不可混用。
追问
- 问:SQ 与 PQ 怎么选?答:内存压力不大、希望误差小选 SQ;追求高压缩比选 PQ 并配重排。
- 问:SQ 分哪些位宽?答:常见 8 位等档位,fp16 类形式以版本支持为准(待确认)。
05.6.6.1-011 OPQ 预处理起什么作用?
频率 ★★★☆☆ | 难度 高级
一句话结论
OPQ(正交预处理量化)在 PQ 之前学习一个旋转矩阵,把向量变换到更适合分段编码的坐标系,降低 PQ 重建误差;工厂串写在 PQ/IVF 之前,旋转矩阵随索引一起训练与保存。
概念解释
- 目的:改善 PQ 码本划分质量,同等压缩比下提高近似距离精度。
- 训练:与 PQ 码本联合学习,需要足够样本。
- 位置:工厂串左侧预处理层,先旋转再进粗索引/编码层。
原理流程
train:学正交旋转 → 向量旋转
→ 进入 IVF/PQ 编码 → search 同样先旋转查询向量
代码 / 命令
# 候选写法:OPQ16,IVF1024,PQ16 类;OPQ 后数字与子段数对应,以 wiki 为准
常见误区
- 误区:OPQ 是独立索引可以单独查询。正解:它是预处理层,必须配合下游编码索引使用。
- 误区:加 OPQ 不需要更多训练数据。正解:旋转矩阵学习对样本分布与数量有要求。
追问
- 问:OPQ 收益怎么验证?答:同数据集对比有无 OPQ 的 recall@k 与距离误差。
- 问:旋转矩阵随索引持久化吗?答:随索引对象一起保存,恢复后查询自动应用,不单独外置。
05.6.6.1-012 PCA 降维前缀怎么写?
频率 ★★☆☆☆ | 难度 高级
一句话结论
工厂串前置 PCA<d2> 先把向量投影降到 d2 维,再进入下游索引;PCA 投影矩阵在 train 阶段学习,降维会损失信息,必须在目标维度上验证召回。
概念解释
- 作用:降低维度以减少距离计算与索引内存。
- 训练:投影矩阵由训练样本协方差估计得到。
- 边界:简单截断维度不等于 PCA;PCA 是有训练的线性投影。
原理流程
train:学 PCA 投影 → 向量降到 d2 维
→ 下游索引在 d2 维空间构建
→ 查询向量先经同一投影再检索
代码 / 命令
# 候选写法:PCA64,IVF1024,PQ16;d2 小于原始维度
常见误区
- 误区:PCA 后召回不变。正解:降维丢弃方差较小的分量,召回可能下降,需实测。
- 误区:PCA 能和任何下游索引任意组合。正解:维度要与下游参数(如 PQ 子段整除关系)兼容。
追问
- 问:PCA 与换小维度模型怎么选?答:PCA 改投影不换语义模型;模型维度更优时直接换模型并重嵌。
- 问:投影矩阵存哪里?答:随索引持久化,查询侧加载同一索引应用投影,不另存。
05.6.6.1-013 IndexRefineFlat 重排怎么包装?
频率 ★★★★☆ | 难度 高级
一句话结论
RefineFlat 在粗索引召回的候选上,用保留的原始向量做精确距离重排,补偿量化近似误差;它是外层包装,内部持有粗索引与一份原始向量,内存占用额外增加。
概念解释
- 机制:粗索引取较大候选 → refine 层用原始向量重算距离 → 返回精排 TopK。
- 代价:保留原始向量内存上升,重排计算增加延迟。
- 适用:IVFPQ/HNSWPQ 等量化索引召回不足时的兜底。
原理流程
粗索引召回 N 候选
→ RefineFlat 用原始向量精确算距离 → 重排取 TopK
代码 / 命令
# 包装写法以 wiki 为准(Refine 类 token)
# 评估:refine 前后 recall@k 与 P99、额外内存占用
常见误区
- 误区:refine 能召回粗索引没访到的向量。正解:重排只在粗索引已有候选内排序,不能弥补粗召回缺失。
- 误区:refine 不需要原始向量。正解:精排必须保留原始向量,内存是主要代价。
追问
- 问:refine 候选量怎么定?答:取大于 K 的候选集合,权衡重排成本与召回收益。
- 问:内存紧张还要 refine 吗?答:可降量化压缩、减小候选集,或接受量化误差并靠其他方式补召回。
05.6.6.1-014 IndexIDMap 与 IndexIDMap2 解决什么问题?
频率 ★★★★☆ | 难度 进阶
一句话结论
IDMap/IDMap2 外层包装内部索引,维护外部 id 到 Faiss 内部连续编号的映射,支持 add_with_ids 与按外部 id 删除;IDMap2 额外维护反向映射,支持更完整的 id 操作(能力差异以版本为准,待确认)。
概念解释
- 问题:裸索引默认按加入顺序生成连续内部编号,外部业务 id 需要映射。
- 包装层:存储外部 id ↔ 内部编号对应关系。
- 删除:依赖映射定位内部编号,再通知内部索引移除。
原理流程
IDMap2(内部索引) → add_with_ids(外部 id, 向量)
→ 映射登记 → search 返回外部 id
→ remove_ids 按映射定位删除
代码 / 命令
# 包装写法以 wiki 为准(IDMap2,... 前缀)
# 外部业务 id 必须唯一;映射表随索引持久化
常见误区
- 误区:内部索引天然支持任意外部 id。正解:裸索引用连续编号,外部 id 必须靠 IDMap 包装。
- 误区:映射自动持久化到业务库。正解:映射是索引对象一部分,需随索引一起保存,外部仍应留业务主键记录。
追问
- 问:IDMap 与 IDMap2 怎么选?答:需要按 id 删除或反查映射时选带反向映射的版本,具体能力核对文档。
- 问:外部 id 重复会怎样?答:映射冲突,行为按实现处理,写入前应保证业务主键唯一。
05.6.6.1-015 IVF+PQ+OPQ 组合的工厂串怎么写?
频率 ★★★★★ | 难度 高级
一句话结论
典型超大规模压缩组合为 OPQ<M>,IVF<nlist>,PQ<M>,<nbits>:OPQ 旋转 → IVF 分簇 → PQ 编码残差;参数数量要与维度兼容,组合合法性与默认 nbits 以 wiki 为准(待确认)。
概念解释
- 层级:预处理 OPQ、粗量化 IVF、残差编码 PQ 三层。
- 参数对应:OPQ 与 PQ 子段数相关,nlist 按规模定,nbits 定码本大小。
- 训练:一次 train 同时学习旋转、质心与码本。
原理流程
factory: OPQ16,IVF1024,PQ16,8
→ train(xb) → add(xb)
→ search: nprobe 控候选,PQ 近似距离,必要时 refine
代码 / 命令
# 参数待确认项:nbits 允许取值、M 与维度整除约束
# 选型先小规模试写,构造通过后再压测 recall/内存
常见误区
- 误区:层数越多召回越高。正解:每层近似都引入误差,组合复杂不等于效果好。
- 误区:工厂串数字随便填。正解:M、nbits、维度之间有约束,非法组合构造期报错。
追问
- 问:nlist 怎么定量级?答:按向量数与簇内规模经验取值,训练样本要够覆盖各簇,实测调整。
- 问:组合索引内存怎么估?答:质心 + PQ 编码 + 码本 + 映射表,不按原始向量大小估算。
05.6.6.1-016 哪些索引必须先 train,哪些可以跳过?
频率 ★★★★★ | 难度 基础
一句话结论
带学习参数的索引(IVF 质心、PQ/SQ 码本、OPQ 旋转、PCA 投影)必须先 train 再 add;Flat、HNSW 这类无训练参数的索引可以直接 add,train 为空操作。
概念解释
- 必须训练:IVF、PQ、SQ 校准、OPQ、PCA。
- 直接 add:Flat、HNSW 图结构。
- 校验:train 前 add 会因参数未就绪报错或得到不稳定结果。
原理流程
判断索引族 → 需要训练:index.train(xb_train) → index.add(xb)
→ 无训练:直接 index.add(xb)
代码 / 命令
# 流程模板
# if index.is_trained is False: index.train(xb)
# index.add(xb)
常见误区
- 误区:所有 Faiss 索引都要先 train。正解:Flat/HNSW 不需要,强行训练也不产生参数。
- 误区:train 用少量向量凑合即可。正解:聚类/码本质量依赖训练样本分布与数量。
追问
- 问:train 之后还能再加训练吗?答:质心/码本已定型,增量不参与重训;需要调整应重新 train 并重建索引。
- 问:怎么确认索引已训练?答:读
index.is_trained属性,未训练先补 train。
05.6.6.1-017 什么时候可以跳过 train,跳过有什么前提?
频率 ★★★★☆ | 难度 进阶
一句话结论
仅当索引不含需要学习的参数时可跳过 train;Flat 直接存向量,HNSW 随插入建图。含聚类或量化的索引跳过 train 属于错误用法,不能用 add 结果替代训练。
概念解释
- Flat:无参数,add 即存。
- HNSW:图边随插入建立,无需离线训练。
- 例外边界:HNSWPQ 中的 PQ 部分仍需训练,不能因外层是 HNSW 就整体跳过。
原理流程
索引族判断 → Flat/HNSWFlat:直接 add
→ HNSWPQ:先 train PQ 部分,再 add
代码 / 命令
# 核对:工厂串里是否出现 IVF/PQ/SQ/OPQ/PCA,出现即需要 train
常见误区
- 误区:HNSW 系列都不用训练。正解:带 PQ 编码层的 HNSWPQ 仍需训练码本。
- 误区:不 train 也能跑出结果,说明没问题。正解:未训练参数处于未定义状态,结果不可靠。
追问
- 问:train 样本和 add 数据要分开吗?答:可用同一批,但训练样本要覆盖分布;线上增量不改变已训练参数。
- 问:索引克隆后还要 train 吗?答:复制已训练索引保留参数;新建实例仍需按族判断。
05.6.6.1-018 add 与 add_with_ids 有什么区别?
频率 ★★★★★ | 难度 基础
一句话结论
add(xb) 按加入顺序分配内部连续编号;add_with_ids(xb, ids) 为每条向量指定外部 id,需要 IDMap 类包装层维护映射;搜索返回的编号语义由索引类型决定。
概念解释
- add:默认内部编号,简单但与业务主键脱节。
- add_with_ids:外部业务主键入库,映射表随索引保存。
- 前置:裸索引不支持外部 id,必须用 IDMap/IDMap2 包装。
原理流程
add(xb) → 内部编号 0..N-1
add_with_ids(xb, ext_ids) → IDMap 登记映射 → search 返回 ext_ids
代码 / 命令
# index.add(xb)
# index.add_with_ids(xb, ids) # 包装为 IDMap2 后使用
常见误区
- 误区:裸索引也能调 add_with_ids。正解:需要外层映射包装,否则不支持任意 id。
- 误区:外部 id 可以重复。正解:主键重复导致映射冲突,写入前去重。
追问
- 问:add 后能补挂外部 id 吗?答:需在 IDMap 包装下重新登记,或重建索引并随 add_with_ids 写入。
- 问:ids 数组形状要求?答:与向量条数一一对应,类型为整数 id(以版本允许类型为准)。
05.6.6.1-019 nprobe 参数设在哪里,控制什么?
频率 ★★★★☆ | 难度 进阶
一句话结论
nprobe 是 IVF 类索引的查询期参数,设在索引对象属性上,控制每次搜索访问的簇数;nprobe 越大召回越高、扫描簇越多延迟越高,可在运行期调整,不改变已训练质心。
概念解释
- 归属:IVF/IVFPQ/IVFSQ 等倒排索引。
- 调整期:查询期,无需重建索引。
- 权衡:召回与延迟的旋钮,对照 recall@k 与 P99 选值。
原理流程
index.nprobe = 10
→ search:定位最近 10 个簇 → 簇内比对 → TopK
代码 / 命令
# index.ivf.nprobe = 10 # 属性路径以版本为准(待确认)
常见误区
- 误区:nprobe 是训练期簇数。正解:训练期是 nlist,nprobe 是查询期访问簇数。
- 误区:Flat/HNSW 上也能设 nprobe。正解:非 IVF 索引无此参数,设置无效或报错。
追问
- 问:nprobe 调到多少合适?答:从默认值起步,按 recall@k 目标与 P99 上限扫描取值,不背固定数字。
- 问:nprobe 增大到等于 nlist 会怎样?答:退化为近全量扫描,延迟上升,失去 IVF 加速意义。
05.6.6.1-020 efSearch 参数设在哪里?
频率 ★★★★☆ | 难度 进阶
一句话结论
efSearch 是 HNSW 类索引的查询期候选宽度,设在 hnsw 子对象上;值越大导航候选越多、召回越高、延迟越高,运行期可调,M 与 efConstruction 属建图期参数。
概念解释
- 归属:HNSW/HNSWFlat/HNSWPQ。
- 查询期:搜索候选队列大小,可在线调整。
- 不可混:M、efConstruction 在建图时定型,改动需重建。
原理流程
index.hnsw.efSearch = 32
→ 图导航保留 32 候选 → 细化排序 → TopK
代码 / 命令
# index.hnsw.efSearch = 32 # 属性名以版本为准
常见误区
- 误区:efSearch 建图时一次性定死。正解:它是查询期参数,可按线上负载调整。
- 误区:efSearch 越大图结构越好。正解:它只影响查询候选,不改善已建好的图质量。
追问
- 问:召回不足先调 efSearch 还是重建图?答:先调查询参数;若图结构本身质量差再评估 M/efConstruction 重建。
- 问:efSearch 与 TopK 关系?答:efSearch 必须不小于返回 K,候选宽度下限受 K 约束。
05.6.6.1-021 默认连续编号与外部 ID 怎么管理?
频率 ★★★★☆ | 难度 进阶
一句话结论
裸索引用连续内部编号,适合纯向量检索;需要关联业务数据时用 IDMap 包装绑定外部 id,并在业务库保留 id 到原文/元数据的映射,索引映射表与业务库定期对账。
概念解释
- 内部编号:加入顺序决定,删除后可能出现空洞。
- 外部 id:业务主键贯穿写入、删除、回显与对账。
- 双映射:索引内映射 + 业务库记录,避免索引成为唯一事实来源。
原理流程
业务主键 → add_with_ids 入索引
→ search 返回主键 → 业务库取原文/元数据
→ 对账:索引 id 集合与业务库比对
代码 / 命令
# 映射清单:ext_id ↔ 向量 ↔ 业务库原文位置
# 删除:先删索引记录,再同步业务库状态
常见误区
- 误区:索引映射表可以替代业务库。正解:索引不存原文与复杂元数据,业务库仍是事实来源。
- 误区:删除内部编号后编号可复用。正解:删除产生的空洞不要假设可重新分配。
追问
- 问:增量插入 id 顺序乱有关系吗?答:有外部 id 映射时无所谓;裸连续编号则依赖插入顺序,删除后编号不连续。
- 问:迁移时外部 id 怎么带过去?答:索引文件与映射一起导出,目标环境重建时按 ext_id 写入。
05.6.6.1-022 IDSelector 与 remove_ids 怎么按 id 删除?
频率 ★★★★☆ | 难度 高级
一句话结论
删除通过 IDSelector 选中要移除的外部 id 集合,再调用索引 remove_ids 定位内部编号并标记移除;需要 IDMap 反向映射支持,裸连续编号索引删除能力受限。
概念解释
- 选择器:按 id 批量构造选择条件(如 IDSelectorBatch)。
- 定位:映射表把外部 id 翻成内部编号。
- 移除:内部索引标记删除,检索跳过被删编号。
原理流程
构造 IDSelector(ids_to_remove)
→ index.remove_ids(selector)
→ 映射定位 → 内部标记删除 → search 跳过
代码 / 命令
# 形态以版本 API 为准(待确认类名与参数)
# sel = faiss.IDSelectorBatch(remove_ids)
# index.remove_ids(sel)
常见误区
- 误区:remove_ids 会物理压缩索引空间。正解:多为标记移除,空间不立即回收(见代价题)。
- 误区:所有索引族都支持按 id 删除。正解:依赖映射与内部实现,部分量化索引删除支持有限。
追问
- 问:删除后 search 还会出现旧 id 吗?答:应被跳过;若仍命中,检查映射与删除是否生效。
- 问:批量删除怎么对账?答:删除前后分别列出索引 id 集合,确认目标 id 已不在。
05.6.6.1-023 remove_ids 的代价是什么?
频率 ★★★★★ | 难度 高级
一句话结论
Faiss 删除多为标记移除,不物理回收向量槽位与索引结构;大量删除后索引存在空洞,召回与内存效率下降,根治方式是导出剩余向量重建索引,而不是反复靠删除压缩。
概念解释
- 不回收:向量编码槽位、码本、图连接等结构不因标记删除立即收缩。
- 碎片:删除比例升高后,检索仍遍历部分空洞槽位。
- 重建:定期导出存活向量,新建索引重新 add/train。
原理流程
少量删除 → 标记跳过,可接受
→ 删除比例升高 → 导出存活向量 → 重建索引 → 替换旧索引
代码 / 命令
# 监控:删除比例、索引大小趋势、召回变化
# 重建触发:空洞占比或内存效率恶化到阈值
常见误区
- 误区:删除接口返回成功空间就释放了。正解:内部空间回收不在 remove_ids 承诺范围内。
- 误区:频繁增删适合在线原地更新。正解:Faiss 索引面向相对静态数据集,频繁更新应评估重建周期。
追问
- 问:什么情况下必须重建?答:删除/更新比例高、索引膨胀明显、召回下降且调参无效时。
- 问:重建期间线上检索怎么办?答:双索引加载,新索引构建校验后原子替换引用。
05.6.6.1-024 range_search 返回什么结构?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
range_search 在给定半径内检索,返回 lims(每条结果的起止分界)、D(距离)、I(编号)三个数组;与 search 的固定 TopK 不同,每条查询命中数量可变,按 lims 切片读取。
概念解释
- 输入:查询向量与半径阈值。
- 输出:可变长度命中,用 lims 标注每条查询的结果区间。
- 适用:按距离阈值取不定条数的场景,而非固定 K 近邻。
原理流程
index.range_search(xq, radius)
→ lims, D, I
→ 第 i 条结果:D[lims[i]:lims[i+1]], I[...]
代码 / 命令
# 形态以版本 API 为准
# lims, D, I = index.range_search(xq, radius)
常见误区
- 误区:range_search 返回固定 K 条矩阵。正解:命中数不定,必须按 lims 切片,不能按 n×K 读取。
- 误区:半径与 TopK 参数混用。正解:range 用距离阈值,search 用返回条数 K。
追问
- 问:半径怎么定?答:在标注集上统计同/不同类距离分布,按度量方向选阈值。
- 问:距离方向反了会怎样?答:L2 越小越近、IP 越大越近,阈值比较方向必须与度量一致。
05.6.6.1-025 MetricType 有哪些常量,怎么选?
频率 ★★★★☆ | 难度 基础
一句话结论
常用 METRIC_L2(欧氏距离)与 METRIC_INNER_PRODUCT(内积);度量在 index_factory 时指定,全索引统一;其他度量常量(如 L1、Linf 等)以版本枚举为准(待确认)。
概念解释
- L2:距离越小越近,受模长影响。
- IP:内积越大越相似,未归一化时含模长信息。
- 一致性:索引度量与查询预处理必须匹配,不可混用。
原理流程
index_factory(d, "Flat", faiss.METRIC_L2)
→ 距离按 L2 计算排序
代码 / 命令
# faiss.METRIC_L2 / faiss.METRIC_INNER_PRODUCT
# 枚举全集:以 faiss 版本 metric 定义为准
常见误区
- 误区:索引建成后可以改度量常量。正解:度量定型于创建阶段,更改需重建。
- 误区:L2 与 IP 结果能互相比对。正解:距离定义不同,数值与排序方向都不同。
追问
- 问:文本嵌入常用哪种?答:多以归一化 + 内积等价余弦,或按模型训练约定选择。
- 问:度量选错表现是什么?答:近邻排序明显偏离语义,召回与距离分布异常。
05.6.6.1-026 cosine 在 Faiss 里怎么实现,与 IP 什么关系?
频率 ★★★★☆ | 难度 进阶
一句话结论
Faiss 中余弦相似度通常通过「向量归一化 + 内积索引」实现:归一化到单位模长后,内积即余弦;是否提供独立 cosine 度量常量以版本为准(待确认),不要假设存在直接 cosine 索引。
概念解释
- 等价条件:向量模长为 1 时,内积 = 余弦相似度。
- 预处理:入库与查询两侧都要归一化。
- 注意:未归一化直接用 IP,结果受模长干扰。
原理流程
向量 → L2 归一化 → 存入 METRIC_INNER_PRODUCT 索引
→ 查询向量同样归一化 → 内积排序 = 余弦排序
代码 / 命令
# 归一化:faiss 提供归一化工具函数(名称以版本为准)
# 索引度量:METRIC_INNER_PRODUCT
常见误区
- 误区:Faiss 有内置 cosine 度量可以直接选。正解:优先确认版本枚举;多数实践是归一化 + IP。
- 误区:只归一化入库向量即可。正解:查询向量不归一化,两侧模长不一致,等价关系不成立。
追问
- 问:归一化在哪一步做?答:模型输出后、入索引与查询前同一函数处理,避免两侧各写一套。
- 问:归一化后还能用 L2 吗?答:可以,但 L2 与内积排序不等价,按目标度量约定。
05.6.6.1-027 GPU 索引怎么表示,工厂串与转换怎么配合?
频率 ★★★☆☆ | 难度 高级
一句话结论
Faiss GPU 路径常见两种方式:构造 GPU 索引类,或先建 CPU 索引再 index_cpu_to_gpu 拷贝到显卡;工厂字符串主要描述 CPU 索引结构,GPU 包装与多卡分配通过 GPU 资源对象完成,具体类名以版本为准(待确认)。
概念解释
- CPU→GPU:索引复制到显存,检索在 GPU 上执行。
- GPU 资源:GpuResources 对象管理显存与流。
- 回拷:
index_gpu_to_cpu可把索引取回 CPU 保存或兼容部署。
原理流程
CPU 索引构造/train/add
→ index_cpu_to_gpu(res, device, index)
→ GPU search → 必要时回拷 CPU 持久化
代码 / 命令
# 形态以版本 API 为准(待确认)
# res = faiss.StandardGpuResources()
# gpu_index = faiss.index_cpu_to_gpu(res, device_id, cpu_index)
常见误区
- 误区:工厂串里加个 GPU 前缀就自动跑显卡。正解:GPU 分配与资源管理需显式调用,索引结构仍由 CPU 侧构造。
- 误区:GPU 索引直接 write_index 持久化最稳。正解:跨设备保存通常回拷 CPU 索引后写入文件。
追问
- 问:哪些索引族有 GPU 实现?答:支持集合以 GPU 说明为准,未实现的族不能强行搬上显卡。
- 问:显存不够怎么办?答:降量化、减小单卡分片或留在 CPU,不假设显存无限。
05.6.6.1-028 索引族大小与召回的判断链是什么?
频率 ★★★★★ | 难度 高级
一句话结论
按「数据规模 → 内存预算 → 召回/延迟 SLA → 更新频率」逐级判断:小规模用 Flat,在线低延迟用 HNSWFlat,超大规模压缩用 IVFPQ/IVFSQ,量化召回不足再叠加 Refine;最终以同一数据集基准测试为准。
概念解释
- 规模:万级 Flat 可行,十万级以上考虑 ANN,百万以上评估量化压缩。
- 预算:内存决定能否保留原始向量(Flat/HNSWFlat)。
- SLA:召回目标与 P99 决定候选参数与是否重排。
- 更新:频繁增删偏向 HNSW 系,静态大批量偏向 IVF 系。
原理流程
规模小 → Flat 基线
要低延迟图检索 → HNSWFlat
内存受限大规模 → IVFPQ/IVFSQ(+OPQ)
召回不足 → 加 RefineFlat 或调搜索参数
代码 / 命令
# 基准对照:各候选索引的 recall@k · P99 · 内存 · 构建时间
# 不凭索引名优劣下结论,用自有数据集实测
常见误区
- 误区:选最复杂的索引族效果最好。正解:复杂度带来额外近似误差与成本,匹配数据规模才最优。
- 误区:内存预算不参与选型。正解:保留原始向量与否直接决定索引族范围。
追问
- 问:召回与延迟冲突怎么定?答:先锁定 P99 上限,在此范围内调参数最大化召回。
- 问:选型结论上线前还要验证什么?答:更新频率下的碎片表现、构建/重建成本与内存峰值。
05.6.6.1-029 常见错误:IVF/PQ 未训练直接 add?
频率 ★★★★★ | 难度 基础
一句话结论
对 IVF/PQ/OPQ/PCA 索引跳过 train 直接 add,质心或码本未就绪,结果不可靠甚至报错;正确顺序是先准备训练样本、train、再 add 正式数据。
概念解释
- 未训练表现:构造通过但搜索结果异常,或在 add/train 校验阶段抛错。
- 正确顺序:训练样本 → train → add 入库向量。
- 样本要求:分布覆盖全量,数量与 nlist/码本匹配。
原理流程
index = index_factory(...)
if not index.is_trained: index.train(xb_train)
index.add(xb)
代码 / 命令
# 检查清单:工厂串是否含 IVF/PQ/SQ/OPQ/PCA → 含则必须 train
常见误区
- 误区:add 一批数据后索引自动就训练好了。正解:训练是显式步骤,不会被 add 替代。
- 误区:用将要入库的同一份向量 train 再 add 就行。正解:可以,但要确认样本量与分布足够支撑聚类/码本。
追问
- 问:怎么定位是不是漏了 train?答:看 is_trained、索引参数是否就绪,搜索结果与 Flat 基线对比偏差。
- 问:训练样本太少会怎样?答:质心/码本不稳,召回随分布波动,应补样本或降低簇数/码本复杂度。
05.6.6.1-030 常见错误:工厂维度与向量维度不匹配?
频率 ★★★☆☆ | 难度 进阶
一句话结论
index_factory 的 d 必须等于实际向量列数;工厂串内 PCA 降维后维度要与下游参数兼容,维度不符在 train/add 阶段校验失败,属于初始化期可暴露的问题。
概念解释
- d 对齐:输入向量矩阵列数 = 创建索引时维度。
- PCA 改写:降维后下游索引工作在新维度。
- 校验:矩阵形状在传入时检查,不匹配直接报错。
原理流程
向量矩阵形状 (N, D) → index_factory(D, ...)
→ PCA 索引:内部按 d2 构建,查询向量同样投影
代码 / 命令
# 写入前断言:xb.shape[1] == d
# PCA 组合:确认 d2 与 PQ 子段整除关系兼容
常见误区
- 误区:维度差一位 Faiss 会自动截断。正解:不会自动适配,形状不符即报错。
- 误区:不同来源向量维度不同可以混入同一索引。正解:索引维度固定,混用必须先统一投影。
追问
- 问:向量来自不同模型维度不同怎么办?答:不能混索引;统一到同一模型或经 PCA 投影到约定维度。
- 问:报错在 train 还是 add 出现?答:取决于索引校验时机,通常首次传入矩阵时暴露。
05.6.6.1-031 常见错误:在 Flat 索引上设 nprobe?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
nprobe 是 IVF 族专属查询参数,Flat/HNSW 索引没有该属性;在不相关索引上设置无效或报错,参数必须与索引族对应,不能照搬其他索引的调参语句。
概念解释
- 参数归属:nprobe→IVF;efSearch→HNSW。
- 误设后果:属性不存在抛错,或被忽略导致误以为调参生效。
- 核对:先确认索引族,再取对应参数入口。
原理流程
判断索引族 → IVF 设 nprobe;HNSW 设 efSearch
→ Flat 无搜索候选参数,只有 TopK
代码 / 命令
# 排查:AttributeError/属性无效时核对索引类型与参数归属
常见误区
- 误区:所有 ANN 索引都有 nprobe。正解:倒排聚类才有 nprobe,图索引用候选宽度参数。
- 误区:脚本里统一给所有索引设 nprobe。正解:按族分支设置,避免无属性索引报错。
追问
- 问:怎么查看索引支持哪些参数?答:读索引对象类型与子对象属性,或对照 wiki 该索引族说明。
- 问:参数设错会影响结果吗?答:被忽略时参数不生效,调参结论会被误判为无效。
05.6.6.1-032 常见错误:向量 dtype 不是 float32?
频率 ★★★☆☆ | 难度 进阶
一句话结论
Faiss 输入向量要求连续的 float32 数组;float64、int 或非连续布局需要先转换与规整,否则 train/add/search 可能报错或得到错误结果。
概念解释
- 类型:默认单精度浮点,其他数值类型不自动隐式转换。
- 布局:要求内存连续,注意矩阵转置后的非连续视图。
- 形状:二维矩阵,行数为向量数、列数为维度。
原理流程
向量数组 → astype('float32') → 确保连续布局
→ 传入 train/add/search
代码 / 命令
# xb = np.ascontiguousarray(xb, dtype='float32')
# 形状断言:(N, D)
常见误区
- 误区:numpy 默认 double 直接喂给 Faiss 没问题。正解:需显式转 float32,避免类型错误。
- 误区:切片视图可以直接传入。正解:非连续内存布局可能不被接受,先 ascontiguousarray。
追问
- 问:半精度向量怎么存?答:量化索引内部可低比特存储,输入接口仍按约定类型传入,具体以版本支持为准。
- 问:类型报错怎么快速定位?答:打印数组 dtype、shape 与连续性,先做规整再重试。
05.6.6.1-033 常见错误:外部 ID 重复或越界?
频率 ★★★☆☆ | 难度 进阶
一句话结论
add_with_ids 传入的外部 id 必须唯一且在允许类型范围内;重复 id 造成映射冲突,越界或类型不符导致写入失败或映射错乱,写入前应在业务侧去重并校验 id 类型。
概念解释
- 唯一性:同一索引内外部 id 不重复。
- 类型:整数 id 取值范围受 Faiss id 类型约束(以版本为准,待确认)。
- 前置校验:批量写入前检查重复、空值与类型。
原理流程
ids 去重与类型校验 → add_with_ids
→ 映射登记 → 异常批次记录并修正
代码 / 命令
# 写入前:len(ids) == 向量数;ids 唯一;类型符合约束
常见误区
- 误区:重复 id 会自动覆盖旧记录。正解:映射冲突行为按实现处理,不要依赖覆盖语义做幂等。
- 误区:业务字符串主键能直接当 Faiss id。正解:通常需映射为整数 id,字符串标识放外部映射表。
追问
- 问:字符串业务主键怎么接?答:业务主键映射为连续整数或索引内编号,字符串与向量对应关系存外部表。
- 问:发现重复怎么补救?答:停止该批写入,去重后按主键幂等重放,核对映射一致性。
05.6.6.1-034 search 返回的 D、I 数组是什么形状?
频率 ★★★★☆ | 难度 基础
一句话结论
search(xq, k) 返回距离矩阵 D 与编号矩阵 I,形状均为 (n_query, k);不足 K 条的位置用填充值(如 -1)补齐,读取时按有效编号过滤。
概念解释
- D:每条查询 TopK 距离,度量方向由索引决定。
- I:对应编号,可能是内部连续编号或外部 id(取决于是否包装 IDMap)。
- 填充:候选不足 K 时用约定无效值占位,不能把占位当命中。
原理流程
D, I = index.search(xq, k)
→ 遍历 i, j:if I[i, j] != 无效值 → 取编号与距离
代码 / 命令
# 无效填充值以版本为准(常见 -1)
# 结果回显:按 I 中编号回外部映射表取原文
常见误区
- 误区:返回矩阵每行都有 K 条有效结果。正解:不足时填充占位,必须过滤无效编号。
- 误区:I 里一定是业务主键。正解:裸索引是内部编号,IDMap 包装后才是外部 id。
追问
- 问:距离与编号位置怎么对应?答:同一行 j 位置的 D[i,j] 与 I[i,j] 属于同一条命中。
- 问:批量查询形状怎么对齐?答:n_query 等于输入查询条数,逐行处理。
05.6.6.1-035 索引里不存什么,边界在哪里?
频率 ★★★★★ | 难度 基础
一句话结论
Faiss 索引只存向量与检索结构(及 id 映射),不存原文文档、标题、业务元数据、权限与关系;这些必须由应用侧的业务库或映射表补齐。
概念解释
- 索引内:向量、质心/码本/图结构、id 映射。
- 索引外:document 文本、metadata 键值、业务状态、权限规则。
- 责任划分:Faiss 负责找编号,应用负责取内容与鉴权。
原理流程
search 返回编号 → 外部映射表/业务库取原文与元数据
→ 应用层做权限过滤与回显
代码 / 命令
# 外部表:ext_id → document/metadata/business_key
# 索引文件不替代业务存储
常见误区
- 误区:把大段文本塞进向量旁的存储里让 Faiss 管。正解:Faiss 不提供字段存储与查询,回显走外部库。
- 误区:删除索引记录等于删除业务数据。正解:业务库状态要独立同步删除。
追问
- 问:元数据过滤怎么做?答:先向量召回编号,再按外部表元数据后过滤;前置过滤需应用层先筛候选 id 子集。
- 问:索引文件能当备份用吗?答:只备份向量与编号,原文与映射必须单独备份。
05.6.6.1-036 训练样本的数量与分布有什么要求?
频率 ★★★☆☆ | 难度 高级
一句话结论
训练样本要覆盖线上向量分布,数量与 nlist、码本规模匹配;样本偏斜或不足会让质心/码本失准,召回在分布外区域明显下降,且已训练参数不会被后续 add 自动修正。
概念解释
- 分布:训练集应反映真实查询与入库向量的形态。
- 数量:每簇/每子空间有足够样本支撑质心与码本学习。
- 时效:分布漂移后需重新 train 并重建索引。
原理流程
抽取代表性样本 → train → 评估分布内外召回
→ 分布漂移 → 重新采样训练 → 重建索引
代码 / 命令
# 核对:样本来源、覆盖时间段、与线上分布对比
# 不直接用极小样本训练大规模索引
常见误区
- 误区:训练样本随便取前几条即可。正解:偏斜样本得到偏斜质心,长尾区域召回差。
- 误区:后续增量向量会自动改善质心。正解:IVF/PQ 参数定型,增量不参与重训。
追问
- 问:样本量与 nlist 关系?答:每簇需要足够样本,nlist 过大而样本不足会产生空簇与不稳簇心。
- 问:怎么发现训练失准?答:分布外查询集召回下降、簇内样本分布异常,对照 Flat 基线定位。
05.6.6.1-037 nlist 取什么量级?
频率 ★★★☆☆ | 难度 进阶
一句话结论
nlist 是 IVF 训练期簇数,按向量规模与期望簇内样本数取量级;没有可背诵的固定值,需结合样本量、nprobe 与召回/延迟实测确定,簇数过大会导致质心不稳。
概念解释
- 经验方向:向量越多,nlist 可越大,保持簇内样本在合理范围。
- 约束:训练样本要能支撑各簇;nprobe 决定搜索覆盖几簇。
- 调整:改 nlist 属于重建索引,不是查询期参数。
原理流程
向量数 N → 估算目标簇内规模 → 定 nlist 量级
→ train 聚类 → 压测不同 nprobe 的召回/延迟
代码 / 命令
# 取值过程:小规模试不同 nlist → 对照 recall@k 与 P99
# 不引用未核实的默认数字作为结论
常见误区
- 误区:nlist 越大召回越高。正解:簇太细会让质心不稳,反而降低召回基础。
- 误区:nlist 在线可调。正解:训练期定型,调整需重新 train 重建。
追问
- 问:nlist 与 nprobe 怎么配合调?答:先定合理 nlist 建索引,再在查询期扫 nprobe 找召回-延迟拐点。
- 问:空簇怎么判断?答:训练后统计各簇样本数,空簇/极小簇说明 nlist 过大或样本不足。
05.6.6.1-038 PQ 的 M 与 nbits 在工厂串什么位置?
频率 ★★★★☆ | 难度 基础
一句话结论
PQ token 后紧跟子段数 M 与每段编码位数 nbits,形如 PQ<M>,<nbits>;M 与维度分段方式相关,nbits 决定码本大小,允许取值与整除约束以版本 wiki 为准(待确认)。
概念解释
- M:向量切成的子段数量,影响编码细度与内存。
- nbits:每个子段用多少位编码,码本大小为 2^nbits。
- 约束:M 与维度、nbits 与版本能力要兼容。
原理流程
PQ16,8 → 16 子段,每段 8 位
→ 训练码本 → 残差分段编码入库
代码 / 命令
# 待确认:nbits 可选档位、M 整除维度规则
# 内存粗估:N × M × nbits / 8 + 码本占用
常见误区
- 误区:M 越大压缩越好。正解:M 增大编码更细、占用上升,误差与内存需一起权衡。
- 误区:nbits 可以任意取值。正解:受码本实现与版本限制,非法档位构造期报错。
追问
- 问:M 与维度 D 什么关系?答:子段划分要覆盖 D 维,整除或按实现分段规则,核对 wiki。
- 问:nbits 降一档影响什么?答:码本变小、编码更粗,近似误差增大,需实测召回。
05.6.6.1-039 HNSW 的参数入口在哪里?
频率 ★★★☆☆ | 难度 进阶
一句话结论
HNSW 的 M 在建图时通过工厂串或构造参数给定,efConstruction 与 efSearch 在索引 hnsw 子对象上读写;efSearch 查询期可调,M 与 efConstruction 改动需要重建图。
概念解释
- M:每节点邻居数,图密度与内存相关。
- efConstruction:构建候选宽度,影响图质量与构建耗时。
- efSearch:查询候选宽度,影响召回与延迟。
- 属性名以版本为准(待确认),不凭记忆拼写。
原理流程
构造 HNSW<M> → add 建图(efConstruction 生效)
→ search:hnsw.efSearch 控制候选
代码 / 命令
# index.hnsw.efConstruction = 200
# index.hnsw.efSearch = 32
常见误区
- 误区:三个参数都能在线改。正解:建图参数定型,只有搜索候选可运行期调整。
- 误区:M 写得越大图越好。正解:邻居越多内存越高,导航收益递减,需实测权衡。
追问
- 问:图质量差怎么判断?答:相同 efSearch 下召回仍低,且构建参数偏保守,考虑重建并提高 efConstruction/M。
- 问:参数默认值记不清怎么办?答:读取当前索引属性确认,标注待确认项,不背诵未核实数值。
05.6.6.1-040 纯库场景下内存索引与磁盘索引怎么取舍?
频率 ★★☆☆☆ | 难度 高级
一句话结论
Faiss 常规索引以内存驻留为主;超内存规模需要借助外部分片、磁盘向量存储或专门的磁盘索引方案,纯库不提供成熟的磁盘 ANN 管理,取舍依据仍是内存预算、延迟 SLA 与可接受的工程复杂度。
概念解释
- 内存索引:检索快,受单机内存上限约束。
- 超内存方案:分片多索引、外部向量表 + 编号回查、磁盘 ANN 库/服务。
- 边界:Faiss 本身不负责磁盘段管理、加载缓存与副本协调。
原理流程
内存可容纳 → 内存索引
超出 → 分片路由 / 外部存储 + 编号映射
延迟要求高 → 评估专用磁盘索引或向量库
代码 / 命令
# 评估:内存占用 · 磁盘随机读延迟 · 分片归并成本
常见误区
- 误区:Faiss 自动把不常用向量换出磁盘。正解:常规索引不做磁盘分层管理。
- 误区:内存不够直接增大索引压缩就能解决。正解:量化压缩有召回下限,超大规模仍需分片或专门方案。
追问
- 问:分片多索引怎么检索?答:各分片独立 search,应用层归并各路 TopK 再排序。
- 问:什么时候该放弃纯库方案?答:磁盘分层、副本、服务化与过滤需求超出自建维护能力时,转向向量库。
05.6.6.1-041 索引克隆与复制有哪些接口?
频率 ★★☆☆☆ | 难度 高级
一句话结论
Faiss 提供索引复制/克隆手段在 CPU 索引间拷贝结构与数据(具体函数名以版本为准,待确认);GPU 与 CPU 之间走 index_cpu_to_gpu / index_gpu_to_cpu 转换,复制后要核对向量数与可搜索状态。
概念解释
- CPU 间复制:用于备份、双索引切换或多副本加载。
- 设备转换:CPU↔GPU 拷贝,不只是指针引用。
- 校验:复制后检查向量数、is_trained 与抽样检索结果。
原理流程
源索引 → 克隆/复制 → 目标索引
→ GPU 转换 → 检索验证
代码 / 命令
# 函数名待确认:核对 wiki 复制与设备转换接口
# 复制后:ntotal 一致、抽样 TopK 与源索引对照
常见误区
- 误区:复制索引是共享同一份内存。正解:多数接口产出独立拷贝,占用双倍内存。
- 误区:GPU 索引可以直接克隆到另一张卡不经过 CPU。正解:设备间转换路径按版本接口核对。
追问
- 问:双索引切换怎么避免双倍内存?答:新索引构建期间新旧并存,切换后及时释放旧索引。
- 问:克隆后映射表保留吗?答:IDMap 映射随索引一起复制,仍需与外部业务表对账。
05.6.6.1-042 索引的线程安全边界是什么?
频率 ★★★★☆ | 难度 高级
一句话结论
Faiss 索引的并发边界按操作区分:检索 search 通常可多线程并发(受 OMP 配置影响),写入 add/删除/训练属于修改操作,并发修改需应用层加锁;具体线程安全保证以版本文档为准(待确认)。
概念解释
- 读并发:检索多线程调用,依赖内部数据结构只读稳定性。
- 写互斥:add、remove_ids、train 改变结构,并发写可能损坏内部状态。
- 工程封装:服务化时用只读索引对外查询,写操作走串行队列。
原理流程
查询线程 → 并发 search(只读索引)
写线程 → 互斥锁内 add/remove
→ 双索引切换避免读写竞争同一结构
代码 / 命令
# 并发模型:索引只读副本对外;更新在旁路构建完成后替换
# OMP 线程数单独控制,避免与应用线程池互相挤占
常见误区
- 误区:索引既能被多线程查也能被多线程写。正解:修改操作必须串行化,未确认线程安全前不加乐观假设。
- 误区:search 并发度只受应用控制。正解:内部 OMP 线程也会占用 CPU,需一并规划。
追问
- 问:在线更新怎么做不阻塞查询?答:旁路构建新索引,原子替换引用,旧索引继续只读服务。
- 问:写队列怎么设计?答:单写者串行处理增量,批量提交后通知索引替换或重建。
05.6.6.1-043 怎么查看索引类型与是否已训练?
频率 ★★☆☆☆ | 难度 基础
一句话结论
通过索引对象的类型名、ntotal(向量数)与 is_trained 属性判断结构与状态;包装层要逐层展开查看内部索引,属性名以版本为准(待确认)。
概念解释
- 类型:索引类名对应工厂串索引族。
- ntotal:当前已添加向量数。
- is_trained:含学习参数的索引是否训练完成。
- 包装:IDMap/Refine 外层下还有内部索引对象需要查看。
原理流程
type(index) → 索引族
index.ntotal → 向量数
index.is_trained → 训练状态
包装层 → 展开内部索引核对参数
代码 / 命令
# 排查脚本:打印类型、ntotal、is_trained、子对象参数
常见误区
- 误区:只看外层包装类型就判断索引族。正解:要展开到内部索引确认 IVF/PQ/HNSW 结构。
- 误区:ntotal 等于外部业务文档数。正解:切片/编号口径可能不同,需与映射表对账。
追问
- 问:is_trained 为 False 怎么办?答:补 train 后再 add,不要直接搜索。
- 问:怎么核对工厂串与实际结构一致?答:类型名 + 子对象参数对照创建时的工厂写法。
05.6.6.1-044 召回对照流程怎么做?
频率 ★★★☆☆ | 难度 进阶
一句话结论
用 Flat 索引在同一查询集上得到金标准 TopK,ANN 索引结果与之对比重合度得到 recall@k;同时记录延迟与内存,三组指标一起评估索引族与参数。
概念解释
- 金标准:Flat 精确检索结果。
- 重合度:ANN TopK 与金标准 TopK 的命中比例。
- 配套指标:QPS、P99、内存、构建时间。
原理流程
查询集 → Flat 金标准 → ANN search
→ 算 recall@k → 对照 P99/内存 → 调参复评
代码 / 命令
# recall@k = |ANN_topK ∩ gold_topK| / k
# 每次只调一组参数,复测全部指标
常见误区
- 误区:用 ANN 自己的结果当基线。正解:必须以 Flat 精确结果为金标准。
- 误区:只看召回不看延迟。正解:高召回若 P99 超标,在线场景仍不可用。
追问
- 问:没有大规模 Flat 预算怎么办?答:抽样子集建 Flat 对照,查询集覆盖典型分布。
- 问:召回随参数怎么扫?答:nprobe/efSearch 从低到高扫描,画召回-延迟曲线选拐点。
05.6.6.1-045 小规模数据集选什么索引?
频率 ★★★★☆ | 难度 基础
一句话结论
万级以内或对召回要求高的小规模数据优先 Flat 精确检索;需要图导航与插入友好可评估 HNSWFlat;样本量不足以支撑 PQ/IVF 训练时不要强上量化索引。
概念解释
- Flat:精确、简单、无训练,小规模延迟可接受。
- HNSWFlat:低延迟近邻,内存高于 Flat 但结构简单。
- 避免:样本不足时 IVF 簇心与 PQ 码本训练不稳。
原理流程
规模小 → Flat 基线
要在线低延迟 → HNSWFlat
样本不足 → 不上量化压缩索引
代码 / 命令
# 先 Flat 测延迟上限,再决定是否需要 ANN
常见误区
- 误区:小规模也得上 IVFPQ 才专业。正解:训练成本与误差不划算,简单索引更可靠。
- 误区:HNSWFlat 一定比 Flat 快。正解:极小数据 Flat 暴力计算可能更直接,以实测为准。
追问
- 问:小规模但维度很高怎么办?答:先评估距离计算成本,必要时降维或图索引,仍以实测为准。
- 问:未来会增长怎么预留?答:外部映射与写入链路按可重建设计,索引族可随规模迁移。
05.6.6.1-046 海量数据集选什么索引族?
频率 ★★★★☆ | 难度 高级
一句话结论
百万级以上、内存受限时选 IVF 系 + 量化(IVFPQ/IVFSQ,可叠加 OPQ),图索引用于延迟敏感且内存可承受的场景;量化召回不足叠加 Refine 重排,最终以基准测试与分片方案共同决定。
概念解释
- 压缩优先:IVFPQ 高压缩比,IVFSQ 误差较小。
- 图索引:HNSWFlat/HNSWPQ 导航稳定但内存高。
- 规模外:单机放不下时分片多索引,归并 TopK。
原理流程
内存预算紧 → IVF + PQ/SQ(+OPQ)
延迟敏感 + 内存够 → HNSW 系
召回不足 → Refine 重排 / 调搜索参数
超单机 → 分片 + 应用归并
代码 / 命令
# 评估项:压缩后内存 · recall@k · P99 · 构建/重建成本
常见误区
- 误区:海量数据只用一种索引族。正解:热数据图索引、冷数据量化/分片是常见分层。
- 误区:压缩比越高越好。正解:超出误差容忍度的压缩会让检索结果不可用。
追问
- 问:分片后召回怎么评估?答:合并各路结果后与全局 Flat 对照,注意分片归并的候选补位。
- 问:海量数据重建周期怎么定?答:按更新率与碎片比例评估重建窗口,提前预留构建资源。
05.6.6.1-047 工厂串解析失败怎么排查?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
按「token 是否合法 → 参数个数与取值 → 层级组合是否兼容 → 维度约束」顺序排查;对照 wiki 索引类型表逐段核对,非法组合在构造期即暴露,不要用搜索结果反推写法。
概念解释
- token:索引族名称拼写与大小写。
- 参数:数字个数、取值档位是否被该族接受。
- 组合:粗索引与编码层是否搭配,包装层位置是否正确。
- 维度:D、PCA 降维、PQ 分段是否兼容。
原理流程
拆分逗号段 → 逐 token 查 wiki
→ 核对参数个数/档位 → 验证组合合法 → 检查维度整除
代码 / 命令
# 最小复现:先写 Flat 通过,再逐段加 token 定位报错层
常见误区
- 误区:凭经验拼 token 组合。正解:以官方索引类型表为准,不确定的写法标待确认并实测构造。
- 误区:报错来自 search 阶段才处理。正解:工厂串问题多在构造期暴露,先过构造再谈检索。
追问
- 问:版本间 token 有差异怎么办?答:核对当前版本 wiki,旧文档写法在新版本可能不兼容。
- 问:构造通过但结果异常查什么?答:训练、维度、dtype、度量与参数归属逐项排查。
05.6.6.1-048 给出一个从数据集到构建检索的完整 Faiss 流程?
频率 ★★★★★ | 难度 高级
一句话结论
完整链路为:规整向量类型与维度 → 选索引族并构造工厂串 → 需要则 train → add 入库 → 设置搜索参数 → search 返回编号 → 外部映射取内容 → 基准评估与持久化替换。
概念解释
- 输入:float32 连续矩阵、外部 id 与业务映射。
- 决策:索引族按规模/内存/SLA 选择,参数经基准测试确定。
- 工程:映射表外置、双索引切换、监控召回与碎片。
原理流程
1) 向量 astype float32 + 形状校验
2) index_factory 构造索引
3) 需要 train:index.train(xb_train)
4) add / add_with_ids 入库
5) 设置 nprobe 或 efSearch
6) search → D/I → 外部表回显
7) recall/P99/内存评估 → write_index 持久化
代码 / 命令
# 面试表达:先讲选型依据 → 再讲训练/入库/检索链路 → 最后讲映射补齐与评估
# 待确认项:具体 API 名与参数默认值以 Faiss 当前版本 wiki 为准
常见误区
- 误区:流程只到 search 结束。正解:编号回显、元数据过滤、持久化与召回评估都是落地环节。
- 误区:索引一次建成永不维护。正解:增量碎片、分布漂移与参数调优都需要重建周期。
追问
- 问:上线前必须验证什么?答:recall@k 对照、P99 与内存峰值、删除/重建流程、索引加载恢复。
- 问:这套流程与向量库差什么?答:缺服务化、元数据存储、副本分片与权限治理,需上层补齐或迁移专用库。
参考来源
- Faiss Wiki(索引类型与工厂字符串):https://github.com/facebookresearch/faiss/wiki
- Faiss 索引类型说明:https://github.com/facebookresearch/faiss/wiki/Faiss-indexes
- Faiss GPU 索引说明:https://github.com/facebookresearch/faiss/wiki/GPU-indexes
- Faiss 常见问题与线程说明:https://github.com/facebookresearch/faiss/wiki/FAQ