05.6.6.2 量化 GPU 与内存优化
所属:全栈开发面试题库 / 05 数据库与存储 / 05.6 向量数据库与语义检索 / 05.6.6 Faiss
覆盖范围
- PQ 的 M 与 nbits、OPQ 预处理、SQ 位宽档位、RefineFlat 重排
- 内存估算公式:原始向量、IVF 质心倒排、PQ 编码码本、HNSW 图结构
- GPU 索引类型、多卡分片与复制、CPU/GPU 转换、GpuResources 与显存
- 线程安全、OMP 线程数、批量查询语义、量化误差来源与召回补救
- 降维 PCA、显存内存取舍、基准对比方法、调参顺序、常见误区与监控
内存与参数主线
原始向量 N×D×4B(float32)
→ IVF:nlist×D 质心 + 倒排归属
→ PQ:N×M×nbits/8 + 码本;SQ:N×D×位宽/8
→ HNSW:图邻居连接表额外开销
→ Refine:额外保留一份原始向量
→ GPU:索引显存副本 + 查询批量缓冲
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.6.6.2-001 | PQ 的 M 参数选择 | 进阶 | ★★★★★ |
| 05.6.6.2-006 | 原始向量内存估算 | 基础 | ★★★★★ |
| 05.6.6.2-008 | PQ 编码与码本内存 | 进阶 | ★★★★☆ |
| 05.6.6.2-011 | 多卡分片与复制区别 | 高级 | ★★★★☆ |
| 05.6.6.2-015 | 查询并发与写互斥边界 | 高级 | ★★★★☆ |
| 05.6.6.2-020 | 量化误差来源 | 高级 | ★★★★☆ |
| 05.6.6.2-024 | 调参顺序 | 高级 | ★★★★☆ |
| 05.6.6.2-036 | 量化召回下降补救 | 进阶 | ★★★★☆ |
| 05.6.6.2-043 | 召回/QPS/内存三件套 | 基础 | ★★★★☆ |
| 05.6.6.2-048 | CPU/GPU 与量化选型方案 | 高级 | ★★★★★ |
05.6.6.2-001 PQ 的 M 参数怎么选?
频率 ★★★★★ | 难度 进阶
一句话结论
M 是向量切分的子段数,M 越大编码越细、重建误差越小,但编码占用与码本成本越高;选择要在压缩比与 recall@k 之间实测权衡,没有可背诵的固定最优值。
概念解释
- 作用:每段子空间独立码本,M 决定分段粗细。
- 内存:编码长度随 M 线性增长。
- 误差:M 偏小则子段过粗,向量重建失真更明显。
原理流程
固定数据集与 nbits → 试不同 M
→ 记录召回与内存 → 选满足 SLA 的最小 M
代码 / 命令
# 工厂串 PQ<M>,<nbits>;M 与维度分段规则以 wiki 为准(待确认)
常见误区
- 误区:M 越大索引越好。正解:M 上升压缩比下降、内存升高,收益递减。
- 误区:M 可以任意取值。正解:受维度分段与版本实现约束,非法组合构造期报错。
追问
- 问:M 与 nbits 怎么一起调?答:先定内存预算,再扫 M 与 nbits 组合,对照召回拐点。
- 问:高维向量 M 怎么取?答:维度大时子段可相应增加,但仍以实测重建误差为准。
05.6.6.2-002 PQ 的 nbits 控制什么?
频率 ★★★★★ | 难度 进阶
一句话结论
nbits 是每个子段编码位数,码本大小为 2^nbits;位数越多码本越大、量化越细,编码占用也越高,允许档位以版本 wiki 为准(待确认)。
概念解释
- 码本规模:每子段 2^nbits 个码字。
- 编码占用:每向量每子段 nbits 位。
- 误差:位数过少导致子空间区分不足,近似距离失真。
原理流程
nbits↑ → 码本↑ → 重建误差↓ → 编码内存↑
→ 在召回与压缩间取平衡
代码 / 命令
# 常见 8 位类档位;可选全集核对 wiki,不背诵未确认默认值
常见误区
- 误区:nbits 越低压缩越好,召回无所谓。正解:过低码本无法区分相近向量,召回明显下降。
- 误区:nbits 与 M 作用相同。正解:M 控分段数,nbits 控每段精度,两者独立权衡。
追问
- 问:降一档 nbits 先观察什么?答:recall@k 变化与距离排序紊乱程度,再决定是否配重排。
- 问:码本存哪里?答:随索引持久化,查询时用于重建近似距离,不存原始向量。
05.6.6.2-003 OPQ 预处理改善什么?
频率 ★★★☆☆ | 难度 进阶
一句话结论
OPQ 学习正交旋转把向量变换到更适合分段编码的坐标系,降低 PQ 重建误差;代价是多一步旋转训练与查询侧变换,收益需在同数据集上对照有无 OPQ 的召回。
概念解释
- 机制:旋转矩阵使各子段能量分布更均匀,便于码本划分。
- 训练:与 PQ 码本配合学习,依赖样本分布。
- 开销:训练时间、查询时旋转变换、索引内保存旋转矩阵。
原理流程
train 学旋转 → 入库/查询向量先旋转
→ 再进 PQ 编码/检索 → 对照基线看召回提升
代码 / 命令
# 工厂串前置 OPQ<M>;是否值得加看召回与延迟实测
常见误区
- 误区:OPQ 能把任意低比特 PQ 救回无损。正解:它改善编码适配,不消除量化本质误差。
- 误区:OPQ 旋转矩阵可手动复用在别的索引。正解:矩阵随特定索引训练,不可跨索引混用。
追问
- 问:OPQ 对查询侧有什么要求?答:查询向量必须应用同一旋转,直接传原始向量会错位。
- 问:什么时候不加 OPQ?答:数据天然分段均匀、召回已达标,省去旋转训练与开销。
05.6.6.2-004 SQ 标量量化有哪些位宽档位?
频率 ★★★☆☆ | 难度 基础
一句话结论
SQ 逐维量化为低比特整数,常见 8 位等档位,半精度浮点形式以版本支持为准(待确认);相比 PQ,SQ 机制简单、误差较小,压缩比中等。
概念解释
- 机制:逐维映射到整数区间,保留维度独立信息。
- 档位:位宽决定每维存储与精度,可选集合核对 wiki。
- 定位:介于原始向量与 PQ 之间的压缩方案。
原理流程
训练校准尺度 → 向量逐维量化入库
→ 查询时解量化或按整数距离近似计算
代码 / 命令
# 工厂串 SQ8 类写法;具体 SQ4/SQ6/fp16 支持情况以文档为准
常见误区
- 误区:SQ 与 PQ 参数可互换。正解:逐维量化与分段码本是两套机制,位宽/M 不能混填。
- 误区:SQ 是无损压缩。正解:低比特映射存在精度损失,召回需对照基线。
追问
- 问:SQ 和 PQ 怎么选?答:内存不紧、误差敏感选 SQ;追求高压缩比选 PQ 并配重排。
- 问:SQ 误差来自哪里?答:每维区间截断与整数舍入,极端幅值向量误差更明显。
05.6.6.2-005 IndexRefineFlat 重排怎么工作,代价是什么?
频率 ★★★★☆ | 难度 进阶
一句话结论
RefineFlat 在内层粗索引召回的候选上保留原始向量做精确距离重排,补偿量化误差;代价是额外一份原始向量内存与重排计算,且救不回粗索引没访到的向量。
概念解释
- 流程:粗索引取 N 候选 → refine 用原始向量精算距离 → 重排取 TopK。
- 内存:refine 层持有原始向量副本。
- 边界:只在候选集合内排序,不扩大粗召回范围。
原理流程
量化索引召回候选
→ RefineFlat 原始向量精排
→ 返回精排 TopK
代码 / 命令
# 评估:refine 前后 recall@k、额外内存、重排 P99
常见误区
- 误区:加了 refine 就不用调粗索引召回。正解:粗候选不足时 refine 无米下锅。
- 误区:refine 只存编码不存原始向量。正解:精排必须保留原始向量,内存是主要代价。
追问
- 问:候选 N 取多大?答:大于最终 K,在重排成本与召回收益间实测选择。
- 问:内存紧张时怎么减负?答:减小 refine 候选集、降低量化压缩负担,或接受量化误差。
05.6.6.2-006 原始向量部分怎么估算内存?
频率 ★★★★★ | 难度 基础
一句话结论
float32 原始向量占用 ≈ 向量数 N × 维度 D × 4 字节;这是内存估算的基线,索引结构、码本、映射与查询缓冲在此之上额外增加。
概念解释
- 单向量:D 维 × 4 字节/维。
- 总量:N × D × 4,注意单位换算到 MB/GB。
- 假设:连续存储、无压缩,未计索引结构与副本。
原理流程
基线内存 = N × D × 4 B
→ 再加索引结构/码本/倒排/图连接/映射表
→ 乘以副本与查询缓冲余量
代码 / 命令
# 示例(数字按实际替换):100 万 × 768 × 4 B ≈ 2.9 GB 原始向量
# 不背固定容量结论,按真实 N、D 计算
常见误区
- 误区:只按原始向量大小买内存。正解:索引结构与副本会让实际占用翻倍甚至更多。
- 误区:half 存储和 float32 占用一样。正解:每维字节数随精度类型变化。
追问
- 问:fp16 能省多少?答:每维 2 字节,理论上原始向量部分减半,精度影响需实测。
- 问:查询缓冲占多少?答:与批量查询数、TopK、候选数相关,峰值要纳入内存估算。
05.6.6.2-007 IVF 质心与倒排部分怎么估内存?
频率 ★★★☆☆ | 难度 进阶
一句话结论
IVF 质心占用 ≈ nlist × D × 4 字节;倒排记录每条含向量归属(或编码)与编号,簇数越大质心开销越高,倒排条目随 N 增长。
概念解释
- 质心:nlist 个 D 维向量,训练产物。
- 倒排:每条记录的簇归属与编号引用;IVFFlat 簇内仍存原始向量。
- 压缩:IVFPQ 簇内存量为编码而非原始向量。
原理流程
质心 = nlist × D × 4B
倒排条目 = N × (归属 + 编号 + 编码)
→ 叠加原始/编码向量占用
代码 / 命令
# 估算:先算质心,再按索引族算簇内向量/编码占用
常见误区
- 误区:IVF 省的是向量本身。正解:IVFFlat 簇内保留原始向量,省的是索引结构而非向量本体。
- 误区:nlist 不影响内存。正解:质心占用随簇数线性增长。
追问
- 问:nlist 过大内存有什么变化?答:质心表变大,每簇样本变少,质心稳定性也下降。
- 问:倒排编号占多少?答:每条编号为整数引用,相对向量编码较小,但海量条目仍需计入。
05.6.6.2-008 PQ 编码与码本部分怎么估内存?
频率 ★★★★★ | 难度 进阶
一句话结论
PQ 编码占用 ≈ N × M × nbits / 8 字节,另加码本(子段数 × 2^nbits × D/M 维度 × 每维字节);编码比原始向量小一个量级,码本在海量向量下占比相对小。
概念解释
- 编码:每条向量分段量化后的码字索引。
- 码本:每个子段一张,规模随 nbits 指数增长。
- 对比:N 越大,编码压缩优势越明显;码本为固定开销。
原理流程
编码 = N × M × nbits / 8 B
码本 = M × 2^nbits × (D/M) × 4B(float 码字)
→ 叠加 IVF 质心与映射表
代码 / 命令
# 估算时分开列:编码条目 + 码本 + 质心 + 外部映射
常见误区
- 误区:PQ 内存只算编码。正解:码本、质心与编号映射都要计入。
- 误区:nbits 升高对内存影响可忽略。正解:码本按 2^nbits 增长,位数加大码本膨胀明显。
追问
- 问:为什么 PQ 适合海量向量?答:编码字节数远低于原始 float32,N 越大压缩收益越显著。
- 问:M 增大内存怎么变?答:编码段数增加,编码占用与码本子段数同步上升。
05.6.6.2-009 HNSW 图结构开销体现在哪里?
频率 ★★★★☆ | 难度 进阶
一句话结论
HNSW 除原始/编码向量外,还要存每层节点的邻居连接表,邻居数 M 与层数决定图结构开销;这是 HNSW 内存高于 IVF 系的主要原因,M 越大连接表越密。
概念解释
- 连接表:每节点记录邻居编号,多层重复存储。
- 规模:随 N 与 M 增长,层数为对数级别。
- 对照:IVF 主要是质心与倒排,图索引多了邻居指针结构。
原理流程
向量本体(Flat 或 PQ 编码)
+ 每层邻居编号表(N × M × 层数 × 编号字节)
→ 总内存显著高于纯倒排压缩
代码 / 命令
# 估算:向量本体 + 邻居连接表;M 提高要单独评估图内存增长
常见误区
- 误区:HNSW 内存只是向量大小。正解:邻居连接表是独立的大块开销。
- 误区:M 增大只影响召回不影响内存。正解:M 直接增加连接表条目数。
追问
- 问:HNSWPQ 内存怎么算?答:PQ 编码向量 + 图连接表,两者都要计入。
- 问:图内存过高怎么降?答:降低 M、评估 PQ 编码层,或改用 IVF 系索引。
05.6.6.2-010 GPU 索引有哪些主要类型?
频率 ★★★☆☆ | 难度 基础
一句话结论
Faiss GPU 提供与 CPU 对应的索引族实现(如 GPU Flat、IVF、PQ 等),可用 CPU 索引搬到 GPU 执行;哪些族有 GPU 实现以版本文档为准(待确认),未实现的族不能强制上卡。
概念解释
- 对应关系:常用 Flat/IVF/PQ 类有 GPU 版本,图索引支持情况需核对。
- 执行:距离计算与检索在显存/显卡上完成。
- 限制:显存容量、支持族集合与 CPU 不完全对等。
原理流程
CPU 构造索引 → 搬到 GPU → GPU search
→ 不支持的族留在 CPU 或换索引结构
代码 / 命令
# 支持清单核对 wiki GPU 索引页;不凭印象假设全部族可上卡
常见误区
- 误区:所有 CPU 索引都能复制到 GPU。正解:GPU 实现集合有限,缺失族会报错或不支持。
- 误区:GPU 索引自动持久化在显存。正解:重启后显存不保留,需回拷 CPU 写文件。
追问
- 问:GPU 索引适合什么负载?答:高并发批量距离计算、数据量在显存可容纳范围。
- 问:CPU 与 GPU 结果一致吗?答:同索引族与参数下应一致,浮点实现差异需在基准中核对。
05.6.6.2-011 多卡分片与复制有什么区别?
频率 ★★★★☆ | 难度 进阶
一句话结论
分片(sharding)把向量拆开分到多卡,每卡承担一部分索引,容量横向扩展;复制(replication)每卡放完整索引副本,提升查询吞吐;两者目标不同,不能混为一谈。
概念解释
- 分片:数据拆分 + 各路检索 + 应用/索引层归并 TopK。
- 复制:多副本分担并发查询,单卡故障可由其他副本承接。
- 实现:多卡调度与索引组织方式以版本接口为准(待确认)。
原理流程
容量不足 → 分片:索引按段拆到各卡 → 归并结果
吞吐不足 → 复制:完整索引多副本 → 请求分摊
代码 / 命令
# 选型判断:先区分是单机放不下还是单卡算不动
常见误区
- 误区:多卡一定线性加速。正解:分片有归并开销,复制受副本一致性与路由约束。
- 误区:分片后召回等于单卡全量。正解:各分片候选补位与归并策略影响最终 recall。
追问
- 问:分片归并怎么做?答:各路返回局部 TopK,合并后按距离重排取全局 TopK。
- 问:复制副本之间要同步吗?答:索引更新后需把新版本分发到各副本,避免副本数据落后。
05.6.6.2-012 index_cpu_to_gpu 与回拷流程是什么?
频率 ★★★★☆ | 难度 进阶
一句话结论
典型路径是先在 CPU 构造、训练、添加索引,再复制到指定 GPU 执行检索;需要持久化或跨设备部署时回拷 CPU 再写索引文件,直接在显存上保存不可靠。
概念解释
- 上行:CPU 索引 → 显存副本,检索走 GPU。
- 下行:GPU 索引 → CPU 索引,用于落盘与兼容环境。
- 资源:GpuResources 管理显存与流,设备号指定显卡。
原理流程
CPU index (train/add)
→ index_cpu_to_gpu(res, device, index)
→ GPU search
→ index_gpu_to_cpu → write_index 持久化
代码 / 命令
# 函数名与参数以版本为准(待确认)
常见误区
- 误区:GPU 副本修改会同步回 CPU 原索引。正解:多数为独立拷贝,更新链路要明确以哪份为准。
- 误区:不回拷就能 write_index。正解:持久化通常针对 CPU 索引对象执行。
追问
- 问:搬上 GPU 后还能改索引吗?答:增量更新建议在 CPU 侧完成后重新搬卡,避免直接改显存副本。
- 问:多设备号怎么指定?答:按可见显卡编号分配,结合分片/副本拓扑规划。
05.6.6.2-013 GpuResources 怎么管理显存与释放?
频率 ★★☆☆☆ | 难度 高级
一句话结论
GPU 资源对象管理索引显存与查询工作区,索引副本与批量缓冲都占用显存;服务结束要释放资源、释放索引引用,避免显存泄漏累积,具体 API 以版本为准(待确认)。
概念解释
- 占用项:索引副本、批量查询缓冲、临时计算空间。
- 生命周期:资源对象随服务持有,销毁时回收显存。
- 监控:观察显存占用随索引规模与批量大小的增长。
原理流程
创建资源对象 → 索引上卡 → 批量检索占用缓冲
→ 停止服务 → 释放索引与资源对象 → 显存回收
代码 / 命令
# 排障:显存持续不降 → 检查索引引用是否释放、批量缓冲是否归还
常见误区
- 误区:查询结束显存自动全部清零。正解:资源与索引引用未释放时显存会被保留。
- 误区:索引大小等于显存占用。正解:查询批量缓冲是额外峰值占用。
追问
- 问:显存不足先降什么?答:减小单卡索引规模、降批量查询大小、必要时留在 CPU。
- 问:多进程各占一张卡怎么隔离?答:设备号分配清晰,避免多进程争抢同一显卡显存。
05.6.6.2-014 索引 cloner 与复制选项有什么用?
频率 ★★☆☆☆ | 难度 高级
一句话结论
cloner 控制索引在设备或结构间复制时的选项(如是否深拷贝、设备转换方式),复制行为按选项生效;具体选项类与默认值以版本文档为准(待确认),复制后要校验向量数与可搜索性。
概念解释
- 用途:CPU 间备份、CPU/GPU 转换、多副本组织。
- 选项:拷贝深度、设备目标、是否保留训练参数。
- 校验:复制后 ntotal、is_trained、抽样检索与源索引对照。
原理流程
源索引 + cloner 选项 → 目标索引
→ 校验向量数/训练状态/抽样结果
代码 / 命令
# 选项名待确认;复制后先跑 Flat 对照再投入服务
常见误区
- 误区:复制是共享内存引用。正解:深拷贝占独立内存,多副本要算多份占用。
- 误区:复制自动保留外部映射。正解:IDMap 映射随索引复制,但外部业务表仍需单独对账。
追问
- 问:双索引切换内存怎么控制?答:新索引就绪前新旧并存,切换后立即释放旧索引引用。
- 问:复制失败常见原因?答:设备不支持该索引族、显存/内存不足、源索引未训练完成。
05.6.6.2-015 查询并发与写入的线程安全边界是什么?
频率 ★★★★★ | 难度 高级
一句话结论
检索在只读索引上可并发执行,写入、删除、训练属于结构修改操作,必须串行化;未在文档中确认的并发写不要乐观假设,服务化时用「只读副本对外 + 旁路构建替换」模型规避竞争。
概念解释
- 读:search 不改结构,多线程并发依赖只读稳定性。
- 写:add/remove/train 修改内部状态,并发写可能损坏结构。
- 封装:应用层加锁或双索引切换,把读写竞争隔开。
原理流程
查询线程 → 只读索引并发 search
更新旁路 → 构建新索引 → 原子替换引用 → 旧索引释放
代码 / 命令
# 写路径单写者队列;读路径无锁并发;替换引用保证可见性
常见误区
- 误区:多线程同时 add 没问题。正解:结构修改需互斥,Faiss 不替应用做写锁。
- 误区:替换索引对象时在途查询会读到坏状态。正解:引用切换要保证旧对象在途请求用完后再释放。
追问
- 问:OMP 内部线程与应用线程池怎么协调?答:控制 faiss 内部线程数,避免与应用线程池叠加争抢 CPU。
- 问:删除操作能并发跑吗?答:与写入同等对待,串行执行并加锁。
05.6.6.2-016 OMP 线程数怎么设置,有什么坑?
频率 ★★★☆☆ | 难度 基础
一句话结论
Faiss CPU 检索用 OpenMP 并行,线程数通过对应接口设置;线程过多会在小批量查询上产生调度开销,过小则吃不满多核,需按批量大小与核数实测。
概念解释
- 作用:控制单次检索内部并行度。
- 权衡:大批量适合多核,小批量高并发场景线程过多反而抖动。
- 叠加:与应用线程池、其他原生库线程一起规划总 CPU。
原理流程
faiss.omp_set_num_threads(n) # 接口名以版本为准
→ 压测不同 n 下的 QPS 与 P99
代码 / 命令
# 高并发小请求:限制内部线程,避免线程爆炸
# 离线大批量:放开并行度吃满核数
常见误区
- 误区:线程数设成核数一定最快。正解:小批量场景调度开销可能超过并行收益。
- 误区:每个请求动态改线程数。正解:线程数全局生效,应按服务负载模型统一配置。
追问
- 问:容器里核数怎么识别?答:按分配的 CPU 限额设线程数,不要直接取宿主机总核数。
- 问:线程数与 QPS 什么关系?答:先压测找到拐点,超线程收益递减后维持稳定值。
05.6.6.2-017 批量查询的语义是什么?
频率 ★★★★☆ | 难度 基础
一句话结论
search 一次接收查询矩阵,批量返回 D、I 两组 (n_query, k) 结果;批量提交减少往返与调度开销,但单次批量占用计算与缓冲内存,大小需压测确定。
概念解释
- 输入:多行查询向量组成矩阵。
- 输出:每行对应一组 TopK,行下标对齐。
- 取舍:批量吞吐更高,单批过大则 P99 与内存峰值上升。
原理流程
查询矩阵 (Q, D) → search(Q, k)
→ D/I 形状 (Q, k) → 逐行处理结果
代码 / 命令
# 批量分批:控制单批查询数,失败按行定位重试
常见误区
- 误区:批量越大吞吐越高、延迟越低。正解:单批过大会拉高单次等待与内存峰值。
- 误区:批量结果行顺序会被重排。正解:行下标与输入一一对应,组内按距离排序。
追问
- 问:批量部分失败怎么处理?答:按行定位失败查询,单独重试,不整批盲目重跑。
- 问:在线实时请求适合大批量吗?答:通常小批量或单条,后台分析任务才用大批量。
05.6.6.2-018 IVFPQ 的批量搜索行为有什么特点?
频率 ★★★☆☆ | 难度 进阶
一句话结论
IVFPQ 批量搜索时每个查询独立定位 nprobe 簇并做 PQ 近似距离;批量共享索引与码本,计算量随查询数与访问簇数增长,PQ 距离为近似重建距离。
概念解释
- 簇定位:各查询独立找最近 nprobe 簇。
- 编码距离:按 PQ 码本查表近似计算,非原始向量精确距离。
- 批量收益:索引与码本只加载一份,批量摊薄固定开销。
原理流程
批量查询 → 各查 nprobe 簇
→ PQ 编码近似距离 → 批量排序取 TopK
代码 / 命令
# 调参:nprobe 控制每查询扫描簇数;批量大小控制单次提交规模
常见误区
- 误区:IVFPQ 批量距离是精确 L2。正解:编码重建距离为近似,与原始向量有误差。
- 误区:批量越大 nprobe 可以越小。正解:召回由 nprobe 与编码质量决定,批量只影响吞吐。
追问
- 问:批量 PQ 召回不足怎么补?答:增大 nprobe、加 refine 重排、改善 PQ 参数。
- 问:码本查表开销怎么观察?答:对比 Flat 基线延迟,定位是簇定位、编码查表还是排序阶段慢。
05.6.6.2-019 召回评估方法是什么?
频率 ★★★★★ | 难度 基础
一句话结论
在固定查询集上用 Flat 精确结果作金标准,对比 ANN TopK 重合度得到 recall@k;同时记录 QPS、P99 与内存,评估必须三组指标一起看,不能只评召回。
概念解释
- 金标准:Flat 暴力检索结果。
- 指标:recall@k、吞吐、尾延迟、内存占用。
- 可重复:同一数据集与查询集用于不同索引/参数横向对比。
原理流程
查询集 → Flat 金标准 → 索引检索
→ 算 recall@k → 记录延迟/内存 → 参数对比复评
代码 / 命令
# recall@k = 重合条数 / k;每次只调一组参数
常见误区
- 误区:用 ANN 结果自己对照自己。正解:必须以 Flat 精确结果为基准。
- 误区:召回达标就上线。正解:P99 与内存超标同样不可用。
追问
- 问:大规模 Flat 跑不动怎么办?答:抽样子集建 Flat 对照,查询集覆盖典型分布。
- 问:召回按哪个 k 评估?答:按线上实际返回条数 k 评估,必要时同时看 recall@1/@5/@10。
05.6.6.2-020 量化误差来自哪些环节?
频率 ★★★★☆ | 难度 进阶
一句话结论
误差来自簇心划分(IVF)、子段码本近似(PQ)、逐维截断舍入(SQ)与旋转/降维损失;误差累积使近似距离偏离真实距离,表现为近邻排序错位。
概念解释
- IVF:向量归属粗簇,未访簇的近邻直接丢失。
- PQ:残差由码本重建,子段划分与码字选择带来失真。
- SQ:低比特区间截断;PCA/OPQ 带来投影损失。
原理流程
原始向量 → 聚类归属 → 量化编码 → 近似距离
每一步引入近似 → 累积为最终排序误差
代码 / 命令
# 定位:对比 Flat 结果,区分是漏簇还是编码排序错位
常见误区
- 误区:量化误差只来自 PQ 码本。正解:粗簇、降维与舍入都贡献误差。
- 误区:误差随索引结构固定不变。正解:样本分布漂移后码本失准,误差会放大。
追问
- 问:哪类误差 refine 能补?答:只补编码排序错位;漏簇问题 refine 救不回。
- 问:怎么降低量化误差?答:提高码本精度、改善训练样本、保留原始向量重排。
05.6.6.2-021 降维与 PCA 怎么取舍?
频率 ★★★☆☆ | 难度 进阶
一句话结论
PCA 投影到低维可减少计算与内存,但会丢弃低方差分量;是否可行要在目标维度上验证召回,不能把简单截断维度等同 PCA 降维。
概念解释
- 收益:维度下降,距离计算与索引占用线性降低。
- 损失:被丢弃分量携带的信息不可恢复。
- 适用:维度冗余明显、低方差方向可舍弃的场景。
原理流程
训练样本学投影 → 入库/查询统一投影到 d2 维
→ 目标维度上评估 recall@k 与延迟
代码 / 命令
# 工厂串 PCA<d2>;d2 与下游索引参数兼容
常见误区
- 误区:PCA 后召回基本不变。正解:信息损失可能让长尾近邻丢失,必须实测。
- 误区:直接截断后几维等效 PCA。正解:截断不考虑方差分布,投影质量远低于训练 PCA。
追问
- 问:PCA 与换小维度模型哪个优先?答:模型维度更贴合语义时优先换模型;PCA 是对现有向量的线性压缩。
- 问:投影矩阵怎么随索引保存?答:随索引持久化,查询侧加载同一索引应用投影。
05.6.6.2-022 显存与内存怎么取舍?
频率 ★★★☆☆ | 难度 高级
一句话结论
GPU 换取距离计算吞吐,但受显存容量与支持索引族限制;CPU 内存容量更大、兼容性更好但计算慢。取舍依据是批量吞吐目标、数据规模与硬件成本,不是默认上 GPU。
概念解释
- GPU 优势:批量并行计算,高并发低延迟。
- GPU 约束:显存上限、族支持、设备转换与持久化回拷。
- CPU 优势:内存容量大、索引族齐全、部署简单。
原理流程
估算索引显存需求 → 对照显卡容量
→ 吞吐不足再评估 GPU → 不支持的族留 CPU
代码 / 命令
# 决策项:N×D 索引大小 · 批量缓冲 · 支持族 · 硬件成本
常见误区
- 误区:上 GPU 一定比 CPU 快。正解:小批量、数据搬移开销与族不匹配时 GPU 反而更慢。
- 误区:显存能无限扩容。正解:单卡显存固定,超规模要分片或留 CPU。
追问
- 问:部分索引上卡可行吗?答:分片部分上 GPU、其余 CPU 混合部署需自行归并,复杂度要计入评估。
- 问:怎么验证 GPU 收益?答:同数据集对比 CPU/GPU 的 QPS、P99 与资源占用。
05.6.6.2-023 性能对比方法怎么设计?
频率 ★★★☆☆ | 难度 基础
一句话结论
对比必须固定数据集、查询集、度量与硬件环境,只改变被比较的索引族或参数;记录 recall@k、QPS、P99、内存与构建时间,结论注明数据条件,不跨分布套用。
概念解释
- 控制变量:一次只改一项,避免多因素混淆。
- 指标齐全:召回、延迟、资源、构建成本。
- 可复现:数据集版本、参数与环境记录在案。
原理流程
准备统一数据集/查询集 → 基线 Flat
→ 候选索引逐一压测 → 指标对比表 → 选达标方案
代码 / 命令
# 对比表:索引族 · 参数 · recall@k · QPS · P99 · 内存 · 构建耗时
常见误区
- 误区:随机向量压测结论可用于线上。正解:分布失真,召回与延迟都不可靠。
- 误区:只比延迟不比召回。正解:快但召不回的索引没有业务价值。
追问
- 问:硬件不同怎么对比?答:同环境优先;跨环境时注明配置,不直接横向排名。
- 问:构建时间要计入选型吗?答:要,频繁重建场景构建成本直接影响运维可行性。
05.6.6.2-024 调参顺序应该是什么?
频率 ★★★★☆ | 难度 进阶
一句话结论
先定度量与数据集基线,再选索引族与结构参数,随后调搜索候选(nprobe/efSearch),最后加量化压缩与重排;每次只调一组并复测召回与延迟,避免参数互相干扰。
概念解释
- 顺序:基线 → 结构 → 搜索参数 → 量化/重排。
- 原则:结构参数改动常需重建,搜索参数可在线调。
- 回归:每步复测 recall@k、P99 与内存。
原理流程
Flat 基线 → 索引族/结构参数
→ nprobe/efSearch 扫召回-延迟拐点
→ 量化压缩 → 必要时 Refine 重排
代码 / 命令
# 记录每步参数与指标;不一次性堆所有改动
常见误区
- 误区:先调量化再选结构。正解:结构未定,压缩收益无从评估。
- 误区:召回低就同时改所有参数。正解:多因素改动无法定位哪个有效。
追问
- 问:线上召回下降先动哪个?答:先调查询候选参数,再判断结构/量化是否需要重建。
- 问:结构参数调整为什么成本高?答:IVF 质心、PQ 码本、HNSW 图都需重建索引。
05.6.6.2-025 误区:量化是无损压缩?
频率 ★★★★☆ | 难度 基础
一句话结论
量化是近似压缩,必然引入精度损失;声称无损的量化方案要核对其类型与存储方式,工程上必须用召回基线验证压缩后的检索质量。
概念解释
- 近似:编码/低比特存储无法完全还原原始向量。
- 验证:压缩前后 recall@k 对照,不凭经验假设无损失。
- 兜底:重排与参数调整补偿可接受范围内的误差。
原理流程
量化入库 → 近似距离检索
→ 与 Flat 基线对比召回 → 误差超阈值则提高精度或重排
代码 / 命令
# 所有量化索引都先跑 recall@k 基线
常见误区
- 误区:SQ8 只是换个存储格式,结果不变。正解:整数映射存在舍入误差。
- 误区:压缩后距离与原始距离数值可直接比较。正解:近似距离量纲与精度都不同。
追问
- 问:哪些存储方式接近无损?答:保留原始 float/half 向量的方案无量化损失,压缩比有限。
- 问:误差容忍度怎么定?答:按业务标注集可接受的召回下降幅度定量化级别。
05.6.6.2-026 误区:PQ 的 M 越大越好?
频率 ★★★☆☆ | 难度 进阶
一句话结论
M 增大到一定程度后召回收益递减,而编码内存与码本成本持续上升;应在内存预算内选满足召回的最小 M,而非一味取大。
概念解释
- 边际收益:分段细化到一定程度后重建误差改善有限。
- 成本:编码与码本随 M 增长。
- 约束:M 受维度分段规则限制。
原理流程
扫 M 取值 → 召回曲线趋平处停止加大
→ 取召回达标且内存最省的 M
代码 / 命令
# 同 nbits 下对比不同 M 的 recall 与内存
常见误区
- 误区:M 越大码本越精细,质量线性提升。正解:边际收益递减,内存线性增加。
- 误区:M 可以和 nbits 一起随意加大。正解:两者都放大码本与编码占用,需联合看内存预算。
追问
- 问:M 偏小的典型表现?答:子段过粗,相近向量重建混淆,召回在近邻区域下降。
- 问:维度低时 M 怎么取?答:分段受维度限制,样本不足时优先简单索引而非强行大 M。
05.6.6.2-027 误区:GPU 一定比 CPU 快?
频率 ★★★☆☆ | 难度 基础
一句话结论
GPU 优势在大规模并行距离计算;小批量、索引族不匹配、数据频繁搬移或显存受限时,CPU 可能更快更稳,是否上卡要用同场景基准测试验证。
概念解释
- 加速条件:批量足够大、计算密集、索引族有 GPU 实现。
- 拖累项:CPU/GPU 搬移、启动开销、显存排队。
- 实测:QPS、P99 与资源占用同环境对比。
原理流程
估算批量与计算密度
→ 同数据集对比 CPU/GPU
→ 按吞吐与延迟决定设备分配
代码 / 命令
# 不凭设备品牌下结论;小请求场景保留 CPU 路径
常见误区
- 误区:任何索引搬上 GPU 都加速。正解:无对应 GPU 实现的族只能留 CPU。
- 误区:GPU 延迟只看计算不看搬移。正解:索引上卡与回拷成本要计入端到端延迟。
追问
- 问:什么时候 GPU 收益最明显?答:大批量离线检索或高并发批量查询、向量计算占主导。
- 问:GPU 抖动怎么排查?答:看显存排队、批量大小、设备共享情况与搬移耗时。
05.6.6.2-028 误区:索引应该常驻显存?
频率 ★★☆☆☆ | 难度 基础
一句话结论
索引常驻显存只为低延迟检索服务;持久化与跨设备部署仍需 CPU 副本落盘,显存内容不可靠,服务重启后要重新加载或从 CPU 索引上卡。
概念解释
- 显存易失:断电/重启后索引不保留。
- 持久化对象:CPU 索引文件。
- 加载链路:读索引 → 上卡 → 检索。
原理流程
write_index 保存 CPU 索引文件
→ 启动 read_index → 上卡提供服务
→ 不依赖显存保存数据
代码 / 命令
# 备份对象是索引文件与外部映射表,不是显存状态
常见误区
- 误区:显存里有索引就不用写文件。正解:重启后丢失,必须落盘恢复。
- 误区:多卡显存副本互为备份。正解:副本是服务拷贝,不是持久备份。
追问
- 问:启动加载慢怎么办?答:索引预热、分批上卡、评估量化压缩减小加载体积。
- 问:显存索引更新怎么生效?答:CPU 侧构建新版本,重新上卡替换副本。
05.6.6.2-029 误区:多卡加速是线性的?
频率 ★★☆☆☆ | 难度 高级
一句话结论
多卡收益受分片归并、副本路由、负载均衡与硬件带宽限制,不会随卡数线性增长;加速比要实测,超线性或线性承诺都不可信。
概念解释
- 分片归并:各路结果合并有额外排序与通信成本。
- 副本路由:请求分配不均会造成单卡热点。
- 瓶颈:显存、内存带宽、CPU 归并都可能先于显卡饱和。
原理流程
加卡 → 观察吞吐曲线
→ 定位归并/路由/带宽瓶颈 → 再决定扩卡
代码 / 命令
# 记录每卡负载与归并耗时,不按卡数推算理论线性加速
常见误区
- 误区:翻倍显卡吞吐翻倍。正解:归并与调度开销使加速比低于线性。
- 误区:分片越多越好。正解:分片过多增加归并成本与管理复杂度。
追问
- 问:分片不均怎么发现?答:看各卡 QPS 与显存/计算负载差异,热点卡优先调整路由。
- 问:副本模式扩卡看什么?答:连接路由是否均衡、副本索引是否一致更新。
05.6.6.2-030 float32 与 fp16 存储怎么取舍?
频率 ★★☆☆☆ | 难度 基础
一句话结论
fp16 每维 2 字节、原始向量占用减半,但精度范围与舍入误差更大;是否可接受要在数据集上验证召回与距离稳定性,支持的半精度形式以版本为准(待确认)。
概念解释
- 占用:fp16 相对 float32 每维省 2 字节。
- 精度:fp16 尾数与范围有限,幅值极端的向量误差更明显。
- 实现:索引内部存储与输入接口类型需分开核对。
原理流程
评估精度容忍度 → 试 fp16 存储
→ 对照 recall@k 与距离分布 → 不达标回 float32 或量化索引
代码 / 命令
# 输入接口通常仍要 float32;内部存储形式核对版本 SQ/fp16 支持
常见误区
- 误区:fp16 一定精度够用。正解:数值分布极端时误差放大,必须实测。
- 误区:fp16 输入可以直接绕过类型检查。正解:接口 dtype 要求仍按版本约定。
追问
- 问:fp16 与 PQ 压缩哪个省?答:PQ 压缩比更高但误差机制不同,可组合评估。
- 问:怎么检查精度损失?答:对比 fp16 与 float32 的近邻重合度和距离偏差。
05.6.6.2-031 训练集与线上分布不一致有什么影响?
频率 ★★★☆☆ | 难度 高级
一句话结论
质心、码本与投影都按训练集分布学习,线上分布漂移后索引对新区域向量失准,召回下降;需要重采样训练并重建索引,增量 add 不会修正已训练参数。
概念解释
- 漂移来源:业务文本领域变化、新模型输出分布、新增向量类型。
- 表现:分布外查询召回差、距离排序紊乱。
- 修复:更新训练样本 → 重新 train → 重建索引。
原理流程
监控召回漂移 → 抽样对比新旧分布
→ 重采样训练集 → 重建索引 → 双索引替换
代码 / 命令
# 定期用近期线上样本评估索引质量
常见误区
- 误区:新向量加入后码本自动适配。正解:已训练参数固定,增量不参与学习。
- 误区:召回下降只是搜索参数问题。正解:分布漂移时调 nprobe/efSearch 只能部分缓解。
追问
- 问:怎么早期发现漂移?答:抽样查询集定期跑 recall,对比历史基线;观察向量模长与距离分布。
- 问:重建频率怎么定?答:按更新率与漂移监控设定周期,不固定死板数字。
05.6.6.2-032 质心与码本什么时候需要重训?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
分布漂移、删除比例高导致碎片、召回持续下降且调参无效时,需要重训质心/码本并重建索引;日常增量 add 不触发自动重训。
概念解释
- 触发条件:分布变化、索引碎片、质量监控恶化。
- 方式:用代表性样本重新 train,新建索引替换。
- 成本:训练与构建耗时、双索引并存内存。
原理流程
质量指标恶化 → 评估是否参数可缓解
→ 重训样本 → 新索引构建 → 校验 → 替换旧索引
代码 / 命令
# 重训前保留旧索引可读,新索引校验通过后切换
常见误区
- 误区:定期自动重训就能保持质量。正解:是否需要由分布与碎片监控触发,而非机械周期。
- 误区:重训可以在原索引上热更新。正解:参数重建通常需要新索引对象。
追问
- 问:重训要全量向量参与吗?答:训练样本覆盖分布即可,索引向量仍全量入库;样本与数据角色分开。
- 问:重训后怎么验证?答:对照召回、抽样近邻与旧索引结果,确认无回退再切流。
05.6.6.2-033 保留原始向量做 refine 怎么落地?
频率 ★★★★☆ | 难度 高级
一句话结论
refine 路径在量化索引之外保留一份原始向量,用于候选精确重排;落地要评估这份副本的内存代价,并控制 refine 候选数量,只对粗召回 TopN 精排。
概念解释
- 组成:量化粗索引 + 原始向量重排层。
- 内存:额外 N×D×4B 原始向量副本。
- 流程:粗召回 N 候选 → 原始向量精算 → 精排 TopK。
原理流程
量化索引出候选
→ RefineFlat 原始向量重算距离
→ 返回精排结果
代码 / 命令
# 内存预算单列 refine 副本;候选 N 按重排成本选择
常见误区
- 误区:refine 保存的是编码。正解:精排必须原始向量,编码无法算精确距离。
- 误区:refine 对全库重排。正解:只处理粗索引返回的候选集。
追问
- 问:内存放不下原始副本怎么办?答:减小 refine 候选、降量化精度损失,或用外部向量表按编号回查精排。
- 问:refine 后召回提升多少?答:对照粗索引 recall 变化,提升有限说明问题在粗召回路漏。
05.6.6.2-034 训练期与稳态内存峰值有什么差别?
频率 ★★★☆☆ | 难度 高级
一句话结论
训练期需要样本矩阵、质心/码本学习临时空间,峰值常高于稳态索引占用;稳态只保留索引结构与向量,部署容量要按训练峰值与稳态分别估算,不能只看上线后占用。
概念解释
- 训练峰值:训练样本、中间计算、待生成参数并存。
- 稳态:索引结构 + 入库向量 + 查询缓冲。
- 批量构建:多批向量与中间结果可能推高峰值。
原理流程
训练阶段:样本 + 临时空间 → 峰值 P_train
上线稳态:索引 + 向量 + 查询缓冲 → P_steady
→ 容量取两者余量
代码 / 命令
# 构建环境与在线环境分别估内存;批量构建错峰执行
常见误区
- 误区:按线上稳态内存准备构建机器。正解:训练峰值可能更高,构建 OOM 会导致索引失败。
- 误区:一次全量入库不增加临时内存。正解:批量拼接与索引扩展都有临时占用。
追问
- 问:构建 OOM 怎么缓解?答:分批 add、减小训练样本驻留、释放中间变量、提升构建环境内存。
- 问:在线查询峰值看什么?答:批量查询缓冲与 TopK 候选集合,随并发批量波动。
05.6.6.2-035 缓存命中率与内存布局怎么影响性能?
频率 ★★☆☆☆ | 难度 高级
一句话结论
距离计算受 CPU/GPU 缓存与数据布局影响,连续存储、按批次组织向量能提高缓存命中率;编码与图结构的随机访问会带来缓存失效,性能优化要结合内存布局观察。
概念解释
- 连续布局:向量矩阵行连续,批量计算预取友好。
- 随机访问:图邻居跳转、编码查表导致缓存失效。
- 观察:对比不同索引族与批量下的延迟曲线。
原理流程
向量连续存储 → 批量距离计算命中缓存
图/编码随机访问 → 缓存失效点 → 延迟上升
代码 / 命令
# 输入矩阵 ascontiguousarray;避免非连续视图传入
常见误区
- 误区:只要索引算法快就够。正解:内存布局与缓存失效同样决定实测延迟。
- 误区:随机访问结构不影响 CPU 性能。正解:HNSW 图跳转的缓存miss 是其延迟构成之一。
追问
- 问:GPU 上布局有区别吗?答:显存访问合并与批量形状影响并行效率,按 GPU 实现约束组织数据。
- 问:怎么定位缓存瓶颈?答:对比计算密集段延迟,结合性能工具观察缓存命中率(环境允许时)。
05.6.6.2-036 量化后召回下降怎么补救?
频率 ★★★★★ | 难度 进阶
一句话结论
按误差来源分层补救:粗召回漏簇就加大 nprobe/候选宽度,编码错位就 refine 重排或提高量化精度,分布问题则重训重建;先定位误差环节再选手段。
概念解释
- 漏簇:增大 nprobe、调整 IVF 划分。
- 编码错位:RefineFlat 重排、提高 M/nbits。
- 分布失准:重训码本/质心、重建索引。
原理流程
对照 Flat 定位误差环节
→ 粗召回:扩候选;编码:重排/提精度;分布:重训
代码 / 命令
# 每次补救后复测 recall@k 与 P99,确认手段有效
常见误区
- 误区:召回低就一味加大搜索候选。正解:编码或分布问题靠扩候选只能部分缓解且抬高延迟。
- 误区:refine 能解决漏簇。正解:粗索引没访到的向量不在候选内,重排无从发现。
追问
- 问:补救手段有优先级吗?答:先低成本调搜索参数,再加重排,最后才评估重建与提精度。
- 问:召回与延迟冲突怎么选?答:按 SLA 锁 P99 上限,在预算内选最大召回方案。
05.6.6.2-037 CPU 缓存友好的数据布局要点是什么?
频率 ★☆☆☆☆ | 难度 高级
一句话结论
向量以行主序连续矩阵存储,批量查询保持同布局,避免转置产生非连续视图;连续布局让距离计算顺序访问内存,减少缓存失效,具体性能收益以实测为准。
概念解释
- 行主序:每条向量连续存放 D 维。
- 连续性:numpy 切片/转置可能产生非连续视图,需规整。
- 批量:查询矩阵与入库矩阵布局一致。
原理流程
ascontiguousarray(float32) → 行主序矩阵
→ 批量计算顺序访问 → 缓存命中提升
代码 / 命令
# 传入前检查 dtype、shape 与连续性
常见误区
- 误区:视图和拷贝性能一样。正解:非连续访问会拖慢距离计算。
- 误区:布局只影响内存不影响速度。正解:缓存失效直接体现在延迟上。
追问
- 问:列主序数据怎么处理?答:转成连续行主序再传入,不要让索引内部处理离散视图。
- 问:大图索引也受布局影响吗?答:向量本体布局影响距离段,图邻居访问是另一类随机开销。
05.6.6.2-038 维度对内存与计算的放大有多大?
频率 ★★★★☆ | 难度 基础
一句话结论
原始向量内存与单次距离计算量都随维度线性增长;维度翻倍,向量本体与距离计算近似翻倍,索引结构开销也随之上升,降维是控制成本最直接的手段之一。
概念解释
- 内存:N×D×字节数,D 线性放大。
- 计算:单条距离遍历 D 维,D 线性放大计算量。
- 索引:质心、码本子段与图连接都与维度相关。
原理流程
D 增大 → 向量内存 + 距离计算 + 索引结构同步上升
→ 降维/换模型压缩维度 → 实测召回后采用
代码 / 命令
# 容量与延迟估算都以实际 D 代入公式
常见误区
- 误区:维度高只影响内存不影响延迟。正解:距离计算量随维度增长,查询延迟同步上升。
- 误区:维度可以随意截断。正解:截断破坏语义,应通过训练降维或换小维度模型。
追问
- 问:维度优化先做什么?答:评估换小维度嵌入模型,其次 PCA,量化是另一条压缩路线。
- 问:高维低样本怎么索引?答:样本不足以支撑复杂量化时,优先 Flat/图索引并控制维度。
05.6.6.2-039 批量大小如何影响吞吐与尾延迟?
频率 ★★★☆☆ | 难度 进阶
一句话结论
批量增大提升吞吐摊薄固定开销,但单批等待与内存峰值上升、P99 变差;在线高并发用小批量,离线分析用大批量,最优批量按压测曲线确定。
概念解释
- 吞吐:批量复用索引访问与调度,减少固定开销。
- 延迟:单批排队与计算时间随批量增长。
- 内存:批量查询缓冲与候选集合随批量扩大。
原理流程
扫批量大小 → 画吞吐/P99/内存曲线
→ 在线取低延迟拐点,离线取吞吐拐点
代码 / 命令
# 分批提交 + 失败按行重试;不追求单次超大批
常见误区
- 误区:批量越大系统越高效。正解:超过拐点后尾延迟与内存风险抵消吞吐收益。
- 误区:在线和离线用同一批量配置。正解:两类负载目标不同,应分别配置。
追问
- 问:批量失败怎么重试?答:定位失败行,拆小批重试,避免整批重放放大压力。
- 问:批量受什么资源限制?答:查询缓冲内存、CPU/GPU 并行度与索引扫描规模。
05.6.6.2-040 GPU 批量查询的显存怎么估算?
频率 ★★☆☆☆ | 难度 高级
一句话结论
显存除索引副本外,还要为批量查询向量、候选距离与编号缓冲预留空间;批量越大缓冲峰值越高,估算要把索引常驻与查询临时缓冲分开列。
概念解释
- 常驻:索引上卡后的副本占用。
- 临时:查询矩阵、D/I 结果、计算工作区。
- 峰值:并发批量叠加时的显存高点。
原理流程
索引显存副本 + 批量查询缓冲 + 候选结果缓冲
→ 按最大并发批量估算峰值
代码 / 命令
# 压测观察显存峰值,对照显卡可用额度留余量
常见误区
- 误区:显存只装索引就够。正解:查询批量缓冲是额外峰值占用,大批量时可能先爆缓冲。
- 误区:并发不影响显存。正解:多批量并发的缓冲叠加需计入峰值。
追问
- 问:显存紧张先减什么?答:减小批量查询大小、降低并发、量化压缩索引副本。
- 问:索引副本能分片多卡放吗?答:可以按分片组织,但每卡仍要承担分片索引与对应缓冲。
05.6.6.2-041 量化后距离是怎么近似计算的?
频率 ★★★★★ | 难度 进阶
一句话结论
量化索引不直接用原始向量算距离:IVF 用残差编码配合码本查表重建近似距离,SQ 按整数量化值近似,HNSW 图内用对应编码距离导航;结果是近似值,与原始距离有偏差。
概念解释
- PQ:查询向量与各码字比较,累加子段近似距离。
- SQ:量化值间整数/近似运算。
- 图导航:沿邻居用近似距离选择前进方向。
原理流程
查询向量 → 量化/编码匹配
→ 码本查表/整数近似 → 近似距离排序
代码 / 命令
# 近似距离不与原始 L2/IP 数值混用阈值
常见误区
- 误区:量化索引返回的距离是精确原始距离。正解:为近似重建值,阈值要按近似分布标定。
- 误区:不同量化索引的距离可横向比较。正解:近似机制不同,量纲不可直接对比。
追问
- 问:距离阈值怎么设?答:在该索引与数据集上统计命中/未命中分布,单独标定阈值。
- 问:想要精确距离怎么办?答:对 refine 候选回原始向量精算。
05.6.6.2-042 多核环境绑核与超线程要注意什么?
频率 ★☆☆☆☆ | 难度 高级
一句话结论
CPU 检索线程数要与实际可用核数匹配,容器环境按 CPU 限额而非宿主机核数配置;超线程对计算密集型负载收益有限,绑核策略需结合压测结果,具体工具支持以环境为准。
概念解释
- 核数识别:容器 cgroup 限额可能与宿主机不同。
- 超线程:逻辑核翻倍,但计算密集任务提升有限。
- 线程配置:OMP 线程数与应用线程池共同规划。
原理流程
识别可用核数 → 设 OMP 线程数
→ 压测对比超线程开关/绑核效果 → 固定配置
代码 / 命令
# 不直接取宿主机总核数;线程总数避免超配
常见误区
- 误区:逻辑核数就是可用计算核数。正解:超线程与限额都要扣除,计算密集任务按物理核评估。
- 误区:线程越多越能吃满 CPU。正解:超配线程增加上下文切换,反而降低效率。
追问
- 问:容器里怎么核对核数?答:读 CPU 限额与实际调度情况,以环境工具为准。
- 问:绑核能解决延迟抖动吗?答:可减少调度迁移,但邻居 noisy neighbor 仍需隔离手段配合。
05.6.6.2-043 评估指标为什么是召回、QPS、内存三件套?
频率 ★★★★★ | 难度 基础
一句话结论
召回决定能不能找对,QPS/P99 决定能不能扛住流量,内存决定能不能装下;三者缺一不可,单一指标优秀的方案不能作为选型结论。
概念解释
- 召回:检索质量,对照 Flat 金标准。
- 性能:吞吐与尾延迟,在线体验直接相关。
- 内存:可行性与成本,超内存方案无法落地。
原理流程
候选索引 → recall@k + QPS/P99 + 内存占用
→ 三项同时达标才进入部署候选
代码 / 命令
# 对比表必须三列齐全;构建时间作为附加成本项
常见误区
- 误区:召回高就是好方案。正解:延迟或内存超标同样不可上线。
- 误区:内存估算可以上线后再看。正解:超规模索引无法加载,容量是前置约束。
追问
- 问:三项冲突怎么取舍?答:按业务 SLA 排序:先保内存可行与延迟上限,再在预算内最大化召回。
- 问:构建时间算哪一类?答:作为运维成本附加项,频繁重建场景权重提高。
05.6.6.2-044 什么时候应该放弃量化,回到 Flat/HNSWFlat?
频率 ★★★☆☆ | 难度 进阶
一句话结论
数据规模在内存可容纳范围、召回要求高、量化误差无法通过重排接受时,应保留原始向量走 Flat 或 HNSWFlat;量化是为超内存规模服务的手段,不是必选项。
概念解释
- 放弃量化条件:规模可控、精度敏感、refine 后召回仍不达标。
- 图索引:HNSWFlat 兼顾低延迟与原始向量精度。
- 成本判断:原始向量内存可承受时,简单精确方案更稳。
原理流程
估算原始向量内存可行
→ 召回要求高 → Flat/HNSWFlat
→ 内存不可行 → 量化 + 重排补救
代码 / 命令
# 先 Flat 基线评估规模,再决定是否需要压缩
常见误区
- 误区:上了规模就必须量化。正解:内存够且精度优先,保留原始向量更可靠。
- 误区:HNSWFlat 不算精确方案。正解:它保留原始向量,近似只来自图导航而非量化编码。
追问
- 问:Flat 延迟太高怎么办?答:先评估 HNSWFlat 图导航,仍超内存再考虑量化压缩。
- 问:量化后召回补救到什么程度可接受?答:以标注集业务容忍度为准,不靠主观感觉。
05.6.6.2-045 量化级别怎么与业务 SLA 对齐?
频率 ★★★☆☆ | 难度 高级
一句话结论
量化级别由可接受的召回下降、内存预算与延迟 SLA 共同决定;先定精度底线,再在满足底线的方案里选最省内存/最快的,而不是压缩比优先。
概念解释
- 精度底线:业务标注集可容忍的 recall 下降。
- 资源约束:内存/显存与 P99 上限。
- 决策顺序:精度可行域内选资源最优。
原理流程
定召回容忍度 → 筛达标量化级别
→ 在达标方案中比内存/延迟 → 选定级别
代码 / 命令
# SLA 文档写明:召回下限、P99 上限、内存上限
常见误区
- 误区:先压到最小内存再看召回。正解:精度不达标时再省内存也无业务价值。
- 误区:所有业务用同一压缩级别。正解:精度敏感场景放宽内存,吞吐场景可接受更高压缩。
追问
- 问:SLA 没有标注集怎么办?答:先抽样人工核对相关性,建立最小评估集再定级别。
- 问:上线后召回下滑怎么对照 SLA?答:定期跑固定查询集,跌破下限即触发参数调整或重建。
05.6.6.2-046 索引重建周期与成本怎么估?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
重建成本包括训练样本处理、索引构建时间、双索引并存内存与切换校验;周期按更新率、碎片比例与漂移监控触发,重建窗口要预留构建资源与回滚路径。
概念解释
- 成本项:训练、构建、临时内存、校验与切换。
- 触发:碎片高、漂移、参数/结构调整。
- 保障:旧索引保留可读,新索引校验后原子替换。
原理流程
评估碎片/漂移 → 旁路构建新索引
→ 双索引并存 → 校验召回 → 切换 → 释放旧索引
代码 / 命令
# 记录单次构建耗时与峰值内存,作为周期规划依据
常见误区
- 误区:重建可以在线原地完成。正解:结构/参数变化通常需要新索引对象。
- 误区:重建不占额外内存。正解:新旧并存期间内存接近双倍,需预留。
追问
- 问:增量频繁怎么降低重建频率?答:优先选插入友好的索引族,控制删除碎片,定期对账。
- 问:重建失败怎么办?答:保留旧索引继续服务,排查构建失败原因后重试新索引。
05.6.6.2-047 上线后监控哪些构建与质量指标?
频率 ★★☆☆☆ | 难度 高级
一句话结论
监控构建时间与失败率、索引大小与碎片比例、recall 漂移、查询 P99 与内存峰值;质量指标对照基线,资源指标对照容量阈值,异常分别触发调参、重训或扩容。
概念解释
- 构建侧:耗时、失败、样本分布。
- 质量侧:固定查询集召回、距离分布。
- 运行侧:P99、内存/显存、索引大小趋势。
原理流程
埋点采集 → 对照基线与阈值
→ 质量恶化 → 调参/重训;资源饱和 → 扩容/压缩
代码 / 命令
# 看板:构建耗时 · 索引大小 · recall · P99 · 内存峰值
常见误区
- 误区:只监控接口成功率。正解:召回漂移与内存趋势不会表现为报错,需主动指标。
- 误区:索引大小不变就健康。正解:删除碎片与分布漂移不一定反映在体积上。
追问
- 问:召回漂移怎么持续观测?答:保留固定抽样查询集定期跑,对比历史 recall@k。
- 问:内存趋势看什么?答:count 与单条占用,区分数据增长与碎片膨胀。
05.6.6.2-048 给一个大规模向量检索的 CPU/GPU 与量化选型方案?
频率 ★★★★★ | 难度 高级
一句话结论
按「规模与内存预算 → 索引族与量化级别 → CPU/GPU 分配 → 重排与分片 → 评估三件套 → 重建与监控」给出方案,明确假设、基准结果与扩容/迁移触发条件。
概念解释
- 输入:向量数 N、维度 D、更新率、QPS 与 P99 目标、召回下限、硬件环境。
- 决策:量化级别、索引族、是否上 GPU、分片方式、refine 策略。
- 交付:容量估算、参数基线、基准对比、重建周期与监控告警。
原理流程
1) 估算原始向量与索引内存
2) 选索引族:HNSWFlat / IVFPQ / IVFSQ
3) 定量级别与 refine 重排
4) 评估 GPU 收益,确定 CPU/GPU 分配与分片
5) recall/QPS/内存基准达标
6) 旁路重建 + 监控漂移 + 预留迁移路径
代码 / 命令
# 面试表达:先讲假设与约束 → 方案与取舍 → 基准验证 → 运维兜底
常见误区
- 误区:直接上 GPU + 最高压缩。正解:设备与量化都要基准验证,方案建立在指标上。
- 误区:忽略重建与碎片维护。正解:大规模索引必须有重建周期与质量监控。
追问
- 问:内存不够优先压哪一层?答:先降维与量化级别评估召回,再分片,最后才降精度底线。
- 问:怎么验证方案可落地?答:真实分布数据压测三件套,跑通构建、切换与恢复流程。
参考来源
- Faiss Wiki(索引与量化):https://github.com/facebookresearch/faiss/wiki
- Faiss PQ/SQ 量化说明:https://github.com/facebookresearch/faiss/wiki/Product-Quantization
- Faiss GPU 索引与多卡:https://github.com/facebookresearch/faiss/wiki/GPU-indexes
- Faiss 性能与线程说明:https://github.com/facebookresearch/faiss/wiki/FAQ