罗罗编程学习记录
本页内容 展开查看

05.6.6.2 量化 GPU 与内存优化

所属:全栈开发面试题库 / 05 数据库与存储 / 05.6 向量数据库与语义检索 / 05.6.6 Faiss

覆盖范围

  • PQ 的 M 与 nbits、OPQ 预处理、SQ 位宽档位、RefineFlat 重排
  • 内存估算公式:原始向量、IVF 质心倒排、PQ 编码码本、HNSW 图结构
  • GPU 索引类型、多卡分片与复制、CPU/GPU 转换、GpuResources 与显存
  • 线程安全、OMP 线程数、批量查询语义、量化误差来源与召回补救
  • 降维 PCA、显存内存取舍、基准对比方法、调参顺序、常见误区与监控

内存与参数主线

原始向量 N×D×4B(float32)
  → IVF:nlist×D 质心 + 倒排归属
  → PQ:N×M×nbits/8 + 码本;SQ:N×D×位宽/8
  → HNSW:图邻居连接表额外开销
  → Refine:额外保留一份原始向量
  → GPU:索引显存副本 + 查询批量缓冲

高频题速览

编号 题目 难度 频率
05.6.6.2-001 PQ 的 M 参数选择 进阶 ★★★★★
05.6.6.2-006 原始向量内存估算 基础 ★★★★★
05.6.6.2-008 PQ 编码与码本内存 进阶 ★★★★☆
05.6.6.2-011 多卡分片与复制区别 高级 ★★★★☆
05.6.6.2-015 查询并发与写互斥边界 高级 ★★★★☆
05.6.6.2-020 量化误差来源 高级 ★★★★☆
05.6.6.2-024 调参顺序 高级 ★★★★☆
05.6.6.2-036 量化召回下降补救 进阶 ★★★★☆
05.6.6.2-043 召回/QPS/内存三件套 基础 ★★★★☆
05.6.6.2-048 CPU/GPU 与量化选型方案 高级 ★★★★★

05.6.6.2-001 PQ 的 M 参数怎么选?

频率 ★★★★★ | 难度 进阶

一句话结论

M 是向量切分的子段数,M 越大编码越细、重建误差越小,但编码占用与码本成本越高;选择要在压缩比与 recall@k 之间实测权衡,没有可背诵的固定最优值。

概念解释

  • 作用:每段子空间独立码本,M 决定分段粗细。
  • 内存:编码长度随 M 线性增长。
  • 误差:M 偏小则子段过粗,向量重建失真更明显。

原理流程

固定数据集与 nbits → 试不同 M
  → 记录召回与内存 → 选满足 SLA 的最小 M

代码 / 命令

# 工厂串 PQ<M>,<nbits>;M 与维度分段规则以 wiki 为准(待确认)

常见误区

  • 误区:M 越大索引越好。正解:M 上升压缩比下降、内存升高,收益递减。
  • 误区:M 可以任意取值。正解:受维度分段与版本实现约束,非法组合构造期报错。

追问

  • 问:M 与 nbits 怎么一起调?答:先定内存预算,再扫 M 与 nbits 组合,对照召回拐点。
  • 问:高维向量 M 怎么取?答:维度大时子段可相应增加,但仍以实测重建误差为准。

05.6.6.2-002 PQ 的 nbits 控制什么?

频率 ★★★★★ | 难度 进阶

一句话结论

nbits 是每个子段编码位数,码本大小为 2^nbits;位数越多码本越大、量化越细,编码占用也越高,允许档位以版本 wiki 为准(待确认)。

概念解释

  • 码本规模:每子段 2^nbits 个码字。
  • 编码占用:每向量每子段 nbits 位。
  • 误差:位数过少导致子空间区分不足,近似距离失真。

原理流程

nbits↑ → 码本↑ → 重建误差↓ → 编码内存↑
  → 在召回与压缩间取平衡

代码 / 命令

# 常见 8 位类档位;可选全集核对 wiki,不背诵未确认默认值

常见误区

  • 误区:nbits 越低压缩越好,召回无所谓。正解:过低码本无法区分相近向量,召回明显下降。
  • 误区:nbits 与 M 作用相同。正解:M 控分段数,nbits 控每段精度,两者独立权衡。

追问

  • 问:降一档 nbits 先观察什么?答:recall@k 变化与距离排序紊乱程度,再决定是否配重排。
  • 问:码本存哪里?答:随索引持久化,查询时用于重建近似距离,不存原始向量。

05.6.6.2-003 OPQ 预处理改善什么?

频率 ★★★☆☆ | 难度 进阶

一句话结论

OPQ 学习正交旋转把向量变换到更适合分段编码的坐标系,降低 PQ 重建误差;代价是多一步旋转训练与查询侧变换,收益需在同数据集上对照有无 OPQ 的召回。

概念解释

  • 机制:旋转矩阵使各子段能量分布更均匀,便于码本划分。
  • 训练:与 PQ 码本配合学习,依赖样本分布。
  • 开销:训练时间、查询时旋转变换、索引内保存旋转矩阵。

原理流程

train 学旋转 → 入库/查询向量先旋转
  → 再进 PQ 编码/检索 → 对照基线看召回提升

代码 / 命令

# 工厂串前置 OPQ<M>;是否值得加看召回与延迟实测

常见误区

  • 误区:OPQ 能把任意低比特 PQ 救回无损。正解:它改善编码适配,不消除量化本质误差。
  • 误区:OPQ 旋转矩阵可手动复用在别的索引。正解:矩阵随特定索引训练,不可跨索引混用。

追问

  • 问:OPQ 对查询侧有什么要求?答:查询向量必须应用同一旋转,直接传原始向量会错位。
  • 问:什么时候不加 OPQ?答:数据天然分段均匀、召回已达标,省去旋转训练与开销。

05.6.6.2-004 SQ 标量量化有哪些位宽档位?

频率 ★★★☆☆ | 难度 基础

一句话结论

SQ 逐维量化为低比特整数,常见 8 位等档位,半精度浮点形式以版本支持为准(待确认);相比 PQ,SQ 机制简单、误差较小,压缩比中等。

概念解释

  • 机制:逐维映射到整数区间,保留维度独立信息。
  • 档位:位宽决定每维存储与精度,可选集合核对 wiki。
  • 定位:介于原始向量与 PQ 之间的压缩方案。

原理流程

训练校准尺度 → 向量逐维量化入库
  → 查询时解量化或按整数距离近似计算

代码 / 命令

# 工厂串 SQ8 类写法;具体 SQ4/SQ6/fp16 支持情况以文档为准

常见误区

  • 误区:SQ 与 PQ 参数可互换。正解:逐维量化与分段码本是两套机制,位宽/M 不能混填。
  • 误区:SQ 是无损压缩。正解:低比特映射存在精度损失,召回需对照基线。

追问

  • 问:SQ 和 PQ 怎么选?答:内存不紧、误差敏感选 SQ;追求高压缩比选 PQ 并配重排。
  • 问:SQ 误差来自哪里?答:每维区间截断与整数舍入,极端幅值向量误差更明显。

05.6.6.2-005 IndexRefineFlat 重排怎么工作,代价是什么?

频率 ★★★★☆ | 难度 进阶

一句话结论

RefineFlat 在内层粗索引召回的候选上保留原始向量做精确距离重排,补偿量化误差;代价是额外一份原始向量内存与重排计算,且救不回粗索引没访到的向量。

概念解释

  • 流程:粗索引取 N 候选 → refine 用原始向量精算距离 → 重排取 TopK。
  • 内存:refine 层持有原始向量副本。
  • 边界:只在候选集合内排序,不扩大粗召回范围。

原理流程

量化索引召回候选
  → RefineFlat 原始向量精排
  → 返回精排 TopK

代码 / 命令

# 评估:refine 前后 recall@k、额外内存、重排 P99

常见误区

  • 误区:加了 refine 就不用调粗索引召回。正解:粗候选不足时 refine 无米下锅。
  • 误区:refine 只存编码不存原始向量。正解:精排必须保留原始向量,内存是主要代价。

追问

  • 问:候选 N 取多大?答:大于最终 K,在重排成本与召回收益间实测选择。
  • 问:内存紧张时怎么减负?答:减小 refine 候选集、降低量化压缩负担,或接受量化误差。

05.6.6.2-006 原始向量部分怎么估算内存?

频率 ★★★★★ | 难度 基础

一句话结论

float32 原始向量占用 ≈ 向量数 N × 维度 D × 4 字节;这是内存估算的基线,索引结构、码本、映射与查询缓冲在此之上额外增加。

概念解释

  • 单向量:D 维 × 4 字节/维。
  • 总量:N × D × 4,注意单位换算到 MB/GB。
  • 假设:连续存储、无压缩,未计索引结构与副本。

原理流程

基线内存 = N × D × 4 B
  → 再加索引结构/码本/倒排/图连接/映射表
  → 乘以副本与查询缓冲余量

代码 / 命令

# 示例(数字按实际替换):100 万 × 768 × 4 B ≈ 2.9 GB 原始向量
# 不背固定容量结论,按真实 N、D 计算

常见误区

  • 误区:只按原始向量大小买内存。正解:索引结构与副本会让实际占用翻倍甚至更多。
  • 误区:half 存储和 float32 占用一样。正解:每维字节数随精度类型变化。

追问

  • 问:fp16 能省多少?答:每维 2 字节,理论上原始向量部分减半,精度影响需实测。
  • 问:查询缓冲占多少?答:与批量查询数、TopK、候选数相关,峰值要纳入内存估算。

05.6.6.2-007 IVF 质心与倒排部分怎么估内存?

频率 ★★★☆☆ | 难度 进阶

一句话结论

IVF 质心占用 ≈ nlist × D × 4 字节;倒排记录每条含向量归属(或编码)与编号,簇数越大质心开销越高,倒排条目随 N 增长。

概念解释

  • 质心:nlist 个 D 维向量,训练产物。
  • 倒排:每条记录的簇归属与编号引用;IVFFlat 簇内仍存原始向量。
  • 压缩:IVFPQ 簇内存量为编码而非原始向量。

原理流程

质心 = nlist × D × 4B
  倒排条目 = N × (归属 + 编号 + 编码)
  → 叠加原始/编码向量占用

代码 / 命令

# 估算:先算质心,再按索引族算簇内向量/编码占用

常见误区

  • 误区:IVF 省的是向量本身。正解:IVFFlat 簇内保留原始向量,省的是索引结构而非向量本体。
  • 误区:nlist 不影响内存。正解:质心占用随簇数线性增长。

追问

  • 问:nlist 过大内存有什么变化?答:质心表变大,每簇样本变少,质心稳定性也下降。
  • 问:倒排编号占多少?答:每条编号为整数引用,相对向量编码较小,但海量条目仍需计入。

05.6.6.2-008 PQ 编码与码本部分怎么估内存?

频率 ★★★★★ | 难度 进阶

一句话结论

PQ 编码占用 ≈ N × M × nbits / 8 字节,另加码本(子段数 × 2^nbits × D/M 维度 × 每维字节);编码比原始向量小一个量级,码本在海量向量下占比相对小。

概念解释

  • 编码:每条向量分段量化后的码字索引。
  • 码本:每个子段一张,规模随 nbits 指数增长。
  • 对比:N 越大,编码压缩优势越明显;码本为固定开销。

原理流程

编码 = N × M × nbits / 8 B
  码本 = M × 2^nbits × (D/M) × 4B(float 码字)
  → 叠加 IVF 质心与映射表

代码 / 命令

# 估算时分开列:编码条目 + 码本 + 质心 + 外部映射

常见误区

  • 误区:PQ 内存只算编码。正解:码本、质心与编号映射都要计入。
  • 误区:nbits 升高对内存影响可忽略。正解:码本按 2^nbits 增长,位数加大码本膨胀明显。

追问

  • 问:为什么 PQ 适合海量向量?答:编码字节数远低于原始 float32,N 越大压缩收益越显著。
  • 问:M 增大内存怎么变?答:编码段数增加,编码占用与码本子段数同步上升。

05.6.6.2-009 HNSW 图结构开销体现在哪里?

频率 ★★★★☆ | 难度 进阶

一句话结论

HNSW 除原始/编码向量外,还要存每层节点的邻居连接表,邻居数 M 与层数决定图结构开销;这是 HNSW 内存高于 IVF 系的主要原因,M 越大连接表越密。

概念解释

  • 连接表:每节点记录邻居编号,多层重复存储。
  • 规模:随 N 与 M 增长,层数为对数级别。
  • 对照:IVF 主要是质心与倒排,图索引多了邻居指针结构。

原理流程

向量本体(Flat 或 PQ 编码)
  + 每层邻居编号表(N × M × 层数 × 编号字节)
  → 总内存显著高于纯倒排压缩

代码 / 命令

# 估算:向量本体 + 邻居连接表;M 提高要单独评估图内存增长

常见误区

  • 误区:HNSW 内存只是向量大小。正解:邻居连接表是独立的大块开销。
  • 误区:M 增大只影响召回不影响内存。正解:M 直接增加连接表条目数。

追问

  • 问:HNSWPQ 内存怎么算?答:PQ 编码向量 + 图连接表,两者都要计入。
  • 问:图内存过高怎么降?答:降低 M、评估 PQ 编码层,或改用 IVF 系索引。

05.6.6.2-010 GPU 索引有哪些主要类型?

频率 ★★★☆☆ | 难度 基础

一句话结论

Faiss GPU 提供与 CPU 对应的索引族实现(如 GPU Flat、IVF、PQ 等),可用 CPU 索引搬到 GPU 执行;哪些族有 GPU 实现以版本文档为准(待确认),未实现的族不能强制上卡。

概念解释

  • 对应关系:常用 Flat/IVF/PQ 类有 GPU 版本,图索引支持情况需核对。
  • 执行:距离计算与检索在显存/显卡上完成。
  • 限制:显存容量、支持族集合与 CPU 不完全对等。

原理流程

CPU 构造索引 → 搬到 GPU → GPU search
  → 不支持的族留在 CPU 或换索引结构

代码 / 命令

# 支持清单核对 wiki GPU 索引页;不凭印象假设全部族可上卡

常见误区

  • 误区:所有 CPU 索引都能复制到 GPU。正解:GPU 实现集合有限,缺失族会报错或不支持。
  • 误区:GPU 索引自动持久化在显存。正解:重启后显存不保留,需回拷 CPU 写文件。

追问

  • 问:GPU 索引适合什么负载?答:高并发批量距离计算、数据量在显存可容纳范围。
  • 问:CPU 与 GPU 结果一致吗?答:同索引族与参数下应一致,浮点实现差异需在基准中核对。

05.6.6.2-011 多卡分片与复制有什么区别?

频率 ★★★★☆ | 难度 进阶

一句话结论

分片(sharding)把向量拆开分到多卡,每卡承担一部分索引,容量横向扩展;复制(replication)每卡放完整索引副本,提升查询吞吐;两者目标不同,不能混为一谈。

概念解释

  • 分片:数据拆分 + 各路检索 + 应用/索引层归并 TopK。
  • 复制:多副本分担并发查询,单卡故障可由其他副本承接。
  • 实现:多卡调度与索引组织方式以版本接口为准(待确认)。

原理流程

容量不足 → 分片:索引按段拆到各卡 → 归并结果
  吞吐不足 → 复制:完整索引多副本 → 请求分摊

代码 / 命令

# 选型判断:先区分是单机放不下还是单卡算不动

常见误区

  • 误区:多卡一定线性加速。正解:分片有归并开销,复制受副本一致性与路由约束。
  • 误区:分片后召回等于单卡全量。正解:各分片候选补位与归并策略影响最终 recall。

追问

  • 问:分片归并怎么做?答:各路返回局部 TopK,合并后按距离重排取全局 TopK。
  • 问:复制副本之间要同步吗?答:索引更新后需把新版本分发到各副本,避免副本数据落后。

05.6.6.2-012 index_cpu_to_gpu 与回拷流程是什么?

频率 ★★★★☆ | 难度 进阶

一句话结论

典型路径是先在 CPU 构造、训练、添加索引,再复制到指定 GPU 执行检索;需要持久化或跨设备部署时回拷 CPU 再写索引文件,直接在显存上保存不可靠。

概念解释

  • 上行:CPU 索引 → 显存副本,检索走 GPU。
  • 下行:GPU 索引 → CPU 索引,用于落盘与兼容环境。
  • 资源:GpuResources 管理显存与流,设备号指定显卡。

原理流程

CPU index (train/add)
  → index_cpu_to_gpu(res, device, index)
  → GPU search
  → index_gpu_to_cpu → write_index 持久化

代码 / 命令

# 函数名与参数以版本为准(待确认)

常见误区

  • 误区:GPU 副本修改会同步回 CPU 原索引。正解:多数为独立拷贝,更新链路要明确以哪份为准。
  • 误区:不回拷就能 write_index。正解:持久化通常针对 CPU 索引对象执行。

追问

  • 问:搬上 GPU 后还能改索引吗?答:增量更新建议在 CPU 侧完成后重新搬卡,避免直接改显存副本。
  • 问:多设备号怎么指定?答:按可见显卡编号分配,结合分片/副本拓扑规划。

05.6.6.2-013 GpuResources 怎么管理显存与释放?

频率 ★★☆☆☆ | 难度 高级

一句话结论

GPU 资源对象管理索引显存与查询工作区,索引副本与批量缓冲都占用显存;服务结束要释放资源、释放索引引用,避免显存泄漏累积,具体 API 以版本为准(待确认)。

概念解释

  • 占用项:索引副本、批量查询缓冲、临时计算空间。
  • 生命周期:资源对象随服务持有,销毁时回收显存。
  • 监控:观察显存占用随索引规模与批量大小的增长。

原理流程

创建资源对象 → 索引上卡 → 批量检索占用缓冲
  → 停止服务 → 释放索引与资源对象 → 显存回收

代码 / 命令

# 排障:显存持续不降 → 检查索引引用是否释放、批量缓冲是否归还

常见误区

  • 误区:查询结束显存自动全部清零。正解:资源与索引引用未释放时显存会被保留。
  • 误区:索引大小等于显存占用。正解:查询批量缓冲是额外峰值占用。

追问

  • 问:显存不足先降什么?答:减小单卡索引规模、降批量查询大小、必要时留在 CPU。
  • 问:多进程各占一张卡怎么隔离?答:设备号分配清晰,避免多进程争抢同一显卡显存。

05.6.6.2-014 索引 cloner 与复制选项有什么用?

频率 ★★☆☆☆ | 难度 高级

一句话结论

cloner 控制索引在设备或结构间复制时的选项(如是否深拷贝、设备转换方式),复制行为按选项生效;具体选项类与默认值以版本文档为准(待确认),复制后要校验向量数与可搜索性。

概念解释

  • 用途:CPU 间备份、CPU/GPU 转换、多副本组织。
  • 选项:拷贝深度、设备目标、是否保留训练参数。
  • 校验:复制后 ntotal、is_trained、抽样检索与源索引对照。

原理流程

源索引 + cloner 选项 → 目标索引
  → 校验向量数/训练状态/抽样结果

代码 / 命令

# 选项名待确认;复制后先跑 Flat 对照再投入服务

常见误区

  • 误区:复制是共享内存引用。正解:深拷贝占独立内存,多副本要算多份占用。
  • 误区:复制自动保留外部映射。正解:IDMap 映射随索引复制,但外部业务表仍需单独对账。

追问

  • 问:双索引切换内存怎么控制?答:新索引就绪前新旧并存,切换后立即释放旧索引引用。
  • 问:复制失败常见原因?答:设备不支持该索引族、显存/内存不足、源索引未训练完成。

05.6.6.2-015 查询并发与写入的线程安全边界是什么?

频率 ★★★★★ | 难度 高级

一句话结论

检索在只读索引上可并发执行,写入、删除、训练属于结构修改操作,必须串行化;未在文档中确认的并发写不要乐观假设,服务化时用「只读副本对外 + 旁路构建替换」模型规避竞争。

概念解释

  • 读:search 不改结构,多线程并发依赖只读稳定性。
  • 写:add/remove/train 修改内部状态,并发写可能损坏结构。
  • 封装:应用层加锁或双索引切换,把读写竞争隔开。

原理流程

查询线程 → 只读索引并发 search
  更新旁路 → 构建新索引 → 原子替换引用 → 旧索引释放

代码 / 命令

# 写路径单写者队列;读路径无锁并发;替换引用保证可见性

常见误区

  • 误区:多线程同时 add 没问题。正解:结构修改需互斥,Faiss 不替应用做写锁。
  • 误区:替换索引对象时在途查询会读到坏状态。正解:引用切换要保证旧对象在途请求用完后再释放。

追问

  • 问:OMP 内部线程与应用线程池怎么协调?答:控制 faiss 内部线程数,避免与应用线程池叠加争抢 CPU。
  • 问:删除操作能并发跑吗?答:与写入同等对待,串行执行并加锁。

05.6.6.2-016 OMP 线程数怎么设置,有什么坑?

频率 ★★★☆☆ | 难度 基础

一句话结论

Faiss CPU 检索用 OpenMP 并行,线程数通过对应接口设置;线程过多会在小批量查询上产生调度开销,过小则吃不满多核,需按批量大小与核数实测。

概念解释

  • 作用:控制单次检索内部并行度。
  • 权衡:大批量适合多核,小批量高并发场景线程过多反而抖动。
  • 叠加:与应用线程池、其他原生库线程一起规划总 CPU。

原理流程

faiss.omp_set_num_threads(n)   # 接口名以版本为准
  → 压测不同 n 下的 QPS 与 P99

代码 / 命令

# 高并发小请求:限制内部线程,避免线程爆炸
# 离线大批量:放开并行度吃满核数

常见误区

  • 误区:线程数设成核数一定最快。正解:小批量场景调度开销可能超过并行收益。
  • 误区:每个请求动态改线程数。正解:线程数全局生效,应按服务负载模型统一配置。

追问

  • 问:容器里核数怎么识别?答:按分配的 CPU 限额设线程数,不要直接取宿主机总核数。
  • 问:线程数与 QPS 什么关系?答:先压测找到拐点,超线程收益递减后维持稳定值。

05.6.6.2-017 批量查询的语义是什么?

频率 ★★★★☆ | 难度 基础

一句话结论

search 一次接收查询矩阵,批量返回 D、I 两组 (n_query, k) 结果;批量提交减少往返与调度开销,但单次批量占用计算与缓冲内存,大小需压测确定。

概念解释

  • 输入:多行查询向量组成矩阵。
  • 输出:每行对应一组 TopK,行下标对齐。
  • 取舍:批量吞吐更高,单批过大则 P99 与内存峰值上升。

原理流程

查询矩阵 (Q, D) → search(Q, k)
  → D/I 形状 (Q, k) → 逐行处理结果

代码 / 命令

# 批量分批:控制单批查询数,失败按行定位重试

常见误区

  • 误区:批量越大吞吐越高、延迟越低。正解:单批过大会拉高单次等待与内存峰值。
  • 误区:批量结果行顺序会被重排。正解:行下标与输入一一对应,组内按距离排序。

追问

  • 问:批量部分失败怎么处理?答:按行定位失败查询,单独重试,不整批盲目重跑。
  • 问:在线实时请求适合大批量吗?答:通常小批量或单条,后台分析任务才用大批量。

05.6.6.2-018 IVFPQ 的批量搜索行为有什么特点?

频率 ★★★☆☆ | 难度 进阶

一句话结论

IVFPQ 批量搜索时每个查询独立定位 nprobe 簇并做 PQ 近似距离;批量共享索引与码本,计算量随查询数与访问簇数增长,PQ 距离为近似重建距离。

概念解释

  • 簇定位:各查询独立找最近 nprobe 簇。
  • 编码距离:按 PQ 码本查表近似计算,非原始向量精确距离。
  • 批量收益:索引与码本只加载一份,批量摊薄固定开销。

原理流程

批量查询 → 各查 nprobe 簇
  → PQ 编码近似距离 → 批量排序取 TopK

代码 / 命令

# 调参:nprobe 控制每查询扫描簇数;批量大小控制单次提交规模

常见误区

  • 误区:IVFPQ 批量距离是精确 L2。正解:编码重建距离为近似,与原始向量有误差。
  • 误区:批量越大 nprobe 可以越小。正解:召回由 nprobe 与编码质量决定,批量只影响吞吐。

追问

  • 问:批量 PQ 召回不足怎么补?答:增大 nprobe、加 refine 重排、改善 PQ 参数。
  • 问:码本查表开销怎么观察?答:对比 Flat 基线延迟,定位是簇定位、编码查表还是排序阶段慢。

05.6.6.2-019 召回评估方法是什么?

频率 ★★★★★ | 难度 基础

一句话结论

在固定查询集上用 Flat 精确结果作金标准,对比 ANN TopK 重合度得到 recall@k;同时记录 QPS、P99 与内存,评估必须三组指标一起看,不能只评召回。

概念解释

  • 金标准:Flat 暴力检索结果。
  • 指标:recall@k、吞吐、尾延迟、内存占用。
  • 可重复:同一数据集与查询集用于不同索引/参数横向对比。

原理流程

查询集 → Flat 金标准 → 索引检索
  → 算 recall@k → 记录延迟/内存 → 参数对比复评

代码 / 命令

# recall@k = 重合条数 / k;每次只调一组参数

常见误区

  • 误区:用 ANN 结果自己对照自己。正解:必须以 Flat 精确结果为基准。
  • 误区:召回达标就上线。正解:P99 与内存超标同样不可用。

追问

  • 问:大规模 Flat 跑不动怎么办?答:抽样子集建 Flat 对照,查询集覆盖典型分布。
  • 问:召回按哪个 k 评估?答:按线上实际返回条数 k 评估,必要时同时看 recall@1/@5/@10。

05.6.6.2-020 量化误差来自哪些环节?

频率 ★★★★☆ | 难度 进阶

一句话结论

误差来自簇心划分(IVF)、子段码本近似(PQ)、逐维截断舍入(SQ)与旋转/降维损失;误差累积使近似距离偏离真实距离,表现为近邻排序错位。

概念解释

  • IVF:向量归属粗簇,未访簇的近邻直接丢失。
  • PQ:残差由码本重建,子段划分与码字选择带来失真。
  • SQ:低比特区间截断;PCA/OPQ 带来投影损失。

原理流程

原始向量 → 聚类归属 → 量化编码 → 近似距离
  每一步引入近似 → 累积为最终排序误差

代码 / 命令

# 定位:对比 Flat 结果,区分是漏簇还是编码排序错位

常见误区

  • 误区:量化误差只来自 PQ 码本。正解:粗簇、降维与舍入都贡献误差。
  • 误区:误差随索引结构固定不变。正解:样本分布漂移后码本失准,误差会放大。

追问

  • 问:哪类误差 refine 能补?答:只补编码排序错位;漏簇问题 refine 救不回。
  • 问:怎么降低量化误差?答:提高码本精度、改善训练样本、保留原始向量重排。

05.6.6.2-021 降维与 PCA 怎么取舍?

频率 ★★★☆☆ | 难度 进阶

一句话结论

PCA 投影到低维可减少计算与内存,但会丢弃低方差分量;是否可行要在目标维度上验证召回,不能把简单截断维度等同 PCA 降维。

概念解释

  • 收益:维度下降,距离计算与索引占用线性降低。
  • 损失:被丢弃分量携带的信息不可恢复。
  • 适用:维度冗余明显、低方差方向可舍弃的场景。

原理流程

训练样本学投影 → 入库/查询统一投影到 d2 维
  → 目标维度上评估 recall@k 与延迟

代码 / 命令

# 工厂串 PCA<d2>;d2 与下游索引参数兼容

常见误区

  • 误区:PCA 后召回基本不变。正解:信息损失可能让长尾近邻丢失,必须实测。
  • 误区:直接截断后几维等效 PCA。正解:截断不考虑方差分布,投影质量远低于训练 PCA。

追问

  • 问:PCA 与换小维度模型哪个优先?答:模型维度更贴合语义时优先换模型;PCA 是对现有向量的线性压缩。
  • 问:投影矩阵怎么随索引保存?答:随索引持久化,查询侧加载同一索引应用投影。

05.6.6.2-022 显存与内存怎么取舍?

频率 ★★★☆☆ | 难度 高级

一句话结论

GPU 换取距离计算吞吐,但受显存容量与支持索引族限制;CPU 内存容量更大、兼容性更好但计算慢。取舍依据是批量吞吐目标、数据规模与硬件成本,不是默认上 GPU。

概念解释

  • GPU 优势:批量并行计算,高并发低延迟。
  • GPU 约束:显存上限、族支持、设备转换与持久化回拷。
  • CPU 优势:内存容量大、索引族齐全、部署简单。

原理流程

估算索引显存需求 → 对照显卡容量
  → 吞吐不足再评估 GPU → 不支持的族留 CPU

代码 / 命令

# 决策项:N×D 索引大小 · 批量缓冲 · 支持族 · 硬件成本

常见误区

  • 误区:上 GPU 一定比 CPU 快。正解:小批量、数据搬移开销与族不匹配时 GPU 反而更慢。
  • 误区:显存能无限扩容。正解:单卡显存固定,超规模要分片或留 CPU。

追问

  • 问:部分索引上卡可行吗?答:分片部分上 GPU、其余 CPU 混合部署需自行归并,复杂度要计入评估。
  • 问:怎么验证 GPU 收益?答:同数据集对比 CPU/GPU 的 QPS、P99 与资源占用。

05.6.6.2-023 性能对比方法怎么设计?

频率 ★★★☆☆ | 难度 基础

一句话结论

对比必须固定数据集、查询集、度量与硬件环境,只改变被比较的索引族或参数;记录 recall@k、QPS、P99、内存与构建时间,结论注明数据条件,不跨分布套用。

概念解释

  • 控制变量:一次只改一项,避免多因素混淆。
  • 指标齐全:召回、延迟、资源、构建成本。
  • 可复现:数据集版本、参数与环境记录在案。

原理流程

准备统一数据集/查询集 → 基线 Flat
  → 候选索引逐一压测 → 指标对比表 → 选达标方案

代码 / 命令

# 对比表:索引族 · 参数 · recall@k · QPS · P99 · 内存 · 构建耗时

常见误区

  • 误区:随机向量压测结论可用于线上。正解:分布失真,召回与延迟都不可靠。
  • 误区:只比延迟不比召回。正解:快但召不回的索引没有业务价值。

追问

  • 问:硬件不同怎么对比?答:同环境优先;跨环境时注明配置,不直接横向排名。
  • 问:构建时间要计入选型吗?答:要,频繁重建场景构建成本直接影响运维可行性。

05.6.6.2-024 调参顺序应该是什么?

频率 ★★★★☆ | 难度 进阶

一句话结论

先定度量与数据集基线,再选索引族与结构参数,随后调搜索候选(nprobe/efSearch),最后加量化压缩与重排;每次只调一组并复测召回与延迟,避免参数互相干扰。

概念解释

  • 顺序:基线 → 结构 → 搜索参数 → 量化/重排。
  • 原则:结构参数改动常需重建,搜索参数可在线调。
  • 回归:每步复测 recall@k、P99 与内存。

原理流程

Flat 基线 → 索引族/结构参数
  → nprobe/efSearch 扫召回-延迟拐点
  → 量化压缩 → 必要时 Refine 重排

代码 / 命令

# 记录每步参数与指标;不一次性堆所有改动

常见误区

  • 误区:先调量化再选结构。正解:结构未定,压缩收益无从评估。
  • 误区:召回低就同时改所有参数。正解:多因素改动无法定位哪个有效。

追问

  • 问:线上召回下降先动哪个?答:先调查询候选参数,再判断结构/量化是否需要重建。
  • 问:结构参数调整为什么成本高?答:IVF 质心、PQ 码本、HNSW 图都需重建索引。

05.6.6.2-025 误区:量化是无损压缩?

频率 ★★★★☆ | 难度 基础

一句话结论

量化是近似压缩,必然引入精度损失;声称无损的量化方案要核对其类型与存储方式,工程上必须用召回基线验证压缩后的检索质量。

概念解释

  • 近似:编码/低比特存储无法完全还原原始向量。
  • 验证:压缩前后 recall@k 对照,不凭经验假设无损失。
  • 兜底:重排与参数调整补偿可接受范围内的误差。

原理流程

量化入库 → 近似距离检索
  → 与 Flat 基线对比召回 → 误差超阈值则提高精度或重排

代码 / 命令

# 所有量化索引都先跑 recall@k 基线

常见误区

  • 误区:SQ8 只是换个存储格式,结果不变。正解:整数映射存在舍入误差。
  • 误区:压缩后距离与原始距离数值可直接比较。正解:近似距离量纲与精度都不同。

追问

  • 问:哪些存储方式接近无损?答:保留原始 float/half 向量的方案无量化损失,压缩比有限。
  • 问:误差容忍度怎么定?答:按业务标注集可接受的召回下降幅度定量化级别。

05.6.6.2-026 误区:PQ 的 M 越大越好?

频率 ★★★☆☆ | 难度 进阶

一句话结论

M 增大到一定程度后召回收益递减,而编码内存与码本成本持续上升;应在内存预算内选满足召回的最小 M,而非一味取大。

概念解释

  • 边际收益:分段细化到一定程度后重建误差改善有限。
  • 成本:编码与码本随 M 增长。
  • 约束:M 受维度分段规则限制。

原理流程

扫 M 取值 → 召回曲线趋平处停止加大
  → 取召回达标且内存最省的 M

代码 / 命令

# 同 nbits 下对比不同 M 的 recall 与内存

常见误区

  • 误区:M 越大码本越精细,质量线性提升。正解:边际收益递减,内存线性增加。
  • 误区:M 可以和 nbits 一起随意加大。正解:两者都放大码本与编码占用,需联合看内存预算。

追问

  • 问:M 偏小的典型表现?答:子段过粗,相近向量重建混淆,召回在近邻区域下降。
  • 问:维度低时 M 怎么取?答:分段受维度限制,样本不足时优先简单索引而非强行大 M。

05.6.6.2-027 误区:GPU 一定比 CPU 快?

频率 ★★★☆☆ | 难度 基础

一句话结论

GPU 优势在大规模并行距离计算;小批量、索引族不匹配、数据频繁搬移或显存受限时,CPU 可能更快更稳,是否上卡要用同场景基准测试验证。

概念解释

  • 加速条件:批量足够大、计算密集、索引族有 GPU 实现。
  • 拖累项:CPU/GPU 搬移、启动开销、显存排队。
  • 实测:QPS、P99 与资源占用同环境对比。

原理流程

估算批量与计算密度
  → 同数据集对比 CPU/GPU
  → 按吞吐与延迟决定设备分配

代码 / 命令

# 不凭设备品牌下结论;小请求场景保留 CPU 路径

常见误区

  • 误区:任何索引搬上 GPU 都加速。正解:无对应 GPU 实现的族只能留 CPU。
  • 误区:GPU 延迟只看计算不看搬移。正解:索引上卡与回拷成本要计入端到端延迟。

追问

  • 问:什么时候 GPU 收益最明显?答:大批量离线检索或高并发批量查询、向量计算占主导。
  • 问:GPU 抖动怎么排查?答:看显存排队、批量大小、设备共享情况与搬移耗时。

05.6.6.2-028 误区:索引应该常驻显存?

频率 ★★☆☆☆ | 难度 基础

一句话结论

索引常驻显存只为低延迟检索服务;持久化与跨设备部署仍需 CPU 副本落盘,显存内容不可靠,服务重启后要重新加载或从 CPU 索引上卡。

概念解释

  • 显存易失:断电/重启后索引不保留。
  • 持久化对象:CPU 索引文件。
  • 加载链路:读索引 → 上卡 → 检索。

原理流程

write_index 保存 CPU 索引文件
  → 启动 read_index → 上卡提供服务
  → 不依赖显存保存数据

代码 / 命令

# 备份对象是索引文件与外部映射表,不是显存状态

常见误区

  • 误区:显存里有索引就不用写文件。正解:重启后丢失,必须落盘恢复。
  • 误区:多卡显存副本互为备份。正解:副本是服务拷贝,不是持久备份。

追问

  • 问:启动加载慢怎么办?答:索引预热、分批上卡、评估量化压缩减小加载体积。
  • 问:显存索引更新怎么生效?答:CPU 侧构建新版本,重新上卡替换副本。

05.6.6.2-029 误区:多卡加速是线性的?

频率 ★★☆☆☆ | 难度 高级

一句话结论

多卡收益受分片归并、副本路由、负载均衡与硬件带宽限制,不会随卡数线性增长;加速比要实测,超线性或线性承诺都不可信。

概念解释

  • 分片归并:各路结果合并有额外排序与通信成本。
  • 副本路由:请求分配不均会造成单卡热点。
  • 瓶颈:显存、内存带宽、CPU 归并都可能先于显卡饱和。

原理流程

加卡 → 观察吞吐曲线
  → 定位归并/路由/带宽瓶颈 → 再决定扩卡

代码 / 命令

# 记录每卡负载与归并耗时,不按卡数推算理论线性加速

常见误区

  • 误区:翻倍显卡吞吐翻倍。正解:归并与调度开销使加速比低于线性。
  • 误区:分片越多越好。正解:分片过多增加归并成本与管理复杂度。

追问

  • 问:分片不均怎么发现?答:看各卡 QPS 与显存/计算负载差异,热点卡优先调整路由。
  • 问:副本模式扩卡看什么?答:连接路由是否均衡、副本索引是否一致更新。

05.6.6.2-030 float32 与 fp16 存储怎么取舍?

频率 ★★☆☆☆ | 难度 基础

一句话结论

fp16 每维 2 字节、原始向量占用减半,但精度范围与舍入误差更大;是否可接受要在数据集上验证召回与距离稳定性,支持的半精度形式以版本为准(待确认)。

概念解释

  • 占用:fp16 相对 float32 每维省 2 字节。
  • 精度:fp16 尾数与范围有限,幅值极端的向量误差更明显。
  • 实现:索引内部存储与输入接口类型需分开核对。

原理流程

评估精度容忍度 → 试 fp16 存储
  → 对照 recall@k 与距离分布 → 不达标回 float32 或量化索引

代码 / 命令

# 输入接口通常仍要 float32;内部存储形式核对版本 SQ/fp16 支持

常见误区

  • 误区:fp16 一定精度够用。正解:数值分布极端时误差放大,必须实测。
  • 误区:fp16 输入可以直接绕过类型检查。正解:接口 dtype 要求仍按版本约定。

追问

  • 问:fp16 与 PQ 压缩哪个省?答:PQ 压缩比更高但误差机制不同,可组合评估。
  • 问:怎么检查精度损失?答:对比 fp16 与 float32 的近邻重合度和距离偏差。

05.6.6.2-031 训练集与线上分布不一致有什么影响?

频率 ★★★☆☆ | 难度 高级

一句话结论

质心、码本与投影都按训练集分布学习,线上分布漂移后索引对新区域向量失准,召回下降;需要重采样训练并重建索引,增量 add 不会修正已训练参数。

概念解释

  • 漂移来源:业务文本领域变化、新模型输出分布、新增向量类型。
  • 表现:分布外查询召回差、距离排序紊乱。
  • 修复:更新训练样本 → 重新 train → 重建索引。

原理流程

监控召回漂移 → 抽样对比新旧分布
  → 重采样训练集 → 重建索引 → 双索引替换

代码 / 命令

# 定期用近期线上样本评估索引质量

常见误区

  • 误区:新向量加入后码本自动适配。正解:已训练参数固定,增量不参与学习。
  • 误区:召回下降只是搜索参数问题。正解:分布漂移时调 nprobe/efSearch 只能部分缓解。

追问

  • 问:怎么早期发现漂移?答:抽样查询集定期跑 recall,对比历史基线;观察向量模长与距离分布。
  • 问:重建频率怎么定?答:按更新率与漂移监控设定周期,不固定死板数字。

05.6.6.2-032 质心与码本什么时候需要重训?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

分布漂移、删除比例高导致碎片、召回持续下降且调参无效时,需要重训质心/码本并重建索引;日常增量 add 不触发自动重训。

概念解释

  • 触发条件:分布变化、索引碎片、质量监控恶化。
  • 方式:用代表性样本重新 train,新建索引替换。
  • 成本:训练与构建耗时、双索引并存内存。

原理流程

质量指标恶化 → 评估是否参数可缓解
  → 重训样本 → 新索引构建 → 校验 → 替换旧索引

代码 / 命令

# 重训前保留旧索引可读,新索引校验通过后切换

常见误区

  • 误区:定期自动重训就能保持质量。正解:是否需要由分布与碎片监控触发,而非机械周期。
  • 误区:重训可以在原索引上热更新。正解:参数重建通常需要新索引对象。

追问

  • 问:重训要全量向量参与吗?答:训练样本覆盖分布即可,索引向量仍全量入库;样本与数据角色分开。
  • 问:重训后怎么验证?答:对照召回、抽样近邻与旧索引结果,确认无回退再切流。

05.6.6.2-033 保留原始向量做 refine 怎么落地?

频率 ★★★★☆ | 难度 高级

一句话结论

refine 路径在量化索引之外保留一份原始向量,用于候选精确重排;落地要评估这份副本的内存代价,并控制 refine 候选数量,只对粗召回 TopN 精排。

概念解释

  • 组成:量化粗索引 + 原始向量重排层。
  • 内存:额外 N×D×4B 原始向量副本。
  • 流程:粗召回 N 候选 → 原始向量精算 → 精排 TopK。

原理流程

量化索引出候选
  → RefineFlat 原始向量重算距离
  → 返回精排结果

代码 / 命令

# 内存预算单列 refine 副本;候选 N 按重排成本选择

常见误区

  • 误区:refine 保存的是编码。正解:精排必须原始向量,编码无法算精确距离。
  • 误区:refine 对全库重排。正解:只处理粗索引返回的候选集。

追问

  • 问:内存放不下原始副本怎么办?答:减小 refine 候选、降量化精度损失,或用外部向量表按编号回查精排。
  • 问:refine 后召回提升多少?答:对照粗索引 recall 变化,提升有限说明问题在粗召回路漏。

05.6.6.2-034 训练期与稳态内存峰值有什么差别?

频率 ★★★☆☆ | 难度 高级

一句话结论

训练期需要样本矩阵、质心/码本学习临时空间,峰值常高于稳态索引占用;稳态只保留索引结构与向量,部署容量要按训练峰值与稳态分别估算,不能只看上线后占用。

概念解释

  • 训练峰值:训练样本、中间计算、待生成参数并存。
  • 稳态:索引结构 + 入库向量 + 查询缓冲。
  • 批量构建:多批向量与中间结果可能推高峰值。

原理流程

训练阶段:样本 + 临时空间 → 峰值 P_train
  上线稳态:索引 + 向量 + 查询缓冲 → P_steady
  → 容量取两者余量

代码 / 命令

# 构建环境与在线环境分别估内存;批量构建错峰执行

常见误区

  • 误区:按线上稳态内存准备构建机器。正解:训练峰值可能更高,构建 OOM 会导致索引失败。
  • 误区:一次全量入库不增加临时内存。正解:批量拼接与索引扩展都有临时占用。

追问

  • 问:构建 OOM 怎么缓解?答:分批 add、减小训练样本驻留、释放中间变量、提升构建环境内存。
  • 问:在线查询峰值看什么?答:批量查询缓冲与 TopK 候选集合,随并发批量波动。

05.6.6.2-035 缓存命中率与内存布局怎么影响性能?

频率 ★★☆☆☆ | 难度 高级

一句话结论

距离计算受 CPU/GPU 缓存与数据布局影响,连续存储、按批次组织向量能提高缓存命中率;编码与图结构的随机访问会带来缓存失效,性能优化要结合内存布局观察。

概念解释

  • 连续布局:向量矩阵行连续,批量计算预取友好。
  • 随机访问:图邻居跳转、编码查表导致缓存失效。
  • 观察:对比不同索引族与批量下的延迟曲线。

原理流程

向量连续存储 → 批量距离计算命中缓存
  图/编码随机访问 → 缓存失效点 → 延迟上升

代码 / 命令

# 输入矩阵 ascontiguousarray;避免非连续视图传入

常见误区

  • 误区:只要索引算法快就够。正解:内存布局与缓存失效同样决定实测延迟。
  • 误区:随机访问结构不影响 CPU 性能。正解:HNSW 图跳转的缓存miss 是其延迟构成之一。

追问

  • 问:GPU 上布局有区别吗?答:显存访问合并与批量形状影响并行效率,按 GPU 实现约束组织数据。
  • 问:怎么定位缓存瓶颈?答:对比计算密集段延迟,结合性能工具观察缓存命中率(环境允许时)。

05.6.6.2-036 量化后召回下降怎么补救?

频率 ★★★★★ | 难度 进阶

一句话结论

按误差来源分层补救:粗召回漏簇就加大 nprobe/候选宽度,编码错位就 refine 重排或提高量化精度,分布问题则重训重建;先定位误差环节再选手段。

概念解释

  • 漏簇:增大 nprobe、调整 IVF 划分。
  • 编码错位:RefineFlat 重排、提高 M/nbits。
  • 分布失准:重训码本/质心、重建索引。

原理流程

对照 Flat 定位误差环节
  → 粗召回:扩候选;编码:重排/提精度;分布:重训

代码 / 命令

# 每次补救后复测 recall@k 与 P99,确认手段有效

常见误区

  • 误区:召回低就一味加大搜索候选。正解:编码或分布问题靠扩候选只能部分缓解且抬高延迟。
  • 误区:refine 能解决漏簇。正解:粗索引没访到的向量不在候选内,重排无从发现。

追问

  • 问:补救手段有优先级吗?答:先低成本调搜索参数,再加重排,最后才评估重建与提精度。
  • 问:召回与延迟冲突怎么选?答:按 SLA 锁 P99 上限,在预算内选最大召回方案。

05.6.6.2-037 CPU 缓存友好的数据布局要点是什么?

频率 ★☆☆☆☆ | 难度 高级

一句话结论

向量以行主序连续矩阵存储,批量查询保持同布局,避免转置产生非连续视图;连续布局让距离计算顺序访问内存,减少缓存失效,具体性能收益以实测为准。

概念解释

  • 行主序:每条向量连续存放 D 维。
  • 连续性:numpy 切片/转置可能产生非连续视图,需规整。
  • 批量:查询矩阵与入库矩阵布局一致。

原理流程

ascontiguousarray(float32) → 行主序矩阵
  → 批量计算顺序访问 → 缓存命中提升

代码 / 命令

# 传入前检查 dtype、shape 与连续性

常见误区

  • 误区:视图和拷贝性能一样。正解:非连续访问会拖慢距离计算。
  • 误区:布局只影响内存不影响速度。正解:缓存失效直接体现在延迟上。

追问

  • 问:列主序数据怎么处理?答:转成连续行主序再传入,不要让索引内部处理离散视图。
  • 问:大图索引也受布局影响吗?答:向量本体布局影响距离段,图邻居访问是另一类随机开销。

05.6.6.2-038 维度对内存与计算的放大有多大?

频率 ★★★★☆ | 难度 基础

一句话结论

原始向量内存与单次距离计算量都随维度线性增长;维度翻倍,向量本体与距离计算近似翻倍,索引结构开销也随之上升,降维是控制成本最直接的手段之一。

概念解释

  • 内存:N×D×字节数,D 线性放大。
  • 计算:单条距离遍历 D 维,D 线性放大计算量。
  • 索引:质心、码本子段与图连接都与维度相关。

原理流程

D 增大 → 向量内存 + 距离计算 + 索引结构同步上升
  → 降维/换模型压缩维度 → 实测召回后采用

代码 / 命令

# 容量与延迟估算都以实际 D 代入公式

常见误区

  • 误区:维度高只影响内存不影响延迟。正解:距离计算量随维度增长,查询延迟同步上升。
  • 误区:维度可以随意截断。正解:截断破坏语义,应通过训练降维或换小维度模型。

追问

  • 问:维度优化先做什么?答:评估换小维度嵌入模型,其次 PCA,量化是另一条压缩路线。
  • 问:高维低样本怎么索引?答:样本不足以支撑复杂量化时,优先 Flat/图索引并控制维度。

05.6.6.2-039 批量大小如何影响吞吐与尾延迟?

频率 ★★★☆☆ | 难度 进阶

一句话结论

批量增大提升吞吐摊薄固定开销,但单批等待与内存峰值上升、P99 变差;在线高并发用小批量,离线分析用大批量,最优批量按压测曲线确定。

概念解释

  • 吞吐:批量复用索引访问与调度,减少固定开销。
  • 延迟:单批排队与计算时间随批量增长。
  • 内存:批量查询缓冲与候选集合随批量扩大。

原理流程

扫批量大小 → 画吞吐/P99/内存曲线
  → 在线取低延迟拐点,离线取吞吐拐点

代码 / 命令

# 分批提交 + 失败按行重试;不追求单次超大批

常见误区

  • 误区:批量越大系统越高效。正解:超过拐点后尾延迟与内存风险抵消吞吐收益。
  • 误区:在线和离线用同一批量配置。正解:两类负载目标不同,应分别配置。

追问

  • 问:批量失败怎么重试?答:定位失败行,拆小批重试,避免整批重放放大压力。
  • 问:批量受什么资源限制?答:查询缓冲内存、CPU/GPU 并行度与索引扫描规模。

05.6.6.2-040 GPU 批量查询的显存怎么估算?

频率 ★★☆☆☆ | 难度 高级

一句话结论

显存除索引副本外,还要为批量查询向量、候选距离与编号缓冲预留空间;批量越大缓冲峰值越高,估算要把索引常驻与查询临时缓冲分开列。

概念解释

  • 常驻:索引上卡后的副本占用。
  • 临时:查询矩阵、D/I 结果、计算工作区。
  • 峰值:并发批量叠加时的显存高点。

原理流程

索引显存副本 + 批量查询缓冲 + 候选结果缓冲
  → 按最大并发批量估算峰值

代码 / 命令

# 压测观察显存峰值,对照显卡可用额度留余量

常见误区

  • 误区:显存只装索引就够。正解:查询批量缓冲是额外峰值占用,大批量时可能先爆缓冲。
  • 误区:并发不影响显存。正解:多批量并发的缓冲叠加需计入峰值。

追问

  • 问:显存紧张先减什么?答:减小批量查询大小、降低并发、量化压缩索引副本。
  • 问:索引副本能分片多卡放吗?答:可以按分片组织,但每卡仍要承担分片索引与对应缓冲。

05.6.6.2-041 量化后距离是怎么近似计算的?

频率 ★★★★★ | 难度 进阶

一句话结论

量化索引不直接用原始向量算距离:IVF 用残差编码配合码本查表重建近似距离,SQ 按整数量化值近似,HNSW 图内用对应编码距离导航;结果是近似值,与原始距离有偏差。

概念解释

  • PQ:查询向量与各码字比较,累加子段近似距离。
  • SQ:量化值间整数/近似运算。
  • 图导航:沿邻居用近似距离选择前进方向。

原理流程

查询向量 → 量化/编码匹配
  → 码本查表/整数近似 → 近似距离排序

代码 / 命令

# 近似距离不与原始 L2/IP 数值混用阈值

常见误区

  • 误区:量化索引返回的距离是精确原始距离。正解:为近似重建值,阈值要按近似分布标定。
  • 误区:不同量化索引的距离可横向比较。正解:近似机制不同,量纲不可直接对比。

追问

  • 问:距离阈值怎么设?答:在该索引与数据集上统计命中/未命中分布,单独标定阈值。
  • 问:想要精确距离怎么办?答:对 refine 候选回原始向量精算。

05.6.6.2-042 多核环境绑核与超线程要注意什么?

频率 ★☆☆☆☆ | 难度 高级

一句话结论

CPU 检索线程数要与实际可用核数匹配,容器环境按 CPU 限额而非宿主机核数配置;超线程对计算密集型负载收益有限,绑核策略需结合压测结果,具体工具支持以环境为准。

概念解释

  • 核数识别:容器 cgroup 限额可能与宿主机不同。
  • 超线程:逻辑核翻倍,但计算密集任务提升有限。
  • 线程配置:OMP 线程数与应用线程池共同规划。

原理流程

识别可用核数 → 设 OMP 线程数
  → 压测对比超线程开关/绑核效果 → 固定配置

代码 / 命令

# 不直接取宿主机总核数;线程总数避免超配

常见误区

  • 误区:逻辑核数就是可用计算核数。正解:超线程与限额都要扣除,计算密集任务按物理核评估。
  • 误区:线程越多越能吃满 CPU。正解:超配线程增加上下文切换,反而降低效率。

追问

  • 问:容器里怎么核对核数?答:读 CPU 限额与实际调度情况,以环境工具为准。
  • 问:绑核能解决延迟抖动吗?答:可减少调度迁移,但邻居 noisy neighbor 仍需隔离手段配合。

05.6.6.2-043 评估指标为什么是召回、QPS、内存三件套?

频率 ★★★★★ | 难度 基础

一句话结论

召回决定能不能找对,QPS/P99 决定能不能扛住流量,内存决定能不能装下;三者缺一不可,单一指标优秀的方案不能作为选型结论。

概念解释

  • 召回:检索质量,对照 Flat 金标准。
  • 性能:吞吐与尾延迟,在线体验直接相关。
  • 内存:可行性与成本,超内存方案无法落地。

原理流程

候选索引 → recall@k + QPS/P99 + 内存占用
  → 三项同时达标才进入部署候选

代码 / 命令

# 对比表必须三列齐全;构建时间作为附加成本项

常见误区

  • 误区:召回高就是好方案。正解:延迟或内存超标同样不可上线。
  • 误区:内存估算可以上线后再看。正解:超规模索引无法加载,容量是前置约束。

追问

  • 问:三项冲突怎么取舍?答:按业务 SLA 排序:先保内存可行与延迟上限,再在预算内最大化召回。
  • 问:构建时间算哪一类?答:作为运维成本附加项,频繁重建场景权重提高。

05.6.6.2-044 什么时候应该放弃量化,回到 Flat/HNSWFlat?

频率 ★★★☆☆ | 难度 进阶

一句话结论

数据规模在内存可容纳范围、召回要求高、量化误差无法通过重排接受时,应保留原始向量走 Flat 或 HNSWFlat;量化是为超内存规模服务的手段,不是必选项。

概念解释

  • 放弃量化条件:规模可控、精度敏感、refine 后召回仍不达标。
  • 图索引:HNSWFlat 兼顾低延迟与原始向量精度。
  • 成本判断:原始向量内存可承受时,简单精确方案更稳。

原理流程

估算原始向量内存可行
  → 召回要求高 → Flat/HNSWFlat
  → 内存不可行 → 量化 + 重排补救

代码 / 命令

# 先 Flat 基线评估规模,再决定是否需要压缩

常见误区

  • 误区:上了规模就必须量化。正解:内存够且精度优先,保留原始向量更可靠。
  • 误区:HNSWFlat 不算精确方案。正解:它保留原始向量,近似只来自图导航而非量化编码。

追问

  • 问:Flat 延迟太高怎么办?答:先评估 HNSWFlat 图导航,仍超内存再考虑量化压缩。
  • 问:量化后召回补救到什么程度可接受?答:以标注集业务容忍度为准,不靠主观感觉。

05.6.6.2-045 量化级别怎么与业务 SLA 对齐?

频率 ★★★☆☆ | 难度 高级

一句话结论

量化级别由可接受的召回下降、内存预算与延迟 SLA 共同决定;先定精度底线,再在满足底线的方案里选最省内存/最快的,而不是压缩比优先。

概念解释

  • 精度底线:业务标注集可容忍的 recall 下降。
  • 资源约束:内存/显存与 P99 上限。
  • 决策顺序:精度可行域内选资源最优。

原理流程

定召回容忍度 → 筛达标量化级别
  → 在达标方案中比内存/延迟 → 选定级别

代码 / 命令

# SLA 文档写明:召回下限、P99 上限、内存上限

常见误区

  • 误区:先压到最小内存再看召回。正解:精度不达标时再省内存也无业务价值。
  • 误区:所有业务用同一压缩级别。正解:精度敏感场景放宽内存,吞吐场景可接受更高压缩。

追问

  • 问:SLA 没有标注集怎么办?答:先抽样人工核对相关性,建立最小评估集再定级别。
  • 问:上线后召回下滑怎么对照 SLA?答:定期跑固定查询集,跌破下限即触发参数调整或重建。

05.6.6.2-046 索引重建周期与成本怎么估?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

重建成本包括训练样本处理、索引构建时间、双索引并存内存与切换校验;周期按更新率、碎片比例与漂移监控触发,重建窗口要预留构建资源与回滚路径。

概念解释

  • 成本项:训练、构建、临时内存、校验与切换。
  • 触发:碎片高、漂移、参数/结构调整。
  • 保障:旧索引保留可读,新索引校验后原子替换。

原理流程

评估碎片/漂移 → 旁路构建新索引
  → 双索引并存 → 校验召回 → 切换 → 释放旧索引

代码 / 命令

# 记录单次构建耗时与峰值内存,作为周期规划依据

常见误区

  • 误区:重建可以在线原地完成。正解:结构/参数变化通常需要新索引对象。
  • 误区:重建不占额外内存。正解:新旧并存期间内存接近双倍,需预留。

追问

  • 问:增量频繁怎么降低重建频率?答:优先选插入友好的索引族,控制删除碎片,定期对账。
  • 问:重建失败怎么办?答:保留旧索引继续服务,排查构建失败原因后重试新索引。

05.6.6.2-047 上线后监控哪些构建与质量指标?

频率 ★★☆☆☆ | 难度 高级

一句话结论

监控构建时间与失败率、索引大小与碎片比例、recall 漂移、查询 P99 与内存峰值;质量指标对照基线,资源指标对照容量阈值,异常分别触发调参、重训或扩容。

概念解释

  • 构建侧:耗时、失败、样本分布。
  • 质量侧:固定查询集召回、距离分布。
  • 运行侧:P99、内存/显存、索引大小趋势。

原理流程

埋点采集 → 对照基线与阈值
  → 质量恶化 → 调参/重训;资源饱和 → 扩容/压缩

代码 / 命令

# 看板:构建耗时 · 索引大小 · recall · P99 · 内存峰值

常见误区

  • 误区:只监控接口成功率。正解:召回漂移与内存趋势不会表现为报错,需主动指标。
  • 误区:索引大小不变就健康。正解:删除碎片与分布漂移不一定反映在体积上。

追问

  • 问:召回漂移怎么持续观测?答:保留固定抽样查询集定期跑,对比历史 recall@k。
  • 问:内存趋势看什么?答:count 与单条占用,区分数据增长与碎片膨胀。

05.6.6.2-048 给一个大规模向量检索的 CPU/GPU 与量化选型方案?

频率 ★★★★★ | 难度 高级

一句话结论

按「规模与内存预算 → 索引族与量化级别 → CPU/GPU 分配 → 重排与分片 → 评估三件套 → 重建与监控」给出方案,明确假设、基准结果与扩容/迁移触发条件。

概念解释

  • 输入:向量数 N、维度 D、更新率、QPS 与 P99 目标、召回下限、硬件环境。
  • 决策:量化级别、索引族、是否上 GPU、分片方式、refine 策略。
  • 交付:容量估算、参数基线、基准对比、重建周期与监控告警。

原理流程

1) 估算原始向量与索引内存
2) 选索引族:HNSWFlat / IVFPQ / IVFSQ
3) 定量级别与 refine 重排
4) 评估 GPU 收益,确定 CPU/GPU 分配与分片
5) recall/QPS/内存基准达标
6) 旁路重建 + 监控漂移 + 预留迁移路径

代码 / 命令

# 面试表达:先讲假设与约束 → 方案与取舍 → 基准验证 → 运维兜底

常见误区

  • 误区:直接上 GPU + 最高压缩。正解:设备与量化都要基准验证,方案建立在指标上。
  • 误区:忽略重建与碎片维护。正解:大规模索引必须有重建周期与质量监控。

追问

  • 问:内存不够优先压哪一层?答:先降维与量化级别评估召回,再分片,最后才降精度底线。
  • 问:怎么验证方案可落地?答:真实分布数据压测三件套,跑通构建、切换与恢复流程。

参考来源