05.6.1.2 索引类型与参数调优
所属:全栈开发面试题库 / 05 数据库与存储 / 05.6 向量数据库与语义检索 / 05.6.1 Milvus
覆盖范围
- Milvus 索引族:FLAT、IVF_FLAT、IVF_SQ8、IVF_PQ、HNSW、DISKANN 磁盘索引、GPU 索引
- metric_type 与向量类型、索引类型的匹配约束
- IVF 的 nlist(构建期)与 nprobe(查询期);HNSW 的 M、efConstruction、ef
- 量化位宽、压缩比与重打分兜底;磁盘索引与 GPU 索引的取舍和限制
- 建索引语法、参数下发、索引查看、变更与重建流程
- 索引内存放大、构建期峰值、批量导入索引策略、选型决策树与召回评估
参数主线
schema(向量字段 + metric_type + 向量类型)
↓ 选索引族(FLAT / IVF_FLAT / IVF_SQ8 / IVF_PQ / HNSW / DISKANN / GPU)
构建期参数:nlist、M、efConstruction、量化配置
↓ Index Node 异步构建 → 对象存储 → Query Node 加载
查询期参数:nprobe、ef、topK、过滤表达式
权衡:召回率 ↔ 延迟 ↔ 内存 ↔ 构建成本
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.6.1.2-001 | 05.6.1.2-001 | 基础 | ★★★★★ |
| 05.6.1.2-006 | 05.6.1.2-006 | 进阶 | ★★★★★ |
| 05.6.1.2-007 | 05.6.1.2-007 | 基础 | ★★★★☆ |
| 05.6.1.2-016 | 05.6.1.2-016 | 进阶 | ★★★★★ |
| 05.6.1.2-017 | 05.6.1.2-017 | 进阶 | ★★★★☆ |
| 05.6.1.2-019 | 05.6.1.2-019 | 进阶 | ★★★★★ |
| 05.6.1.2-027 | 05.6.1.2-027 | 进阶 | ★★★★☆ |
| 05.6.1.2-034 | 05.6.1.2-034 | 高级 | ★★★★★ |
| 05.6.1.2-036 | 05.6.1.2-036 | 高级 | ★★★★★ |
| 05.6.1.2-038 | 05.6.1.2-038 | 高级 | ★★★★☆ |
| 05.6.1.2-048 | 05.6.1.2-048 | 高级 | ★★★★★ |
05.6.1.2-001 Milvus 的索引挂在哪个字段上,一个集合能建几个向量索引?
频率 ★★★★★ | 难度 基础
一句话结论
向量索引建在集合的某个向量字段上;一个集合可有多个向量字段,每个字段各自维护索引,标量字段走另外的标量索引体系。
概念解释
- 索引归属:与向量字段绑定,建索引时指定向量字段名。
- 多向量字段:dense 与 sparse 字段可并存,分别建索引、分别检索。
- 标量字段:过滤效率由标量索引支撑,与 ANN 索引是两套机制。
原理流程
定义 schema → 声明向量字段 → 为该字段创建索引
多向量字段 → 各自 create_index → 各自下发查询参数
代码 / 命令
# 建索引形态(参数名以对应版本 SDK 为准)
# create_index(collection, field_name, index_params={index_type, metric_type, params})
常见误区
- 误区:一个集合只允许一个索引。正解:每个向量字段一个向量索引,可有多份并存。
- 误区:标量字段也走 ANN 索引。正解:标量过滤走标量索引或顺序扫描。
追问
- 问:混合检索两路索引怎么选?答:dense 与 sparse 各自按自己的索引召回,再由 ranker 融合。
- 问:索引建错字段能改吗?答:在目标字段重建索引,原字段索引可删除。
05.6.1.2-002 FLAT 索引是怎么检索的,适用什么规模?
频率 ★★★☆☆ | 难度 基础
一句话结论
FLAT 是暴力扫描:查询时与库内向量逐一算距离,结果精确,但成本随数量线性增长,只适合小规模或召回基线对照。
概念解释
- 检索方式:不建聚类或图结构,查询期全量扫描。
- 精度:精确近邻,没有 ANN 近似损失。
- 成本:计算量与向量数、维度成正比,规模放大后延迟不可接受。
原理流程
查询向量 → 段内全部向量算距离 → 排序取 TopK → 返回
代码 / 命令
# 适用:万级以内、精度要求极高,或作为 ANN 召回对照基线
常见误区
- 误区:FLAT 结果不准。正解:FLAT 是精确结果,慢才是问题。
- 误区:FLAT 不占内存。正解:原始向量仍需驻留,只是没有额外索引结构。
追问
- 问:什么时候故意选 FLAT?答:小集合、评测基线、对照暴力结果。
- 问:未建索引的段检索行为?答:查询期退化为暴力扫描兜底,接近 FLAT。
05.6.1.2-003 IVF_FLAT 的结构定位是什么,与 FLAT 差在哪?
频率 ★★★★☆ | 难度 基础
一句话结论
IVF_FLAT 先聚类分桶,查询只命中邻近簇内的原始未压缩向量,相比 FLAT 缩小扫描范围,代价是依赖聚类训练与 nprobe 调参。
概念解释
- 结构:聚类质心 + 每簇原始向量列表。
- 向量存储:未压缩浮点向量,精度不损失。
- 依赖:建索引前需样本训练聚类划分;新增向量按最近簇归属。
原理流程
训练:样本聚类 → nlist 个簇
查询:定位最近 nprobe 簇 → 簇内比对原始向量 → TopK
代码 / 命令
# IVF_FLAT:向量不压缩,内存接近原始向量,召回靠 nprobe 调整
常见误区
- 误区:IVF_FLAT 是压缩索引。正解:只分桶不量化,向量仍是浮点原始值。
- 误区:簇划分会自动重训。正解:增量归属已有簇,分布漂移后通常需重建。
追问
- 问:IVF_FLAT 与 HNSW 怎么粗分?答:前者聚类分桶、内存较省;后者图导航、延迟低、内存较高。
- 问:聚类质量差会怎样?答:相关向量落在未命中簇,nprobe 再大也补不回来。
05.6.1.2-004 IVF_SQ8 用标量量化换取什么?
频率 ★★★☆☆ | 难度 基础
一句话结论
IVF_SQ8 在 IVF 分桶基础上把浮点向量逐维压成 8 位整数,用可接受的精度损失换取内存大幅下降与距离计算加速。
概念解释
- 量化方式:逐维量化为低比特整数,压缩简单、损失相对可控。
- 收益:内存显著低于 IVF_FLAT,距离计算可用整数指令加速。
- 代价:量化引入近似误差,需增大 nprobe 或保留原始向量重打分兜底。
原理流程
训练聚类 → 逐维量化为 8-bit → 按簇存储
查询 → 近似距离 → 候选集 → 可选原始向量 rerank
代码 / 命令
# 定位:中等规模、内存敏感、可接受轻微召回损失
# 位宽与是否保留原始向量以官方文档与 describe_index 为准
常见误区
- 误区:SQ8 与 PQ 压缩比一样。正解:SQ 逐维编码、压缩比低于 PQ,误差通常更小。
- 误区:量化后精度无损。正解:低比特量化是近似,必须用召回指标验证。
追问
- 问:SQ8 召回掉了怎么补?答:增大 nprobe 扩候选,或对候选集原始向量重打分。
- 问:什么数据形态不适合 SQ?答:维度取值分布极端、量化区间难统一,需实测。
05.6.1.2-005 IVF_PQ 乘积量化的定位与压缩比如何理解?
频率 ★★★★☆ | 难度 进阶
一句话结论
IVF_PQ 把向量切分子段、每段用独立码本编码,压缩比高于 SQ,但距离是码本近似、误差更大,适合超大规模、内存极度敏感的场景。
概念解释
- 编码方式:切分子段 → 子段训练码本 → 用码本编号表示向量。
- 压缩比:由子段数与编码位宽决定,子段越多、码本越小压缩越狠。
- 代价:PQ 距离重建误差明显,通常粗排大候选后用原始向量重打分。
原理流程
PQ 训练:切分子段 → 各子段聚类生成码本
编码入库 → 查询查表近似距离 → 大候选 rerank → TopK
代码 / 命令
# 关键参数:子段数 m、编码位宽 nbits、nlist
# 取值范围与默认值待确认:以官方文档与 describe_index 输出为准
常见误区
- 误区:PQ 适合小数据集。正解:码本训练有成本,规模越大压缩收益越明显。
- 误区:PQ 索引可直接给最终排序。正解:PQ 误差大,高质量场景应加 rerank。
追问
- 问:子段数怎么和维度配合?答:通常能整除维度,可选值以实现为准。
- 问:PQ 与 SQ8 怎么选?答:内存优先、可接受更大误差选 PQ;精度优先选 SQ8。
05.6.1.2-006 HNSW 在 Milvus 中的定位与适用场景是什么?
频率 ★★★★★ | 难度 进阶
一句话结论
HNSW 是多层可导航图索引,在线召回稳定、延迟低、增量插入友好,代价是图结构内存开销较高,是在线低延迟检索的常用选择。
概念解释
- 结构:分层邻居图,查询从上层粗定位向下层细化。
- 优势:召回与延迟稳定,增量插入不需重建全量结构。
- 代价:邻居指针带来额外内存,构建期 CPU 与内存较高。
原理流程
建图:插入 → 按 M 建邻居 → efConstruction 控制建图质量
查询:顶层导航 → 下层细化 → ef 候选队列 → TopK
代码 / 命令
# 构建参数:M、efConstruction;查询参数:ef
# 默认值待确认:以官方文档与 describe_index / search 实际下发为准
常见误区
- 误区:HNSW 内存和原始向量一样。正解:邻居连接表是显著额外开销。
- 误区:建完不能再插数据。正解:支持增量插入,但大量删除后有结构碎片。
追问
- 问:超大规模还适合 HNSW 吗?答:内存吃紧时考虑 IVF+量化或磁盘索引,先压测对比。
- 问:召回调哪个参数?答:在线主要调 ef;图质量问题再调 M 与 efConstruction 并重建。
05.6.1.2-007 DISKANN 磁盘索引解决什么问题,取舍是什么?
频率 ★★★★☆ | 难度 基础
一句话结论
DISKANN 把图索引主体放磁盘、上层导航与热点留内存,以磁盘随机读换来容纳超出内存上限的向量,尾延迟明显高于纯内存索引。
概念解释
- 存放策略:图节点与向量落磁盘,内存缓存上层结构与高频节点。
- 收益:单机向量规模突破内存上限。
- 代价:查询伴随磁盘随机读,缓存命中率决定 P99,对 IOPS 与带宽敏感。
原理流程
建图:结构 + 向量落磁盘 → 内存缓存导航层/热点
查询:内存导航定位 → 按需磁盘加载节点 → 距离计算 → TopK
代码 / 命令
# 前提:内存无法容纳全量,且可接受较高尾延迟
# 类型名与缓存参数待确认:以官方文档与实例配置为准
常见误区
- 误区:磁盘索引延迟和内存索引接近。正解:随机读拉高尾延迟,P99 差距显著。
- 误区:上磁盘索引就不用管内存。正解:导航层与热点缓存仍占内存,磁盘 IO 是新瓶颈。
追问
- 问:磁盘索引瓶颈先看什么?答:IOPS、随机读延迟与缓存命中率,而不是 CPU。
- 问:内存放得下为什么还要磁盘索引?答:没必要,内存图索引延迟表现更好。
05.6.1.2-008 Milvus 的 GPU 索引族包含哪些类型,适用什么部署形态?
频率 ★★★☆☆ | 难度 进阶
一句话结论
GPU 索引把聚类、图构建或距离计算放到 GPU 上加速,需带 GPU 的执行节点;常见族包括 GPU 暴力、GPU IVF_FLAT、GPU IVF_PQ 及 GPU 图类索引,可用类型随版本变化。
概念解释
- 加速对象:距离计算与索引构建,适合高维、大候选量场景。
- 部署要求:GPU 硬件、驱动与运行时匹配,数据在显存/内存间搬运。
- 版本边界:GPU 索引清单随版本演进,部分图类索引是较新版本引入。
原理流程
向量加载到 GPU → GPU 建索引或算距离 → 结果回传主机内存 → 归并 TopK
代码 / 命令
# 待确认:当前版本可用 GPU 索引类型、显存占用与支持的 metric_type
# 验证:官方 GPU 索引文档,或实例试建并 describe_index
常见误区
- 误区:普通 CPU 节点也能跑 GPU 索引。正解:需 GPU 硬件与运行时,否则构建加载失败。
- 误区:GPU 一定比 CPU 快。正解:小批量被数据搬运开销抵消,需压测验证。
追问
- 问:GPU 适合在线小请求吗?答:看候选规模与批量,小请求搬运开销可能占主导。
- 问:GPU 节点能和 CPU 混部吗?答:通常按角色分开,混部需考虑显存隔离与调度。
05.6.1.2-009 metric_type 怎么选,和索引、向量类型有什么匹配约束?
频率 ★★★★☆ | 难度 基础
一句话结论
metric_type 在索引定义时固定,常见 L2、IP、COSINE;度量必须与 Embedding 模型口径一致,并与索引类型、向量类型兼容。
概念解释
- L2:距离越小越近,适合未归一化向量。
- IP:内积越大越相似,归一化后与余弦等价。
- COSINE:方向相似度,文本 Embedding 最常用;不同度量不能混比。
原理流程
确定模型口径 → 选 metric_type → 建索引固定 → 查询期不得更换度量
代码 / 命令
# 文本常用 COSINE;保留模长信息用 IP;几何距离用 L2
# 兼容性矩阵待确认:以官方文档为准
常见误区
- 误区:建索引后查询时换度量试试。正解:更换度量结果无意义,需重建。
- 误区:归一化后 IP 和余弦随便用。正解:等价前提是已归一化。
追问
- 问:Embedding 输出是否要归一化?答:按模型约定,用 IP/COSINE 时确认口径一致。
- 问:混合不同模型向量能放一个索引吗?答:不能,口径与维度不同必须分开或重建。
05.6.1.2-010 向量类型(Float、Binary、Sparse 等)与索引类型如何匹配?
频率 ★★★☆☆ | 难度 进阶
一句话结论
不同向量类型适用索引族不同:稠密浮点是 IVF/HNSW/DISKANN/GPU 族主要对象;二值向量用专用距离索引;稀疏向量走稀疏检索通道,兼容矩阵以版本文档为准。
概念解释
- FloatVector:稠密浮点,主流索引族围绕它设计。
- BinaryVector:二值编码,距离度量与浮点不同,索引类型受限。
- SparseFloatVector:稀疏权重向量,与稠密索引分开配置。
原理流程
确定向量来源 → 定向量类型 → 查类型×索引×度量兼容矩阵 → 选索引族
代码 / 命令
# 待确认:当前版本各类型支持的索引与度量
# 验证:官方文档向量类型章节,实例试建并读报错
常见误区
- 误区:所有索引都支持所有向量类型。正解:有兼容边界,超范围组合建索引失败。
- 误区:稀疏向量可以套 HNSW。正解:稀疏检索机制与稠密 ANN 不同。
追问
- 问:dense 与 sparse 同集合怎么建索引?答:两字段各自建索引,分路召回再融合。
- 问:二值向量距离怎么算?答:按汉明/杰卡德类度量,可用度量以实现为准。
05.6.1.2-011 索引参数与搜索参数分别在哪一步下发?
频率 ★★★☆☆ | 难度 基础
一句话结论
构建期参数(索引类型、nlist、M、efConstruction、量化配置)在建索引时写入;查询期参数(nprobe、ef、topK)在每次 search 请求时下发。
概念解释
- 构建期参数:决定索引结构与压缩,建完通常固定,改动多需重建。
- 查询期参数:决定本次候选宽度,可按请求在线调整。
- 分离意义:结构参数一次性决策,搜索参数按延迟/召回目标灵活调。
原理流程
create_index → 下发 index_type + metric_type + 构建 params
search → 下发 anns_field + topK + 搜索 params + expr
代码 / 命令
# 建索引:index_params 含构建参数;检索:请求字典含 nprobe/ef
# 字段名以对应版本 SDK 为准
常见误区
- 误区:把 nprobe 写进建索引参数。正解:nprobe 是查询期参数。
- 误区:改 M 只需重启服务。正解:M 是建图参数,改动需重建索引。
追问
- 问:查询参数调大有什么代价?答:候选量上升,召回提高但延迟与计算增加。
- 问:怎么查看实际构建参数?答:describe_index 类接口读取索引定义。
05.6.1.2-012 什么情况下集合可以不建索引?
频率 ★★★☆☆ | 难度 基础
一句话结论
小数据量、开发测试或 schema 尚未定型阶段可不建索引;未索引段查询退化为暴力扫描,规模一大延迟失控,生产必须建索引。
概念解释
- 不建索引表现:查询期对未索引段顺序扫描。
- 适用场景:万级以内、临时验证、demo 环境。
- 风险:数据增长后扫描成本线性上升,行为与已索引段不一致。
原理流程
不建索引 → 段未索引 → 查询暴力扫描 → 规模上升延迟恶化 → 补建索引
代码 / 命令
# 上线前检查:向量字段是否已有可用索引、索引是否构建完成并被加载
常见误区
- 误区:不建索引检索就不工作。正解:能工作,只是暴力扫描兜底。
- 误区:索引会自动补上。正解:需显式创建并等待构建完成、段加载。
追问
- 问:补建索引在线上阻塞查询吗?答:异步构建,在线查询走已有段,新段完成后参与。
- 问:怎么判断段是否已索引?答:查段索引状态与构建进度(接口以 SDK 为准)。
05.6.1.2-013 索引在 Milvus 中由哪个组件异步构建?
频率 ★★★☆☆ | 难度 基础
一句话结论
Index Coordinator 派发任务、Index Node 异步读取 sealed segment 构建索引文件并写回对象存储,构建与在线写入、查询解耦。
概念解释
- 派发:Index Coordinator 依据索引定义与段状态生成任务。
- 执行:Index Node 读段、训练(IVF/PQ 类)、构建结构、写索引文件。
- 生效:元数据登记后,Query Node 加载对应段才使用新索引。
原理流程
sealed segment → 任务入队 → Index Node 领取 → 读段构建 → 写对象存储 → 标记已索引
代码 / 命令
# 观察:待构建任务数、单任务耗时、Index Node CPU/内存峰值
常见误区
- 误区:建索引在客户端同步完成。正解:服务端异步构建,返回成功只代表任务提交。
- 误区:索引写回后查询立刻用到。正解:还要等 Query Node 加载该段。
追问
- 问:构建失败会怎样?答:段保持未索引状态可重试,检索用未索引段兜底。
- 问:任务积压怎么扩?答:扩 Index Node 并行度,同时检查段是否过碎、参数是否过大。
05.6.1.2-014 标量字段需要单独建索引吗?
频率 ★★★☆☆ | 难度 基础
一句话结论
高频过滤、基数较高的标量字段应建标量索引加速过滤;低基数或极少过滤字段顺序扫描即可,标量索引不替代向量 ANN 索引。
概念解释
- 作用范围:只加速表达式求值,不参与向量近邻计算。
- 适用字段:租户、状态、时间、分类等高频过滤字段。
- 边界:过滤后子集过小时,仍需结合 ANN 执行顺序综合判断。
原理流程
识别高频过滤字段 → 建标量索引 → 查询 expr 走索引加速 → 子集交 ANN
代码 / 命令
# 待确认:当前版本标量索引类型、支持字段类型与建索引接口
# 验证:官方文档标量索引章节,实例 describe 索引列表
常见误区
- 误区:建了向量索引就不管标量字段。正解:过滤慢往往是标量侧问题。
- 误区:所有标量字段都建索引。正解:索引有维护成本,低基数收益有限。
追问
- 问:标量索引影响写入吗?答:索引维护增加写入与构建开销,需权衡。
- 问:怎么判断过滤是否走了索引?答:观察扫描量与字段基数,结合服务侧指标定位。
05.6.1.2-015 IVF 的 nlist 如何确定?
频率 ★★★★★ | 难度 进阶
一句话结论
nlist 是聚类簇数,需在向量规模、维度与簇内样本量间折中:簇太少退化为大桶扫描,簇太多样本稀疏、聚类不稳,取值必须用自有数据压测。
概念解释
- 规模关系:通常随向量数量增长提高,但不是线性放大。
- 簇内样本:每簇需足够向量,小数据硬设大 nlist 反而降低质量。
- 构建成本:nlist 影响训练时间与索引文件大小。
原理流程
统计规模与维度 → 给候选 nlist 区间 → 看簇内分布 → 配合 nprobe 测 recall/P99 → 定档
代码 / 命令
# 不要照搬教程数值;默认值待确认,以官方文档与 describe_index 为准
# 验证:同查询集对比不同 nlist 的 recall@k 与构建耗时
常见误区
- 误区:nlist 越大召回越高。正解:召回主要由 nprobe 与聚类质量决定。
- 误区:小数据也设大 nlist。正解:样本不足时簇内太少,划分不可靠。
追问
- 问:nlist 定了还能改吗?答:构建期参数,改动需重建 IVF 索引。
- 问:怎么看簇划分是否均匀?答:统计各簇向量数分布,倾斜严重说明参数或分布有问题。
05.6.1.2-016 nprobe 如何影响召回与延迟?
频率 ★★★★★ | 难度 进阶
一句话结论
nprobe 决定查询访问多少邻近簇:越大候选越多、召回越高,但扫描量与延迟上升;过大时 IVF 退化为近暴力扫描,失去索引意义。
概念解释
- 候选宽度:访问簇数 × 簇内向量数构成候选集。
- 召回关系:覆盖到真实近邻所在簇才有命中可能。
- 延迟关系:候选量直接决定距离计算量。
原理流程
查询 → 选最近 nprobe 簇 → 簇内比对 → 候选排序 → TopK
调大:召回上升、P99 上升;调小反之
代码 / 命令
# search 查询参数中下发 nprobe
# 方法:固定数据集,从保守值上调,直到 recall@k 达标且 P99 在 SLA 内
常见误区
- 误区:nprobe 设成向量总数最保险。正解:等于暴力扫描,索引省下的延迟全还回去。
- 误区:nprobe 是建索引参数。正解:查询期参数,可按请求场景分别配置。
追问
- 问:低选择率过滤场景要调大 nprobe 吗?答:先确认过滤执行顺序,盲目调大收益有限。
- 问:线上召回突然下降先查什么?答:先看数据分布与删除碎片,再核对 nprobe 是否被改小。
05.6.1.2-017 HNSW 的 M 参数如何确定?
频率 ★★★★☆ | 难度 进阶
一句话结论
M 是每节点邻居连接数:越大图连通性越好、召回越稳,但邻居指针越多、内存与构建成本越高;M 是建图参数,调整需重建索引。
概念解释
- 连通性:M 小则图稀疏,导航容易走偏,召回受影响。
- 内存:邻居表随 M 与节点数增长,是 HNSW 内存放大主因之一。
- 构建成本:连接越多,构建期计算与写入越大。
原理流程
按规模与召回目标选 M 候选 → 建图 → 测 recall/P99/内存 → 达标固化
代码 / 命令
# 默认值与取值范围待确认:以官方文档与 describe_index 为准
# 上线前用自有数据回归内存占用
常见误区
- 误区:M 可在线随意改。正解:构建期参数,改动要重建图索引。
- 误区:M 越大延迟越低。正解:连接数上升增加遍历比较成本,召回与延迟要一起看。
追问
- 问:内存紧张怎么降 M?答:先压测降 M 后召回,可接受再降;否则优先量化或换索引族。
- 问:M 与 efConstruction 谁影响图质量?答:M 定结构密度,efConstruction 定建图候选宽度。
05.6.1.2-018 efConstruction 如何影响建图质量与构建成本?
频率 ★★★☆☆ | 难度 进阶
一句话结论
efConstruction 控制建图时候选队列宽度:越大考察邻居越多、图质量越好,但构建越慢、CPU 内存峰值越高;它只在构建期生效,不影响查询延迟。
概念解释
- 图质量:候选宽度大,插入时更可能找到真近邻,图更均衡。
- 构建成本:候选遍历比较增加,构建期峰值资源上升。
- 与 ef 区别:前者构建期生效,后者查询期生效。
原理流程
插入节点 → 按 efConstruction 宽度搜候选 → 选 M 个邻居连接 → 写图结构
代码 / 命令
# 批量重建时观察:构建耗时、Index Node 内存峰值与任务积压
常见误区
- 误区:efConstruction 越大查询越快。正解:只影响建图,查询延迟由 ef 决定。
- 误区:构建期峰值不用管。正解:大规模建图峰值高于稳态,容量规划必须覆盖。
追问
- 问:构建慢要不要先降 efConstruction?答:先看是否牺牲图质量,召回达标后再降。
- 问:线上已有索引要改怎么办?答:重建索引,低峰执行并观察构建资源。
05.6.1.2-019 HNSW 的 ef 查询参数如何在线调优?
频率 ★★★★★ | 难度 进阶
一句话结论
ef 是查询期候选队列宽度:越大导航考察节点越多、召回越高,延迟随之上升;它可按请求在线调整,是 HNSW 在线召回-延迟权衡的主要抓手。
概念解释
- 候选宽度:查询保留的待考察节点数,直接影响遍历范围。
- 与 topK 关系:ef 一般不小于 topK,具体下限与实现相关。
- 调优方式:按 SLA 分档,核心链路调高,普通链路保守取值。
原理流程
查询 → 按 ef 维护候选队列 → 导航细化 → TopK
调大:召回上升、P99 上升;调小反之
代码 / 命令
# search 参数中下发 ef(字段名以 SDK 为准)
# 固定标注集扫 ef 候选值,画 recall@k 与 P99 曲线取最优点
常见误区
- 误区:ef 比 topK 小也能正常工作。正解:候选宽度不足直接限制召回,需核对下限。
- 误区:ef 调高要重建索引。正解:查询参数,无需重建。
追问
- 问:不同接口能配不同 ef 吗?答:可按请求下发,核心与普通检索分别定档。
- 问:召回下降先调 ef 还是查数据?答:先排除数据分布、碎片与过滤问题,再调 ef。
05.6.1.2-020 IVF_PQ 的 nlist、子段数、位宽之间是什么关系?
频率 ★★★☆☆ | 难度 基础
一句话结论
nlist 定簇划分,子段数与位宽定 PQ 压缩粒度:三者共同决定压缩比、码本大小与距离误差;参数组合受维度与实现约束,必须实测召回。
概念解释
- nlist:倒排簇数,影响粗筛粒度。
- 子段数:向量切分份数,与维度配合。
- 位宽:每段码本编号比特数,决定码本规模与编码精度。
原理流程
样本训练:聚类(nlist) + 子段码本训练
编码入库 → 查询近似距离 → 大候选 rerank → TopK
代码 / 命令
# 可选取值与默认值待确认:以官方文档与 describe_index 为准
# 验证:对比不同组合的压缩后内存、recall@k 与 P99
常见误区
- 误区:PQ 参数可照搬其他项目。正解:维度、分布、精度要求不同,必须重测。
- 误区:码本训练一次永久有效。正解:分布漂移后码本代表性下降,需重建。
追问
- 问:PQ 索引内存怎么估?答:编码后每向量字节数 × 数量,加码本与簇结构开销。
- 问:PQ 召回不足第一补救是什么?答:扩大候选集并对原始向量重打分。
05.6.1.2-021 量化后为什么要保留原始向量做重打分,Milvus 中如何安排?
频率 ★★★★☆ | 难度 高级
一句话结论
量化距离是近似值,粗排大候选后用原始或高精度向量二次精排,纠正量化错排;是否保留原始向量、是否启用 rerank 取决于具体索引能力与配置。
概念解释
- 误差来源:低比特量化与 PQ 码本距离都有重建误差。
- 重打分位置:ANN 粗排出候选后、最终 TopK 输出前。
- 成本:保留原始向量占额外内存,rerank 增加单次计算量。
原理流程
量化索引粗排 → 取 N 候选 → 原始向量算精确距离 → 重排取 TopK
代码 / 命令
# 待确认:当前版本各量化索引是否自动保留原始向量、rerank 如何配置
# 验证:官方文档量化章节,实例对比开启/关闭重打分的 recall@k
常见误区
- 误区:选量化索引就必须丢原始向量省内存。正解:高质量场景保留原始向量 rerank 是常见折中。
- 误区:rerank 能消除全部量化损失。正解:只纠正候选集内错排,集外近邻补不回来。
追问
- 问:rerank 候选集取多大?答:按 topK 数倍放大,压测确定召回与延迟平衡点。
- 问:不做 rerank 怎么判断精度够?答:标注集对比量化索引与暴力基线 recall@k。
05.6.1.2-022 IVF_SQ8 的位宽选择与精度损失怎么评估?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
SQ8 以 8 位整数逐维编码,位宽越低压缩越狠、误差越大;精度损失不能凭感觉判断,必须在标注集上对比量化前后的 recall@k 与排序一致性。
概念解释
- 位宽与压缩:比特数越少,每维表达越弱,量化区间误差越大。
- 误差表现:距离近似导致近邻错排,边界处最明显。
- 评估口径:固定金标准查询集,对比量化索引与暴力基线。
原理流程
原始向量 → 量化编码 → 近似距离检索 → 对比暴力基线 recall/排序重合度 → 决定接受
代码 / 命令
# 待确认:当前版本 SQ 支持的位宽档位与参数名
# 验证:官方文档 + describe_index;精度结论来自自有标注集压测
常见误区
- 误区:8 位量化损失可忽略。正解:是否可接受取决于业务排序精度要求,需实测。
- 误区:换更低位宽一定省内存。正解:要同时评估召回是否还在 SLA 内。
追问
- 问:精度损失集中在什么情况?答:模长差异大、维度分布不均时更明显。
- 问:召回不够除了 rerank 还能怎么办?答:提高候选宽度、换更高精度量化或放弃压缩。
05.6.1.2-023 磁盘索引的内存缓存结构与磁盘随机读瓶颈在哪?
频率 ★★★☆☆ | 难度 进阶
一句话结论
磁盘索引把导航层与热点节点放内存、主体落磁盘;查询沿图导航触发随机读,缓存命中率不足时 IOPS 与随机读延迟直接决定 P99。
概念解释
- 缓存内容:上层导航节点、高频访问向量与邻接信息。
- 磁盘内容:底层图节点与向量数据文件。
- 瓶颈特征:缓存未命中产生随机 IO,机械盘或网络盘尾延迟尤其明显。
原理流程
内存导航定位 → 判断节点是否在缓存 → 命中直接比较 → 未命中磁盘加载 → 继续导航
代码 / 命令
# 观察:IOPS/随机读延迟、缓存命中率、P99 与 IO 等待相关性
常见误区
- 误区:磁盘索引只省内存不影响性能。正解:尾延迟与 IO 瓶颈是主要代价。
- 误区:加大内存就能消除磁盘读。正解:超大规模不可能全量驻留,调优命中率才是关键。
追问
- 问:磁盘索引放什么磁盘最好?答:低随机读延迟的本地高速盘优先,网络存储需评估带宽延迟。
- 问:冷节点加载预热怎么做?答:上线前用典型查询集预热,观察命中率爬升曲线。
05.6.1.2-024 磁盘索引与内存 HNSW 的容量-延迟对比怎么决策?
频率 ★★★★☆ | 难度 进阶
一句话结论
先按内存模型判断全量驻留是否可行:可行优先内存 HNSW 保延迟;内存不足且可接受尾延迟上升再上磁盘索引;决策必须基于同数据集的实测指标。
概念解释
- 决策变量:规模、维度、副本数、P99 SLA、磁盘性能、内存成本。
- 对比维度:单份内存、P50/P99、召回率、构建时间。
- 混合可能:热分区内存索引、冷分区磁盘索引,按分区分层。
原理流程
算内存模型 → 实测 HNSW 指标 → 实测磁盘索引指标 → 对比 SLA 与成本 → 定方案
代码 / 命令
# 对比表:内存、recall@k、P50/P99、构建耗时、单位千次查询成本
常见误区
- 误区:规模一大就直接磁盘索引。正解:先量化/降维/分片,内存能放下时内存索引更优。
- 误区:磁盘索引 P99 不行一定是选错。正解:先排查磁盘 IO 与缓存命中率。
追问
- 问:能否一部分内存、一部分磁盘?答:按分区或集合分层,查询路由到对应存储。
- 问:决策最容易忽略什么?答:副本放大后的内存总量与构建期峰值。
05.6.1.2-025 GPU 索引对显存、数据搬运与部署节点有哪些要求?
频率 ★★★☆☆ | 难度 高级
一句话结论
GPU 索引需节点配备兼容 GPU 与运行时,数据在主机内存与显存间搬运;批量越大、候选越多加速越明显,小请求可能被搬运开销拖累。
概念解释
- 显存:索引结构与参与计算的向量需放显存或可访问存储,容量是硬约束。
- 搬运成本:主机到设备传输在小批量场景占比高。
- 部署:GPU 节点独立规划,驱动框架版本与 Milvus 匹配。
原理流程
主机内存拷贝到显存 → GPU 建索引/算距离 → 结果回传 → 归并 TopK
代码 / 命令
# 待确认:显存占用口径、支持索引类型与部署前提
# 验证:官方 GPU 文档,目标环境小批量实测搬运开销与加速比
常见误区
- 误区:GPU 自动获得所有收益。正解:加速比取决于批量规模与搬运占比。
- 误区:CPU 与 GPU 节点混跑同一索引。正解:构建加载要在对应类型节点完成。
追问
- 问:GPU 适合批量离线检索吗?答:大批量距离计算通常更能发挥并行优势。
- 问:显存不够怎么扩?答:增加 GPU 节点分片承载,而不是堆单卡显存。
05.6.1.2-026 GPU 图类索引与 CPU HNSW 如何取舍?
频率 ★★★☆☆ | 难度 基础
一句话结论
GPU 图类索引把图遍历或距离计算放 GPU,适合高并发、大候选量且已有 GPU 资源的环境;CPU HNSW 部署门槛低、生态成熟,取舍看自有压测而非宣传指标。
概念解释
- 能力边界:GPU 图索引类型随版本引入,部分能力不是所有版本都提供。
- 成本结构:GPU 硬件运维成本高,利用率不足时浪费明显。
- 成熟度:CPU HNSW 在参数、排障资料与稳定性上积累更多。
原理流程
评估现有 GPU 资源 → 同数据集双路压测 → 对比召回/P99/成本 → 选方案
代码 / 命令
# 待确认:目标版本是否支持 GPU 图类索引及参数名
# 验证:官方版本说明与索引文档,实例试建读能力清单
常见误区
- 误区:新出的 GPU 索引一定更好。正解:先看是否匹配自身批量与延迟目标。
- 误区:GPU 与 CPU 参数同名同义。正解:部分参数语义与默认值可能不同,需逐项核对。
追问
- 问:没有 GPU 资源要为性能上 GPU 吗?答:先在 CPU 侧调参、量化、扩容,算清回报再定。
- 问:混合部署怎么分工?答:重负载放 GPU,普通负载留 CPU,按集合或分区划分。
05.6.1.2-027 建索引的调用形态与参数怎么下发?
频率 ★★★★☆ | 难度 进阶
一句话结论
建索引通过 create_index 类调用完成,入参含集合名、向量字段、索引类型、度量与构建参数字典;提交后服务端异步构建,需查进度与加载状态确认生效。
概念解释
- 入参要素:字段名、index_type、metric_type、构建期 params。
- 异步语义:调用返回不代表索引可用。
- 生效链路:构建完成 → 元数据登记 → 段加载到 Query Node。
原理流程
组装 index_params → create_index 提交 → 异步构建 → 查进度 → 段加载后参与检索
代码 / 命令
# 形态示例(参数名以对应版本 SDK 为准)
# create_index(collection, field, index_params={
# "index_type": "...", "metric_type": "...", "params": {...}})
常见误区
- 误区:返回后立刻按新索引性能观测。正解:要等构建完成且段加载。
- 误区:索引参数写在 search 请求里。正解:构建参数走建索引,搜索参数走检索。
追问
- 问:怎么确认索引已构建完成?答:describe_index 或构建进度类接口查看状态。
- 问:建索引报错常见原因?答:类型/维度/度量不兼容、参数越界、资源不足。
05.6.1.2-028 如何查看索引状态与实际生效的参数?
频率 ★★★☆☆ | 难度 进阶
一句话结论
describe_index 类接口读取索引类型、度量与构建参数;结合段索引状态与加载状态判断是否真正参与检索,不能只看创建成功。
概念解释
- 索引定义:类型、度量、构建参数。
- 构建状态:任务是否完成、是否有失败重试。
- 加载状态:Query Node 是否已加载带该索引的段。
原理流程
describe_index → 核对类型/度量/参数 → 查段索引状态 → 查段加载状态 → 确认检索路径
代码 / 命令
# 排查模板:创建成功 ≠ 构建完成 ≠ 已加载,三层逐层核对
常见误区
- 误区:索引列表有记录就是可用。正解:还要看构建完成与段加载。
- 误区:参数记不清就翻代码。正解:以实例 describe_index 实际输出为准。
追问
- 问:参数与预期不符怎么办?答:核对建索引下发字典,必要时重建索引。
- 问:段已加载但仍走暴力扫描?答:核对段是否已索引、过滤路径与查询参数。
05.6.1.2-029 改索引参数为什么通常要重建索引,重建流程是什么?
频率 ★★★★★ | 难度 高级
一句话结论
构建期参数决定索引结构本身,在线无法原地改写;重建是先在新结构上构建、验证通过后再切换,避免直接破坏在线检索。
概念解释
- 不可变性:聚类划分、图连接、码本都固化在索引文件里。
- 重建方式:删旧索引后重建,或按集合/分区新建后迁移,视版本能力而定。
- 风险控制:重建期间旧索引继续服务,新索引验证召回与延迟后再切。
原理流程
备份 schema 与参数 → 低峰提交重建 → 新索引异步构建 → 验证 recall/P99 → 加载生效 → 下线旧索引
代码 / 命令
# 重建产生构建期 CPU/内存峰值与对象存储临时空间,预留余量
常见误区
- 误区:改参数重启集群就生效。正解:参数固化在索引文件,必须重建。
- 误区:重建可在线无感完成。正解:有资源峰值,大规模集合需要窗口与限流。
追问
- 问:重建期间写入怎么办?答:增量正常进行,新索引需覆盖重建前数据,核对增量纳入。
- 问:重建失败如何回退?答:保留旧索引文件与元数据,新索引失败不切换即可。
05.6.1.2-030 一个向量字段能否更换索引类型,操作步骤是什么?
频率 ★★★☆☆ | 难度 进阶
一句话结论
可以更换,本质是重建索引:删旧索引后按新类型参数重新构建;跨索引族还要重新评估内存、召回与延迟。
概念解释
- 更换前提:新类型与字段向量类型、度量兼容。
- 数据复用:向量仍在段中,重建主要是索引结构工作。
- 评估:不同索引族内存放大与延迟特征不同,不能只看类型名。
原理流程
确认兼容性 → 导出旧参数对照 → 删旧索引 → 按新类型建索引 → 压测验证 → 生效
代码 / 命令
# 待确认:是否支持同字段多索引并存、在线切换接口
# 验证:官方索引管理章节,预发演练完整流程
常见误区
- 误区:换类型要清空重导数据。正解:数据在段中保留,重建的是结构。
- 误区:IVF 换 HNSW 沿用旧参数。正解:两族参数体系不同,需重新调参。
追问
- 问:换型后召回下降?答:标注集对比新索引 recall@k,检查参数与 rerank。
- 问:大集合换型怎么控风险?答:影子集合或分区级试点,验证后全量切换。
05.6.1.2-031 索引内存放大系数怎么估算?
频率 ★★★☆☆ | 难度 进阶
一句话结论
索引内存 = 向量本体 + 索引结构开销 + 标量字段与查询缓冲;不同索引族放大系数差异很大,HNSW 邻居表、量化压缩比要单独估算,不能只乘一个经验值。
概念解释
- 向量本体:按向量类型字节数 × 数量 × 维度。
- 结构开销:IVF 簇结构、HNSW 邻居表、PQ 码本与编码表。
- 运行期:标量字段、并发临时缓冲、副本放大。
原理流程
单条向量字节 → ×数量 → 加结构开销 → 加标量与缓冲 → ×副本数 → 留余量
代码 / 命令
# 校准:小规模真实数据导入后读实际内存,按规模外推,不要只用理论系数
常见误区
- 误区:所有索引放大系数相同。正解:HNSW 与 IVF_PQ 内存构成完全不同。
- 误区:估算不含副本。正解:每个查询副本都持有一份可服务数据。
追问
- 问:怎么拿真实放大系数?答:导入已知数量样本后对比进程内存与理论向量大小。
- 问:结构开销在哪观察?答:对比原始向量大小与加载后 Query Node 实际占用。
05.6.1.2-032 索引构建期的 CPU/内存峰值如何与在线查询隔离?
频率 ★★★★☆ | 难度 高级
一句话结论
索引构建是 CPU 内存密集任务,应通过独立 Index Node 角色、控制构建并发度与错峰执行隔离;容量规划必须覆盖构建峰值而非只看稳态。
概念解释
- 资源竞争:构建期读段、训练、写文件,CPU/内存/IO 同时上升。
- 隔离手段:角色分离、构建任务并发限制、低峰重建。
- 观测:任务积压、Index Node 峰值资源、在线 P99 抖动相关性。
原理流程
在线查询走 Query Node → 构建走 Index Node → 并发度受限 → 错峰 → 监控两侧
代码 / 命令
# 观察:Index Node CPU/内存峰值、构建排队、Query Node P99 是否随构建抖动
常见误区
- 误区:构建和查询共用节点无所谓。正解:峰值叠加易引发抖动甚至 OOM。
- 误区:构建峰值不用写进容量模型。正解:大集合重建峰值显著高于稳态。
追问
- 问:构建期间在线变慢怎么止血?答:降构建并发或暂停非关键重建任务。
- 问:独立 Index Node 还不够?答:再查对象存储带宽与磁盘 IO 是否成瓶颈。
05.6.1.2-033 批量导入时索引策略怎么安排?
频率 ★★★★☆ | 难度 高级
一句话结论
大批量导入常见先批量入库、控制 flush 节奏减少碎片段,再统一构建或等索引异步跟上;避免每小批触发索引任务,以免小段重复付出固定构建开销。
概念解释
- 顺序权衡:边写边建响应快但任务碎;先写后建导入快但短期未索引段多。
- 段控制:批量与 flush 节奏决定段大小,小段过多加重后续构建与查询负担。
- 切换:导入完成后确认索引进度与召回基线,再放开正式流量。
原理流程
分批写入 → 控制 flush → 段合并/compaction → 索引构建 → 验证召回 → 切流量
代码 / 命令
# 检查:批次大小、flush 频率、未索引段占比、任务积压、导入后召回基线
常见误区
- 误区:每条写入都触发一次索引。正解:索引按段异步构建,过细批次产生碎片任务。
- 误区:导入完直接对外检索。正解:要等索引完成并验证召回基线。
追问
- 问:导入期间需在线检索怎么办?答:接受未索引段兜底,或影子集合导入后切换。
- 问:导入后段太碎怎么处理?答:先 compaction 合并小段再建索引,降低重复开销。
05.6.1.2-034 Milvus 的索引选择决策树怎么走?
频率 ★★★★★ | 难度 高级
一句话结论
按「规模维度 → 内存预算 → 延迟召回 SLA → 更新频率 → 过滤复杂度」逐层判断:小库暴力、在线低延迟选 HNSW、海量省内存选 IVF+量化、超内存上限选磁盘索引、有 GPU 再评估 GPU。
概念解释
- 规模维度:向量数量、维度、日增量。
- 资源约束:单份内存、副本数、磁盘与 GPU 条件。
- 质量约束:recall@k 目标、P99 SLA、动态更新比例。
原理流程
数据量极小 → FLAT
内存可全量驻留 → 更新少 IVF 族;低延迟高频在线 HNSW
内存不足 → 量化压缩;仍不足 → 磁盘索引
有 GPU 且大批量 → 压测 GPU 索引是否优于 CPU
代码 / 命令
# 输出:索引类型 + 度量 + 构建参数 + 查询参数 + 召回/P99/内存实测值
常见误区
- 误区:决策终点是某一个最佳索引。正解:选型必须回到自有数据集压测。
- 误区:只按向量数量选索引。正解:维度、更新频率与过滤复杂度同样影响选择。
追问
- 问:更新非常频繁选哪个?答:优先图索引增量友好性,同时监控碎片与重建周期。
- 问:决策前必须准备什么?答:真实分布数据集、标注查询集、内存与延迟 SLA 目标。
05.6.1.2-035 如何在自有数据集上做索引选型基准对比?
频率 ★★★★☆ | 难度 高级
一句话结论
固定同一批真实分布数据与标注查询集,候选索引分别构建,相同 topK 与负载下对比 recall@k、P50/P99、内存与构建耗时,用数据而非文档描述选择。
概念解释
- 数据要求:向量分布、维度、标量过滤条件接近线上。
- 标注集:查询向量 + 暴力检索金标准 TopK。
- 对比指标:召回、延迟、内存、构建时间、导入后稳定性。
原理流程
准备数据集与金标准 → 候选索引分别构建 → 相同并发压测 → 采集指标 → 对照 SLA 选型
代码 / 命令
# 记录:类型、参数、样本量、维度、metric、recall@k、P50/P99、内存、构建耗时
常见误区
- 误区:随机向量压测得出结论。正解:随机分布不反映真实语义,召回延迟都失真。
- 误区:只比召回不比内存。正解:多目标权衡,缺一项结论不完整。
追问
- 问:没有人工标注怎么办?答:暴力结果作近似金标准,再人工抽样核对相关性。
- 问:压测并发怎么定?答:按线上峰值 QPS 留余量,分别测单请求与批量场景。
05.6.1.2-036 召回评估在 Milvus 侧怎么落地?
频率 ★★★★★ | 难度 高级
一句话结论
以暴力检索为金标准:同查询集分别跑暴力基线与目标 ANN,计算 TopK 重合度 recall@k,并在版本升级、参数调整、数据漂移后回归。
概念解释
- 金标准:暴力扫描结果作为真实近邻参照。
- 指标口径:ANN TopK 与金标准 TopK 重合比例。
- 回归场景:换索引、调参、量化切换、模型分布变化后复测。
原理流程
采样查询集 → 暴力生成金标准 → ANN 检索 → 算 recall@k → 对比基线 → 记录结论
代码 / 命令
# recall@k = |ANN_topK ∩ gold_topK| / k
# 同时统计排序差异:命中集合相同但次序不同也影响下游
常见误区
- 误区:召回高就说明索引没问题。正解:还要结合 P99、内存与下游相关性。
- 误区:上线前测一次即可。正解:数据增长漂移后召回会变,需定期回归。
追问
- 问:召回按哪个 K 评估?答:按线上实际 topK,必要时同时看 recall@10/recall@50。
- 问:标注集规模多大合适?答:覆盖典型查询与边界 case,数量以稳定统计方差为准。
05.6.1.2-037 线上召回下降的排查顺序是什么?
频率 ★★★★★ | 难度 高级
一句话结论
按「数据分布与删除碎片 → 查询参数 → 索引状态与构建进度 → 量化误差 → 过滤条件」逐层排查,先确认问题在数据侧还是索引侧,再动参数。
概念解释
- 数据侧:新增向量分布漂移、删除标记积累、段合并状态。
- 参数侧:nprobe/ef 被改小、topK 与候选配置变化。
- 索引侧:段未索引、重建未完成、量化配置变更。
原理流程
抽样对比基线 recall → 查段与删除占比 → 核对查询参数 → 查索引状态 → 检查量化/rerank → 检查 expr
代码 / 命令
# 记录:时间点、数据集版本、索引类型与参数、查询参数、过滤条件、召回变化
常见误区
- 误区:召回下降第一反应调大 ef/nprobe。正解:参数是最后手段,先排除数据与索引状态。
- 误区:只看错误率不看召回。正解:召回下降通常不报错,需主动抽样评估。
追问
- 问:删除标记多会降低召回吗?答:墓碑占比高使有效候选密度下降,碎片严重需 compaction 或重建。
- 问:怎么确认是量化误差?答:同数据集对比高精度/暴力基线,定位误差集中区间。
05.6.1.2-038 高基数过滤下索引与过滤如何协同?
频率 ★★★★☆ | 难度 高级
一句话结论
先判断过滤选择率:高选择率条件应在 ANN 前缩小子集,低选择率下要扩大 ANN 候选再补位;Milvus 过滤与 ANN 的执行顺序需结合版本实现验证,不能假设永远预过滤。
概念解释
- 选择率:满足条件向量占全量比例。
- 执行路径:先过滤后检索,或先检索后过滤,不同实现与版本行为不同。
- 候选补位:后过滤丢弃候选,需扩大召回量才能凑够 TopK。
原理流程
评估 expr 选择率 → 确认执行顺序 → 高选择率子集内 ANN;低选择率扩候选后过滤补位
代码 / 命令
# 待确认:当前版本过滤与 ANN 执行策略、是否支持预过滤下推
# 验证:官方过滤检索章节,实例对比不同选择率下扫描量与延迟
常见误区
- 误区:带过滤就一定走预过滤。正解:执行顺序取决于实现与选择率,需实测。
- 误区:过滤字段建不建标量索引无所谓。正解:高基数字段无索引会成扫描瓶颈。
追问
- 问:过滤后候选不足 K 条怎么办?答:放宽条件或扩大 ANN 候选,而不是硬凑结果。
- 问:多条件表达式怎么排?答:优先高选择率字段,减少后续扫描量。
05.6.1.2-039 量化索引在缺少重打分时的精度边界在哪?
频率 ★★★★☆ | 难度 基础
一句话结论
无重打分时量化距离只能粗排粒度排序,边界相似向量容易错排;精度边界必须标注集实测,业务对排序敏感时不应裸用量化结果。
概念解释
- 误差区间:量化在距离相近向量间区分度最低。
- 影响表现:TopK 内部次序错乱、边界近邻被挤出。
- 适用判断:粗召回可接受;进入 LLM 上下文或推荐排序风险高。
原理流程
量化粗排 → 无 rerank → 直接输出 TopK
标注集评估:错排率、边界位置召回、下游相关性
代码 / 命令
# 评估:recall@k、TopK 内排序重合度、下游 bad case 抽样
常见误区
- 误区:量化索引召回达标就可不重排。正解:集合命中与内部排序是两个指标。
- 误区:重打分能救回未进候选的近邻。正解:rerank 只处理候选集内部。
追问
- 问:成本受限无法保留原始向量怎么办?答:提高量化精度档位或换压缩比更低索引族,再压测。
- 问:怎么量化边界误差?答:对比金标准相邻位次向量在 ANN 结果中的位置偏移。
05.6.1.2-040 动态插入频繁的集合选图索引还是 IVF,索引膨胀怎么监控?
频率 ★★★☆☆ | 难度 高级
一句话结论
持续增量写入优先增量插入友好的图索引;频繁删除更新会产生碎片与墓碑,两种索引都会膨胀,需监控删除占比、段数量与召回衰减,定期 compaction 或重建。
概念解释
- 插入友好:图索引在线插入不需重建全量结构。
- 碎片来源:删除标记、碎片段、图节点失效连接。
- 膨胀表现:内存上升、召回下降、扫描量增大。
原理流程
持续 upsert/delete → 墓碑碎片积累 → 监控删除占比/段数/召回 → 达阈值 compaction 或重建
代码 / 命令
# 观察:删除标记占比、段数量趋势、索引构建后召回基线、Query Node 内存曲线
常见误区
- 误区:选了图索引就一劳永逸。正解:高更新场景同样需要维护周期。
- 误区:碎片只影响内存不影响召回。正解:失效节点干扰导航与候选密度。
追问
- 问:什么信号提示需要重建?答:删除占比高、召回连续下降、compaction 后碎片仍增长。
- 问:IVF 增量数据怎么归属?答:按最近簇分配,分布漂移后划分质量下降,需重建重训。
05.6.1.2-041 多向量字段(dense + sparse)各自索引怎么配?
频率 ★★★☆☆ | 难度 进阶
一句话结论
同集合内 dense 字段配稠密 ANN 索引、sparse 字段配稀疏检索索引,两路独立召回后在混合检索请求中融合;度量与参数按各字段分别配置。
概念解释
- 字段分离:稠密负责语义相似,稀疏负责关键词权重匹配。
- 索引分离:各自建索引、各自查询参数。
- 融合层:多路召回结果由 ranker 统一排序。
原理流程
schema 声明两向量字段 → 分别建索引 → 检索分路 AnnSearchRequest → Ranker 融合 → TopK
代码 / 命令
# 待确认:当前版本 sparse 字段支持的索引类型与检索接口
# 验证:官方混合检索与稀疏向量章节
常见误区
- 误区:dense 和 sparse 用同一套索引参数。正解:两类检索机制不同,参数体系独立。
- 误区:混合检索自动平衡两路。正解:候选数量与 ranker 策略需显式配置。
追问
- 问:两路候选数怎么定?答:按各自目标召回放大,融合后再截最终 topK。
- 问:sparse 字段怎么生成?答:由 BM25/稀疏编码函数产出,内置能力以版本文档为准。
05.6.1.2-042 索引构建任务积压怎么处理?
频率 ★★★☆☆ | 难度 高级
一句话结论
先区分积压原因:CPU/并发不足、段过碎、参数过大还是 IO 受限;对症扩 Index Node、合并小段、回调参数或查对象存储带宽,而非无限加重试。
概念解释
- 任务视角:待构建任务数、单任务耗时、失败重试次数。
- 资源视角:Index Node CPU、内存、磁盘与对象存储 IO。
- 数据视角:段数量与大小分布、删除碎片。
原理流程
看积压曲线 → 拆解单任务耗时 → 定位 CPU/IO/参数/碎片 → 处置 → 观察积压消化
代码 / 命令
# 处置顺序:合并小段 → 控制并发与参数 → 扩 Index Node → 检查存储带宽
常见误区
- 误区:积压就加节点。正解:段过碎时并行度上不去,加节点收益有限。
- 误区:构建失败反复重试。正解:先定位失败原因,重试重复消耗资源。
追问
- 问:积压期间未索引段多会怎样?答:查询退化为暴力兜底,延迟与内存压力上升。
- 问:怎么设积压告警?答:按任务等待时长与未索引段占比设阈值。
05.6.1.2-043 冷热分区分别用不同索引类型可行吗?
频率 ★★★★☆ | 难度 基础
一句话结论
可行:热分区用内存型索引配更多副本,冷分区用磁盘或压缩索引降成本;查询通过分区裁剪限定范围,避免冷分区被全量扫描。
概念解释
- 分层依据:访问频次、时间新旧、业务 SLA。
- 实现方式:按时间或租户分区,各分区独立加载策略与索引类型。
- 路由要求:查询必须带分区条件,否则扫描全部分区。
原理流程
按时间/租户分区 → 热分区 HNSW + 高副本 → 冷分区磁盘/量化索引 → 查询带分区裁剪
代码 / 命令
# 要点:分区命名规范、冷热迁移流程、查询 expr 强制带分区字段
常见误区
- 误区:冷热分层只在存储层做。正解:索引类型与副本数也要随冷热调整。
- 误区:冷分区放着不用管。正解:仍需评估其加载与查询对共享集群的影响。
追问
- 问:冷热边界怎么定?答:按访问频次统计与 SLA 分级,定期复盘调整。
- 问:冷数据迁移怎么做?答:按分区导出重建到冷集合/冷分区,保留映射关系。
05.6.1.2-044 索引文件在对象存储中的形态与加载到 Query Node 的过程?
频率 ★★★☆☆ | 难度 进阶
一句话结论
索引构建完成后随段落在对象存储;Query Node 被分配段时按元数据路径拉取索引与向量文件到本地,加载完成后才参与检索。
概念解释
- 文件形态:段数据文件 + 索引文件,路径登记在元数据中。
- 加载过程:拉取本地缓存 → 建立内存索引结构 → 注册为可服务段。
- 冷启动:新节点或新段首次加载受对象存储带宽与本地磁盘影响。
原理流程
Index Node 写索引文件 → 元数据登记路径 → Query Node 分配段 → 拉取文件 → 加载索引 → 可检索
代码 / 命令
# 观察:段加载耗时、对象存储读带宽、本地缓存命中率、加载失败错误
常见误区
- 误区:索引文件在对象存储里就能直接查。正解:必须加载到 Query Node 才可服务。
- 误区:加载只在首次查询触发。正解:段分配后即进入加载流程,可预热。
追问
- 问:冷段加载慢怎么优化?答:提升带宽、本地缓存预热、控制段大小。
- 问:对象存储故障对索引有何影响?答:新段无法加载,已加载段查询不受直接影响,但重建恢复受阻。
05.6.1.2-045 二进制向量与稀疏向量分别能用哪些索引?
频率 ★★★☆☆ | 难度 进阶
一句话结论
索引族与向量类型有兼容边界:二值向量走专用距离索引,稀疏向量走稀疏检索通道;具体可用类型以目标版本文档与实例试建为准,不能套用稠密 ANN 清单。
概念解释
- 二值向量:编码紧凑,距离基于位运算,索引类型受限。
- 稀疏向量:非零权重项稀疏分布,检索机制与稠密图/聚类不同。
- 版本边界:稀疏检索与内置分词能力随版本演进,需逐版本核对。
原理流程
确认向量类型 → 查兼容矩阵 → 选可用索引 → 试建并 describe → 压测召回
代码 / 命令
# 待确认:目标版本 BinaryVector / SparseFloatVector 的索引与度量支持
# 验证:官方向量类型章节,实例 create_index 试建读报错与返回
常见误区
- 误区:HNSW/IVF 清单对所有类型通用。正解:类型不兼容时建索引失败。
- 误区:稀疏向量就是低维浮点向量。正解:稀疏结构与距离语义不同。
追问
- 问:二值向量适合什么场景?答:存储敏感、可用位运算加速的编码类检索,精度需实测。
- 问:稀疏与稠密能否互相替代?答:不能,二者互补用于混合检索。
05.6.1.2-046 维度极高或极低时索引选择怎么调整?
频率 ★★☆☆☆ | 难度 高级
一句话结论
高维距离计算成本大、ANN 难度高,优先量化或降维后再选索引;低维区分度有限,暴力或轻量索引可能就够;维度变化要重新压测,不能沿用高维参数。
概念解释
- 高维:单次距离计算随维度增长,量化与降维收益明显。
- 低维:向量空间稠密,ANN 优势有限,索引结构开销可能大于收益。
- 参数联动:维度影响 PQ 子段划分、簇内样本量与内存估算。
原理流程
统计维度与分布 → 高维:量化/降维 → 选索引 → 低维:评估暴力基线 → 压测定参
代码 / 命令
# 注意:换 Embedding 模型导致维度变化时,旧索引参数不可沿用,需重建重测
常见误区
- 误区:维度降低后直接截断历史向量。正解:截断破坏语义,应训练降维或换模型全量重建。
- 误区:低维也必须上图索引。正解:低维暴力扫描成本可能更低。
追问
- 问:高维召回差先降维还是调索引?答:先看模型与切块质量,再谈降维与索引参数。
- 问:维度变了历史数据怎么办?答:新旧向量不可混用,需全量重建或双写迁移。
05.6.1.2-047 版本升级后旧索引兼容与重建触发条件是什么?
频率 ★★★☆☆ | 难度 高级
一句话结论
升级前核对变更说明中索引格式兼容与参数改名项;格式不兼容或新特性需要新结构时按指引重建,升级后先跑召回基线再放开流量。
概念解释
- 兼容风险:索引文件格式、参数名、默认值在版本间可能变化。
- 触发重建:格式不兼容、索引实现更新、需使用新索引能力。
- 验证:升级后对比召回与延迟基线,确认无需重建的索引行为一致。
原理流程
读变更说明 → 预发升级 → 回归构建/检索/过滤 → 核对是否需重建 → 灰度 → 全量
代码 / 命令
# 上线前检查:索引清单、类型与版本兼容矩阵、重建窗口与回滚方案
常见误区
- 误区:小版本升级索引自动兼容。正解:实现与格式可能调整,需逐项核对。
- 误区:升级后不重建也能用新特性。正解:部分新能力需重建结构才生效。
追问
- 问:升级后召回异常先查什么?答:先确认索引是否需重建、参数默认值是否变化。
- 问:重建窗口怎么安排?答:错峰执行预留峰值,保留旧版本回滚路径。
05.6.1.2-048 给你一个千万级、高在线 QPS 的 RAG 集合,怎么完成从规模指标到索引参数的选型?
频率 ★★★★★ | 难度 高级
一句话结论
先量化规模与内存模型,按 SLA 选索引族与度量,用真实数据压测定参数,配套量化/重打分、冷热分层与重建周期,并给出可核对的指标清单。
概念解释
- 输入:chunk 数、维度、日增量、QPS 与 P99 目标、过滤维度、更新频率。
- 决策链:内存模型 → 索引族 → 度量 → 构建/查询参数 → 量化 rerank → 分层维护。
原理流程
1) 估算向量数、维度与内存 2) 判定内存可驻留性与冷热分层
3) 候选索引压测 recall/P99/内存 4) 定度量、量化、rerank 与参数档位
5) 定重建周期、监控指标与扩容阈值
代码 / 命令
# 记录:类型、metric、nlist/M/efConstruction、nprobe/ef、topK、recall@k、P99、内存
常见误区
- 误区:直接指定某索引类型并给固定参数。正解:参数必须来自自有数据压测。
- 误区:方案只覆盖索引不覆盖维护。正解:碎片、重建、扩容与召回回归是生产方案一部分。
追问
- 问:QPS 峰值集中少数时段怎么办?答:按峰值配副本或弹性扩容,普通时段降配,配合限流降级。
- 问:如何验证选型可靠?答:真实分布数据集加标注集压测,小规模导入回填内存模型,灰度对比新旧索引。
参考来源
- Milvus 官方文档(索引类型):https://milvus.io/docs/index-overview.md
- Milvus 向量索引与参数说明:https://milvus.io/docs/index.md
- Milvus 标量过滤与检索:https://milvus.io/docs/filter-and-search.md
- Milvus 混合检索:https://milvus.io/docs/multi-vector-search.md
- HNSW 论文与结构参考:https://arxiv.org/abs/1603.09320