罗罗编程学习记录
本页内容 展开查看

05.6.4.2 索引、HNSW 与量化参数

所属:全栈开发面试题库 / 05 数据库与存储 / 05.6 向量数据库与语义检索 / 05.6.4 Weaviate

覆盖范围

  • 向量索引类型:hnsw / flat / dynamic / hfresh 的选型边界
  • HNSW 参数:efConstruction、maxConnections、ef、dynamicEfMin/Max/Factor 的默认值与可变性
  • 量化压缩:PQ、BQ、SQ、RQ 的配置项、可用性矩阵与召回权衡
  • 异步索引、AutoPQ、索引重建与 reindex 流程
  • 过滤策略、倒排内存、索引内存估算与构建时间
  • 召回评估方法与参数组合实战建议

参数主线

集合规模 → 选索引类型(hnsw/flat/dynamic/hfresh)
          → 建图参数(efConstruction、maxConnections,建后不可变)
          → 查询参数(ef / 动态 ef 夹取边界)
          → 量化压缩(PQ/BQ/SQ/RQ)+ 重打分兜底
          → 召回与延迟实测 → 回填参数组合

高频题速览

编号 题目 难度 频率
05.6.4.2-001 向量索引与倒排索引的分工 基础 ★★★★★
05.6.4.2-006 ef 与动态 ef 的查询期作用 基础 ★★★★★
05.6.4.2-015 动态 ef 的计算与夹取规则 进阶 ★★★★★
05.6.4.2-025 各量化在索引类型上的可用性矩阵 进阶 ★★★★☆
05.6.4.2-026 量化后为什么需要重打分 进阶 ★★★★☆
05.6.4.2-032 过滤策略 filterStrategy 选型 进阶 ★★★★☆
05.6.4.2-035 索引内存估算模型 进阶 ★★★★★
05.6.4.2-042 在 Weaviate 上评估召回与延迟 高级 ★★★★☆
05.6.4.2-045 BQ 粗筛 + 原始向量重打分组合 高级 ★★★★☆
05.6.4.2-048 百万级向量索引与量化参数建议 高级 ★★★★★

05.6.4.2-001 Weaviate 的两类索引如何分工?

频率 ★★★★★ | 难度 基础

一句话结论

向量索引负责近邻语义检索,倒排索引负责关键词 BM25 与标量过滤;hybrid 查询在两路结果之间合并排序,二者缺一不可。

概念解释

  • 向量索引:存向量与近邻结构,按距离返回语义候选。
  • 倒排索引:text 字段分词建倒排支撑 BM25,标量字段建值索引支撑 where 过滤。
  • 协作:过滤可先在倒排侧圈定候选,再进入向量检索,反之亦然。

原理流程

写入 → 同时构建向量索引与倒排/标量索引
检索 → 向量路径走 ANN,关键词/过滤路径走倒排 → 合并排序

代码 / 命令

# 排障先判断:慢在语义近邻还是关键词/过滤,两条路径分别核对索引状态

常见误区

  • 误区:有向量索引就自动支持标量过滤。正解:过滤依赖倒排/标量索引,未建索引会退化为扫描。
  • 误区:倒排索引只服务 BM25。正解:标量等值、范围、包含过滤也走倒排。

追问

  • 问:新增标量字段要重建向量索引吗?答:补的是倒排/标量索引,向量结构不受影响,但回填期需观察压力。
  • 问:哪类字段不该进倒排?答:超高基数自由文本与低信息量字段,避免索引膨胀。

05.6.4.2-002 Weaviate 支持哪几种向量索引类型?

频率 ★★★★☆ | 难度 基础

一句话结论

向量索引类型包括 hnsw(默认)、flat、dynamic 与 hfresh;分别面向通用大规模、小集合、规模过渡期与磁盘化大内存场景。

概念解释

  • hnsw:多层图结构,内存型,适合大多数中等以上规模集合。
  • flat:暴力扫描,适合对象数少的索引单元,如多租户小租户。
  • dynamic:先用 flat,对象数超过阈值后自动切换 hnsw。
  • hfresh:基于簇中心的磁盘型索引,中心用 HNSW,大部分数据落磁盘。

原理流程

评估单索引对象数与内存约束 → 选类型
小规模/多租户 → flat;过渡期 → dynamic;磁盘化 → hfresh;其余 → hnsw

代码 / 命令

# 配置字段:vectorIndexType,取值 hnsw/flat/dynamic/hfresh
# 待确认:当前版本各类型成熟度与限制,以官方向量索引配置文档为准

常见误区

  • 误区:所有集合都用默认 hnsw 最优。正解:小集合 flat 更省构建开销,超大规模可评估磁盘型索引。
  • 误区:dynamic 切换无需代价。正解:达到阈值后需构建 hnsw,存在一次索引重建过程。

追问

  • 问:hfresh 什么时候考虑?答:内存不足以驻留全量向量、可接受更高延迟时,结合其量化约束评估。
  • 问:索引类型能事后改吗?答:属于索引结构变更,通常需新建集合迁移数据。

05.6.4.2-003 HNSW 索引适用什么数据规模?

频率 ★★★★☆ | 难度 基础

一句话结论

HNSW 是内存型图索引,适合对象数从中等到较大、要求低延迟近邻检索的集合;规模小到暴力扫描即可时用 flat 更省构建成本。

概念解释

  • 优势:查询延迟低、召回稳定,随规模增长扩展性好。
  • 成本:图结构与向量驻留内存,构建期 CPU 与内存占用高。
  • 边界:对象数很少时建图收益有限,flat 扫描更直接。

原理流程

估算对象数与维度 → 判断内存可驻留 → 选 hnsw
内存吃紧 → 量化压缩或评估磁盘型索引;小规模 → flat

代码 / 命令

# 选型核对:单索引对象数、维度、可用内存、延迟目标、是否多租户小分片

常见误区

  • 误区:HNSW 一定比 flat 快。正解:极小集合暴力扫描更快,图遍历反而有固定开销。
  • 误区:HNSW 不需要考虑内存。正解:图结构与向量都驻留内存,是主要资源约束。

追问

  • 问:HNSW 召回随规模下降吗?答:图近似检索在超大规模下需配合 ef 调优与量化验证。
  • 问:多租户集合为什么常不用 HNSW?答:每个租户分片对象数小,flat 更匹配。

05.6.4.2-004 flat 索引的适用场景是什么?

频率 ★★★☆☆ | 难度 基础

一句话结论

flat 对索引单元内对象做暴力距离扫描,适合对象数少的集合,典型是多租户场景下的单个小租户分片。

概念解释

  • 特点:无图构建开销,查询逐条算距离,结果精确。
  • 适用:单分片对象数低、构建速度优先、延迟不敏感的小单元。
  • 限制:对象数增大后扫描成本线性上升,不适合大集合。

原理流程

索引单元对象数少 → flat 直接遍历算距离 → 返回排序结果
对象数增长 → 评估切 hnsw 或 dynamic

代码 / 命令

# flat 相关参数:distance、vectorCacheMaxObjects、bq 压缩配置
# 待确认:flat 可用量化项,以官方索引配置参考为准

常见误区

  • 误区:flat 就是“没建索引”。正解:它是暴力扫描型索引,距离计算与过滤仍在索引层完成。
  • 误区:flat 不能压缩。正解:部分量化算法可用于 flat,具体看可用性矩阵。

追问

  • 问:flat 召回是精确的吗?答:暴力扫描在未量化前提下给出全量距离排序。
  • 问:小集合用 flat 要调什么参数?答:主要确认距离度量与缓存上限,无需图连接参数。

05.6.4.2-005 dynamic 索引的阈值切换机制是怎样的?

频率 ★★★☆☆ | 难度 基础

一句话结论

dynamic 索引初始按 flat 工作,当集合或租户对象数超过配置阈值后自动转为 hnsw,兼顾小阶段构建成本与大阶段检索性能。

概念解释

  • 触发:对象数达到 threshold 配置后切换。
  • 过程:切换时构建 HNSW 图,存在一次索引构建开销。
  • 适用:规模增长不确定、希望起步轻量、长大后自动提速的集合。

原理流程

建集合选 dynamic + threshold → 少量对象走 flat
对象数超阈值 → 构建 hnsw → 后续查询走图索引

代码 / 命令

# 待确认:dynamic 阈值参数名与默认值、切换行为细节,以官方索引教程与配置参考为准

常见误区

  • 误区:dynamic 全程无构建成本。正解:只是把建图推迟到阈值之后,切换时仍要付出。
  • 误区:阈值设得越高越好。正解:阈值过高会让大对象长期停留在暴力扫描阶段。

追问

  • 问:切换期间查询受影响吗?答:切换构建阶段需观察延迟与资源,建议低峰或接受短暂抖动。
  • 问:dynamic 支持哪些量化?答:按可用性矩阵核对,待确认以官方压缩文档为准。

05.6.4.2-006 ef 参数在查询期起什么作用?

频率 ★★★★★ | 难度 基础

一句话结论

ef 是 HNSW 查询时动态候选列表大小:越大召回越高但越慢;Weaviate 中 ef 可设为 -1 启用动态 ef,由查询 limit 自动推导。

概念解释

  • 权衡:ef 控制图遍历考察的候选数量,是召回与延迟的核心旋钮。
  • 动态模式:ef=-1 时按 limit 与 dynamicEf 参数自动计算候选列表。
  • 可变性:ef 属查询期可变参数,建集合后可调整。

原理流程

查询带 limit → 动态 ef 推导候选列表(或用固定 ef)→ 图遍历考察候选 → 排序返回

代码 / 命令

# 默认 ef = -1(动态);固定值越大候选越多
# 待确认:当前版本默认值与取值范围,以官方向量索引配置参考为准

常见误区

  • 误区:ef 越大越好。正解:超过一定水平召回边际递减,延迟持续上升。
  • 误区:ef 是建图参数。正解:efConstruction 才是建图参数,ef 作用于查询期。

追问

  • 问:ef 与 limit 是什么关系?答:动态 ef 以 limit 为锚点推导;固定 ef 独立于 limit。
  • 问:召回不足先调什么?答:先提高 ef 观察召回与 P99,再考虑量化或模型侧问题。

05.6.4.2-007 efConstruction 与 maxConnections 为什么建后不可变?

频率 ★★★★☆ | 难度 基础

一句话结论

efConstruction 控制建图时考察的候选数,maxConnections 控制图节点连接上限,二者决定图结构本身,集合创建后不可修改,变更需重建索引。

概念解释

  • efConstruction:建图阶段权衡构建速度与图质量,值高则导入慢、后续可用更低 ef。
  • maxConnections:每层最大连接数,零层连接数可达其两倍。
  • 不可变原因:图结构已按参数生成,原地改参数无法回溯重建历史邻接关系。

原理流程

建集合 → 按 efConstruction/maxConnections 建图 → 历史图结构固定
需调整 → 新建集合迁移数据,不能原地改这两项

代码 / 命令

# 默认值(以官方配置参考为准):efConstruction 128,maxConnections 32
# 二者均标记为建后不可变;上线前用代表性数据验证

常见误区

  • 误区:建完集合还能调连接数。正解:这两项不可变,调参请求不会重建历史图。
  • 误区:maxConnections 越大图越好。正解:连接数增大内存与遍历成本,需按规模权衡。

追问

  • 问:零层连接数有什么特殊规则?答:零层可持有 2 倍 maxConnections 的连接,具体以官方文档为准。
  • 问:建图参数怎么定?答:用真实分布数据测导入速度、召回与内存,避免照搬默认值。

05.6.4.2-008 距离度量为什么创建后不能改?

频率 ★★★☆☆ | 难度 基础

一句话结论

距离度量与向量空间绑定,索引按度量计算距离;集合创建后度量不可修改,换度量必须新建集合并迁移全部向量。

概念解释

  • 常见度量:余弦、点积、欧氏距离等,对向量归一化要求不同。
  • 绑定关系:历史向量与图结构都按原度量组织,无法原地换算。
  • 选择依据:模型输出特性与业务相似度定义。

原理流程

建模阶段选定度量 → 建集合 → 写入检索
需换度量 → 新集合 + 新向量迁移 → 对比召回 → 切流

代码 / 命令

# 配置字段:distance,建后不可变;默认值与可选清单以官方文档为准

常见误区

  • 误区:余弦和欧氏可事后互换。正解:数值含义与前提不同,换度量结果不可比。
  • 误区:改度量配置旧数据自动适配。正解:索引与向量都需重建。

追问

  • 问:点积度量对归一化有什么要求?答:未归一化时点积受向量模长影响,需按模型与度量要求处理。
  • 问:度量选错的信号?答:排序与人工判断背离、距离分布异常。

05.6.4.2-009 Weaviate 提供哪几种向量量化?

频率 ★★★★☆ | 难度 基础

一句话结论

量化包括 PQ(乘积量化)、BQ(二值量化)、SQ(标量量化)与 RQ(旋转量化),分别以不同方式压缩向量字节数,换取内存下降与召回折中。

概念解释

  • PQ:分段 + 码本聚类,压缩幅度大,需训练。
  • BQ:每维压到 1 bit,高维向量收益明显。
  • SQ:每维 32 bit 压到 8 bit,按维度训练分桶。
  • RQ:先旋转再按比特宽度量化,无需训练,支持 8/4/1 bit。

原理流程

评估内存瓶颈 → 选量化算法 → 配压缩参数 → 实测召回与延迟 → 决定是否加重打分

代码 / 命令

# 待确认:各量化在当前版本的配置入口与参数名,以官方压缩文档为准
# 选型先看可用性矩阵:不同索引类型支持的量化不同

常见误区

  • 误区:量化就是统一降精度。正解:四种算法训练方式、压缩比与召回损失差异很大。
  • 误区:量化后不用再验证召回。正解:压缩必然带来近似,必须用查询集实测。

追问

  • 问:哪种量化最省内存?答:比特宽度越低越省,但召回损失越大,需重打分兜底。
  • 问:量化会改变向量维度吗?答:改变的是每维存储精度与编码方式,维度语义不变。

05.6.4.2-010 BQ(二值量化)的原理与适用条件是什么?

频率 ★★★☆☆ | 难度 基础

一句话结论

BQ 把每个维度压成 1 bit(按符号或阈值二值化),压缩比极高,在高维向量上表现较好,低维或分布特殊时召回损失需重点验证。

概念解释

  • 编码:每维 1 bit,向量体积从 float32 大幅下降。
  • 适用:高维 Embedding,二值化后方向信息仍可区分近邻。
  • 代价:精度粗,通常需要原始向量或更宽量化做重打分。

原理流程

向量逐维二值化 → 存 bit 编码 → 粗筛候选 → 必要时用未压缩向量重打分排序

代码 / 命令

# BQ 配置项待确认,以官方 BQ 配置参数文档为准
# 检查:BQ 是否与所选索引类型兼容(见可用性矩阵)

常见误区

  • 误区:BQ 召回一定最差。正解:高维场景下二值方向常保持可区分性,需实测而非臆断。
  • 误区:BQ 训练成本高。正解:BQ 编码方式简单,与 PQ 的码本训练不同。

追问

  • 问:BQ 结果怎么精排?答:召回候选后用原始向量或 SQ/RQ 向量计算精确距离。
  • 问:BQ 适合低维向量吗?答:低维二值化后区分度有限,需用查询集对比召回。

05.6.4.2-011 SQ(标量量化)的原理与训练特点是什么?

频率 ★★★☆☆ | 难度 基础

一句话结论

SQ 把每维从 32 bit 浮点压到 8 bit 整数,按维度训练分桶以保留数据分布特征,压缩比中等、实现相对直接。

概念解释

  • 编码:逐维量化到整数区间,保留每维的相对大小。
  • 训练:按维度统计分布生成分桶,属于轻量训练。
  • 定位:压缩幅度介于不压缩与 PQ/BQ 之间,召回损失通常较温和。

原理流程

训练集统计各维分布 → 生成分桶 → 向量逐维量化为 8 bit → 存储与距离近似计算

代码 / 命令

# SQ 配置项与训练参数待确认,以官方标量量化文档为准

常见误区

  • 误区:SQ 和 PQ 是一回事。正解:SQ 逐维独立量化,PQ 先分段再聚类编码,结构不同。
  • 误区:SQ 不需要样本数据。正解:分桶依赖训练集分布,样本偏差会影响量化质量。

追问

  • 问:SQ 压缩比大概多少?答:32 bit 到 8 bit 约 4 倍体积下降,实际以索引结构开销为准。
  • 问:SQ 召回不够怎么办?答:提高查询 ef、加原始向量重打分,或评估更宽比特量化。

05.6.4.2-012 PQ(乘积量化)的两段式压缩是什么?

频率 ★★★★☆ | 难度 基础

一句话结论

PQ 先把向量切成若干 segments 子空间,再对每个子空间训练码本(centroids),用最近 centroid 编号编码,从而把高维向量压成少量字节。

概念解释

  • 分段:维度均分到 segments 个子空间,段数影响内存与召回。
  • 码本:每个子空间聚类出 centroids,默认数量上限 256。
  • 编码:每段存一个 centroid 编号,整体体积远小于 float32 原始向量。

原理流程

向量按 segments 切段 → 训练集拟合各段码本 → 每段映射最近 centroid → 存编号编码
查询:PQ 近似距离粗筛 → 重打分精排

代码 / 命令

# PQ 关键参数:segments、centroids、trainingLimit、encoder
# 待确认:当前版本参数默认值,以官方 PQ 配置文档为准

常见误区

  • 误区:PQ 不用训练就能压缩。正解:码本依赖训练集拟合,训练不足召回下降明显。
  • 误区:segments 随便设。正解:维度必须能被 segments 整除,段数还影响召回与内存平衡。

追问

  • 问:PQ 为什么常配重打分?答:编码距离是近似值,候选用原始向量精排可挽回召回。
  • 问:PQ 压缩比取决于什么?答:segments 数、centroids 比特宽度与码本开销。

05.6.4.2-013 vectorCacheMaxObjects 起什么作用?

频率 ★★★☆☆ | 难度 基础

一句话结论

vectorCacheMaxObjects 控制内存缓存中可容纳的对象向量上限,用于平衡缓存命中率与内存占用;超过上限后缓存行为按实现策略处理。

概念解释

  • 用途:把热点向量留在内存,减少回源与重算。
  • 权衡:上限高占内存多,上限低则缓存命中率下降。
  • 边界:缓存是性能优化,不影响数据持久化位置。

原理流程

查询命中缓存 → 直接取向量;未命中 → 加载并纳入缓存
缓存达上限 → 按策略淘汰 → 观察命中率与内存

代码 / 命令

# 默认值以官方配置参考为准(大数值上限);待确认当前版本取值与淘汰策略

常见误区

  • 误区:缓存上限设越大越好。正解:向量缓存挤占业务与图结构内存,需按总量规划。
  • 误区:缓存未命中等于数据丢失。正解:缓存只是副本,持久化数据仍在存储层。

追问

  • 问:怎么判断缓存是否有用?答:对比调整前后的查询延迟与回源次数。
  • 问:多租户场景缓存怎么分?答:按租户分片隔离缓存,大租户热点需单独评估。

05.6.4.2-014 倒排索引如何支撑文本与标量检索?

频率 ★★★☆☆ | 难度 基础

一句话结论

text 字段分词后建倒排表支撑 BM25 关键词匹配,标量字段按值建索引支撑等值、范围与包含过滤,是 where 与 hybrid 关键词路的基础。

概念解释

  • 全文倒排:词项到对象列表的映射,参与关键词打分。
  • 标量索引:按字段值组织,加速过滤定位。
  • 与向量索引互补:倒排负责缩小候选集,向量索引负责语义排序。

原理流程

写入 → 文本分词入倒排;标量值入过滤索引
查询 → where 条件走标量索引;关键词走全文倒排;向量走 ANN

代码 / 命令

# 设计:真实过滤/关键词字段才纳入索引,避免无意义膨胀

常见误区

  • 误区:所有字段自动建倒排。正解:应按字段用途与查询场景配置索引。
  • 误区:倒排只存文本词项。正解:标量过滤同样依赖倒排/值索引。

追问

  • 问:过滤字段建索引看什么?答:查询频率、选择性、取值基数与更新频率。
  • 问:BM25 召回差先查什么?答:字段类型是否 text、分词与大小写/停用词处理。

05.6.4.2-015 动态 ef 是怎么计算与夹取的?

频率 ★★★★★ | 难度 进阶

一句话结论

ef=-1 时动态 ef = 查询 limit × dynamicEfFactor,再被夹到 [dynamicEfMin, dynamicEfMax] 区间;limit 过大超过上限时,上限不再生效,ef 取 limit。

概念解释

  • 推导锚点:以查询 limit 为基准乘 factor 得到候选列表长度。
  • 下限保护:结果列表很小时 ef 不低于 dynamicEfMin,防止候选过短伤召回。
  • 上限保护:候选列表很大时 ef 不高于 dynamicEfMax,防止遍历过长拖慢查询。

原理流程

limit × dynamicEfFactor → 低于 Min 取 Min;高于 Max 取 Max;区间内取计算值
limit 高于 Max 时:ef = limit(Max 不再约束)

代码 / 命令

# 参数:dynamicEfMin(下限)、dynamicEfMax(上限)、dynamicEfFactor(乘数)
# 默认值以官方配置参考为准;仅在 ef = -1 时生效

常见误区

  • 误区:dynamicEfMax 永远封顶。正解:limit 超过上限后上限失效,ef 跟随 limit。
  • 误区:动态 ef 与固定 ef 可同时混用。正解:ef=-1 走动态,固定值走静态,二选一。

追问

  • 问:dynamicEfFactor 调大意味着什么?答:同等 limit 下候选列表更长,召回升、延迟升。
  • 问:小 limit 查询召回不足先调哪个?答:先看 dynamicEfMin 是否托底,再调 factor。

05.6.4.2-016 dynamicEfMin、dynamicEfMax、dynamicEfFactor 各自边界语义是什么?

频率 ★★★★☆ | 难度 进阶

一句话结论

Min 保护候选列表不过短,Max 保护候选列表不过长,Factor 是 limit 到候选列表的乘数;三者只在动态 ef(ef=-1)模式下起作用。

概念解释

  • Min:下限,保证即使 limit 很小也考察足够候选。
  • Max:上限,防止大 limit 查询遍历过多候选。
  • Factor:放大系数,决定候选列表相对 limit 的规模。
  • 可变性:三者均为查询期可变参数。

原理流程

候选长度 = clamp(limit × Factor, Min, Max)
Min 过低 → 小查询召回不稳;Max 过低 → 大查询被截断

代码 / 命令

# 调参顺序:先按 limit 分布定 Factor,再补 Min 托底、Max 限速
# 待确认:当前版本默认值,以官方索引配置参考为准

常见误区

  • 误区:Min/Max 对固定 ef 也生效。正解:仅动态 ef 模式读取这三个参数。
  • 误区:Factor 越大越好。正解:乘数过大让候选列表膨胀,延迟与内存上升。

追问

  • 问:大 limit 导出场景怎么配?答:提高 Max 或接受 ef=limit,同时评估扫描成本。
  • 问:参数改完要重建吗?答:动态 ef 参数可在线调整,无需重建图结构。

05.6.4.2-017 ef 调大的召回与延迟权衡如何判断?

频率 ★★★★☆ | 难度 进阶

一句话结论

提高 ef 增加图遍历候选数,召回上升但查询变慢;超过约 512 后召回改善边际递减,应在 recall 与 P99 曲线上找拐点,而不是无限调大。

概念解释

  • 收益:候选更全,近邻漏检减少。
  • 成本:遍历与距离计算增多,延迟与临时缓冲上升。
  • 拐点:高 ef 区间召回趋平,延迟线性增长。

原理流程

固定查询集 → 梯度调 ef → 记录 recall@k 与 P99 → 选召回达标且延迟可接受的最小 ef

代码 / 命令

# 对照指标:recall@k、P50/P99、候选数、超时比例
# 注意:ef 过高边际收益有限,官方亦指出较大 ef 后改善递减

常见误区

  • 误区:召回低就把 ef 拉满。正解:先定位是模型、过滤还是量化问题,ef 只是其中一环。
  • 误区:平均值就能判断权衡。正解:P99 与超时率才反映真实体验。

追问

  • 问:ef 受量化影响吗?答:量化改变距离精度,同样 ef 下召回表现不同,需合并调优。
  • 问:批量导出和在线查询用同一 ef 吗?答:导出可接受更高延迟用大 ef,在线链路应更保守。

05.6.4.2-018 提高 efConstruction 对导入和后续查询有什么影响?

频率 ★★★☆☆ | 难度 进阶

一句话结论

efConstruction 提高让建图更充分、图质量更高,后续可以用更低 ef 达到同等召回,但导入阶段更慢、构建期内存与 CPU 占用更高。

概念解释

  • 建图质量:高 efConstruction 生成的邻接关系更稠密合理。
  • 导入成本:构建期遍历候选增多,批量写入变慢。
  • 后续收益:好图支撑低 ef 查询,在线延迟更可控。

原理流程

大批量导入 → 高 efConstruction 慢建图 → 图质量提升
查询期 → 较低 ef 即可达标 → 在线延迟下降

代码 / 命令

# 权衡:导入窗口充裕选高值;导入吞吐紧张选默认或偏低值
# 该参数建后不可变,上线前定稳

常见误区

  • 误区:efConstruction 和 ef 调一个就行。正解:前者建图、后者查询,作用阶段不同。
  • 误区:高 efConstruction 一定在线更快。正解:它只改善图质量,在线速度仍受 ef 与数据规模影响。

追问

  • 问:导入慢怎么判断是 efConstruction 导致?答:对比不同建图参数下的单批导入耗时与 CPU。
  • 问:建图质量不足后期能补吗?答:不可变参数改不了,只能重建索引。

05.6.4.2-019 maxConnections 与零层连接规则是什么?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

maxConnections 规定上层每层节点的最大连接数,零层(最底层)可持有 2 倍该值的连接;连接数影响图稠密程度与内存占用。

概念解释

  • 分层:上层连接稀疏用于快速导航,零层连接稠密保证局部精度。
  • 内存:每个节点的邻接表随连接数增长。
  • 不可变:建图后该参数固定。

原理流程

建图 → 按层级分配连接额度 → 零层 2 倍连接 → 邻接表落内存
查询沿层级导航到零层局部精排

代码 / 命令

# 默认值与零层倍率规则以官方索引配置参考为准

常见误区

  • 误区:所有层级连接数相同。正解:零层连接额度是上层的两倍。
  • 误区:连接数越大召回一定越好。正解:过密连接增大内存与遍历成本,收益有限。

追问

  • 问:maxConnections 怎么定规模?答:结合对象数、维度与内存预算,用查询集验证召回。
  • 问:连接数过低会怎样?答:图局部连通性不足,近邻漏检上升。

05.6.4.2-020 flatSearchCutoff 是什么阈值?

频率 ★★★☆☆ | 难度 进阶

一句话结论

flatSearchCutoff 是触发暴力扫描路径的对象数阈值:索引单元对象数低于该值时可直接扫描,高于阈值走图索引,用于在小规模下绕开图遍历开销。

概念解释

  • 用途:在小数据量下选择更省的扫描路径。
  • 边界:阈值按对象数判断,与维度、内存共同影响实际耗时。
  • 配置:属向量索引配置,具体默认值与生效条件以官方文档为准。

原理流程

查询到来 → 统计索引单元对象数 → 低于 cutoff 走扫描 → 高于 cutoff 走图索引

代码 / 命令

# 待确认:flatSearchCutoff 默认值与适用索引类型,以官方配置参考为准

常见误区

  • 误区:cutoff 越小越好。正解:阈值过低会让中等规模集合也走扫描,延迟上升。
  • 误区:cutoff 决定量化是否启用。正解:它只控制扫描与图路径选择,与量化独立。

追问

  • 问:多租户小分片受 cutoff 影响吗?答:每个租户分片对象数独立判断,小分片更易命中扫描路径。
  • 问:怎么验证 cutoff 效果?答:对比阈值附近对象规模下的查询延迟。

05.6.4.2-021 PQ segments 怎么选择,有什么约束?

频率 ★★★★☆ | 难度 进阶

一句话结论

segments 把维度均分为若干子空间,维度必须能被 segments 整除;段数越多编码粒度越细但内存与码本开销上升,需在压缩比与召回间取舍。

概念解释

  • 整除约束:向量维度 ÷ segments 须为整数,否则配置不合法。
  • 权衡:段数少则压缩狠但损失大;段数多则更精细但编码更长。
  • 自动优化:较新版本可按维度自动优化段数,具体以官方文档为准。

原理流程

确定维度 D → 选可整除的 segments → 训练各段码本 → 编码入库
召回不足 → 调整段数或加重打分;内存不足 → 减小段数

代码 / 命令

# 待确认:当前版本 segments 默认值与自动优化行为,以官方 PQ 文档为准

常见误区

  • 误区:segments 随便填一个整数。正解:不满足整除会被校验拒绝。
  • 误区:段数越多召回越高且无代价。正解:段数增加编码体积与训练成本。

追问

  • 问:维度 768 常见段数怎么选?答:从可整除候选中按压缩目标与召回实测定,不背固定答案。
  • 问:PQ 段数改了要重建吗?答:量化配置变更需重建索引与编码。

05.6.4.2-022 PQ centroids 默认 256,为什么不建议改小?

频率 ★★★☆☆ | 难度 进阶

一句话结论

centroids 是每个子空间的聚类中心数量,默认 256、上限 256;改小并不会让向量更短,反而可能因码本过粗损失召回,官方一般不建议调整。

概念解释

  • 编码宽度:256 个中心对应 8 bit 编号。
  • 改小代价:码本粒度变粗,段内距离近似误差增大。
  • 体积真相:向量长度主要由 segments 数决定,centroids 减小不显著压缩编码。

原理流程

训练集在子空间聚类 → 生成 centroids → 向量映射最近中心
中心过少 → 区分度下降 → 召回降低

代码 / 命令

# 配置字段:centroids,默认与上限以官方 PQ 配置文档为准

常见误区

  • 误区:centroids 调小能省更多内存。正解:编码宽度不由中心数线性决定,省内存主要看 segments。
  • 误区:centroids 越少压缩越快越好。正解:粗码本伤召回,速度收益有限。

追问

  • 问:centroids 受什么限制?答:上限 256 是数据结构约束,具体以官方文档为准。
  • 问:召回不足优先改 centroids 吗?答:优先看 segments 划分、训练集与重打分,而非压中心数。

05.6.4.2-023 PQ trainingLimit 与 encoder 怎么选?

频率 ★★★☆☆ | 难度 进阶

一句话结论

trainingLimit 限定每个分片用于拟合码本的最大对象数,越大训练越充分但更慢更耗内存;encoder 选择聚类编码方式,默认 kmeans,另有 tile 编码器及其分布参数。

概念解释

  • 训练集上限:按分片取样拟合 centroids,样本不足会降低量化质量。
  • encoder:kmeans 为默认聚类方式;tile 编码器可配分布类型。
  • 成本:训练时间与内存随训练集规模上升。

原理流程

分片取不超过 trainingLimit 的样本 → encoder 拟合码本 → 全量编码
样本偏差大 → 召回下降;训练过慢 → 下调 limit 评估代价

代码 / 命令

# 参数:trainingLimit、encoder(kmeans/tile)、distribution(tile 用,log-normal/normal)
# 默认值以官方 PQ 配置文档为准

常见误区

  • 误区:训练集越大越好无需限制。正解:大训练集推高构建期内存与时间,需按规模权衡。
  • 误区:encoder 切换不影响编码结果。正解:不同编码器产生不同码本与近似距离。

追问

  • 问:训练集分布偏差怎么办?答:保证样本覆盖真实类别与分布,避免单一批次主导码本。
  • 问:PQ 训练失败怎么排查?答:检查样本量、维度整除与分片数据分布。

05.6.4.2-024 RQ(旋转量化)有什么特点?

频率 ★★★☆☆ | 难度 进阶

一句话结论

RQ 先对向量做伪随机旋转把信息均匀分散到各维,再按比特宽度量化到 8/4/1 bit,无需像 PQ 那样训练码本,是较新的压缩选项。

概念解释

  • 旋转:打散维度间信息分布,提升低比特量化质量。
  • 比特宽度:支持 8/4/1 bit,宽度越低越省、召回越依赖兜底。
  • 无训练:省去码本拟合步骤,构建更轻量。

原理流程

向量旋转 → 按选定比特宽度逐维量化 → 存储编码
粗筛后用未压缩或宽比特向量重打分精排

代码 / 命令

# 待确认:当前版本 RQ 可用比特宽度、配置入口与各索引类型支持情况,以官方压缩文档为准

常见误区

  • 误区:RQ 和 SQ 都是逐维量化,没有区别。正解:RQ 先旋转打散信息,低比特表现不同。
  • 误区:1 bit RQ 不需要重打分。正解:低比特压缩损失大,通常依赖精排兜底。

追问

  • 问:哪些索引支持 RQ?答:按官方可用性矩阵核对;磁盘型索引可能强制使用特定比特宽度。
  • 问:RQ 适合什么起步场景?答:希望免训练快速压缩、先用 8 bit 验证召回的集合。

05.6.4.2-025 各量化算法在索引类型上的可用性矩阵是怎样的?

频率 ★★★★☆ | 难度 进阶

一句话结论

不同索引类型支持的量化不同:选型时必须先核对矩阵,例如 PQ/SQ 不用于 flat 与 hfresh,BQ 不用于 hfresh,RQ 覆盖范围最广,具体以官方压缩文档为准。

概念解释

  • 矩阵维度:行是 PQ/BQ/SQ/RQ,列是 hnsw/flat/dynamic/hfresh。
  • 约束原因:索引数据结构决定能否接入某类编码。
  • 工程影响:先定索引类型,再挑可用量化,避免配置无效。

原理流程

选索引类型 → 查可用性矩阵 → 在可用量化中选算法 → 配参数 → 实测召回

代码 / 命令

# 待确认:当前版本完整矩阵,验证方式:官方 Compression 文档的算法-索引对照表

常见误区

  • 误区:所有量化都能配到任意索引。正解:存在明确兼容限制,配了可能不生效或报错。
  • 误区:hfresh 可自由选量化。正解:磁盘型索引对量化有强制或限制要求。

追问

  • 问:flat 小集合能用 PQ 吗?答:按矩阵 PQ 不支持 flat;小集合通常也不需要重压缩。
  • 问:矩阵随版本变吗?答:会,升级后需重新核对官方文档。

05.6.4.2-026 量化后为什么通常需要重打分(rescore)?

频率 ★★★★☆ | 难度 进阶

一句话结论

量化编码给出的是近似距离,粗筛候选可能与真实近邻有偏差;用未压缩向量或更宽量化对候选二次精排,可在保持压缩收益的同时挽回召回。

概念解释

  • 近似来源:编码损失使粗排距离排序不精确。
  • 重打分:取 top 候选回原始向量算精确距离,重新排序。
  • 代价:候选集需保留原始/宽比特向量,增加部分内存与计算。

原理流程

量化编码粗筛候选 → 取候选集 → 未压缩向量精算距离 → 重排返回
候选规模越小,重打分成本越低

代码 / 命令

# 设计:控制重打分候选数,在召回与延迟间平衡
# 待确认:当前版本重打分开关与候选参数,以官方压缩/索引文档为准

常见误区

  • 误区:开了量化就不需要原始向量。正解:重打分常需保留原始或宽比特向量做精排。
  • 误区:重打分能完全消除量化损失。正解:它挽回候选排序,粗筛漏掉的近邻无法找回。

追问

  • 问:多向量(如 ColBERT 类)怎么精排?答:初始检索用压缩向量,MaxSim 阶段用未压缩向量保证精度。
  • 问:重打分候选设多少?答:按召回目标与 P99 实测,候选过多会推高延迟。

05.6.4.2-027 压缩比怎么估算?

频率 ★★★☆☆ | 难度 进阶

一句话结论

以 float32(每维 4 字节)为基准:SQ 8 bit 约 1/4,BQ 1 bit 约 1/32,PQ 由 segments 数与 centroid 宽度决定,RQ 按比特宽度对应比例;索引图结构与码本另算开销。

概念解释

  • 基准:原始向量 N 维 × 4 字节。
  • 压缩后:每维字节数 × 维度(PQ 为段数 × 编码宽度)。
  • 额外开销:图邻接表、码本、缓存与标量索引不计入向量本体压缩比。

原理流程

原始体积 = N × 4 字节
压缩体积 = 编码字节 × 维度/段数 → 对比比值 → 加索引与副本放大

代码 / 命令

# 估算骨架:压缩后向量体积 × 副本数 + 图结构 + 倒排 + 缓存
# 实际占用以小规模真实数据导入后的读数为准

常见误区

  • 误区:压缩比等于内存下降比例。正解:图结构、倒排与副本仍占内存,总体下降小于向量压缩比。
  • 误区:PQ 压缩比只看 centroids。正解:主要由 segments 数与编码宽度决定。

追问

  • 问:怎么核对估算是否准确?答:导入真实分布数据,对比压缩前后实测内存。
  • 问:副本会放大压缩收益吗?答:每副本都持有压缩向量,压缩收益按副本数等比例体现。

05.6.4.2-028 量化对召回的影响如何验证?

频率 ★★★★☆ | 难度 进阶

一句话结论

用固定查询集对比不压缩与各量化方案的 recall@k、排序一致性和 P99,量化方案必须在召回达标前提下才上线,不能只看内存下降。

概念解释

  • 对照基线:原始 float32 向量的检索结果作为参照。
  • 指标:召回率、排名偏差、延迟、内存占用。
  • 场景拆分:按查询类型(语义、混合、过滤后)分别评估。

原理流程

准备标注查询集 → 跑基线 → 分别开量化方案 → 对比 recall@k/P99/内存 → 选定组合

代码 / 命令

# 记录:量化算法、比特宽度、segments/centroids、ef、重打分候选数
# 待确认:当前版本是否提供内置召回评估接口,以官方文档为准

常见误区

  • 误区:内存降了就是成功。正解:召回不达标,压缩没有业务价值。
  • 误区:用随机向量验证量化召回。正解:随机分布与真实 Embedding 分布差异大,结论无效。

追问

  • 问:量化召回损失怎么补救?答:加重打分、提高 ef、调整量化段数或比特宽度。
  • 问:召回对比要看 top 几?答:按业务返回 k 与重打分候选层分别看 recall。

05.6.4.2-029 异步索引(ASYNC_INDEXING)解决什么问题,怎么开启?

频率 ★★★★☆ | 难度 进阶

一句话结论

异步索引把索引构建从对象写入链路解耦,写入先落库、索引后台异步完成,从而提高导入吞吐;通过环境变量 ASYNC_INDEXING 开启。

概念解释

  • 解耦:写入不等图/量化构建完成即返回。
  • 收益:批量导入吞吐更高,构建压力后台消化。
  • 代价:新写入对象有一段索引滞后窗口,期间召回可能不全。

原理流程

开启 ASYNC_INDEXING → 写入先持久化 → 后台任务构建索引
查询侧观察索引滞后 → 待构建完成后召回齐全

代码 / 命令

# 环境变量:ASYNC_INDEXING=true(自建实例);托管实例按控制台开关配置
# 待确认:当前版本异步索引行为与限制,以官方文档为准

常见误区

  • 误区:异步索引写完立即可全量检索。正解:索引后台构建,存在滞后窗口。
  • 误区:异步索引降低最终内存。正解:它只解耦构建时机,不改变索引体积。

追问

  • 问:哪些功能依赖异步索引?答:例如 AutoPQ 在较新版本要求开启异步索引,具体以官方文档为准。
  • 问:导入后怎么确认索引完成?答:观察索引构建任务积压与对象可检索状态。

05.6.4.2-030 异步索引与导入吞吐、索引滞后是什么关系?

频率 ★★★☆☆ | 难度 高级

一句话结论

异步索引让写入吞吐与构建能力解耦:导入速率可超过构建速率,代价是索引队列堆积、新对象滞后可查;需监控积压量并控制导入节奏。

概念解释

  • 吞吐:写入链路不被构建阻塞,批量导入更快。
  • 滞后:未构建对象暂不参与近邻检索,可检索性延迟上升。
  • 堆积:构建跟不上写入时队列增长,滞后窗口扩大。

原理流程

写入速率 > 构建速率 → 索引队列堆积 → 滞后增加
观察积压与可检索延迟 → 调导入限速或扩构建能力

代码 / 命令

# 监控:待构建对象数、构建耗时、写入到可检索的时间差

常见误区

  • 误区:开了异步索引就无需控制导入速率。正解:构建能力有上限,积压过大会拉长滞后。
  • 误区:滞后只影响新对象。正解:批量回填期间整批对象都处于滞后窗口。

追问

  • 问:写后立即检索的业务适合异步吗?答:需评估滞后窗口,关键链路可能要等索引完成或用更强一致性策略。
  • 问:积压怎么缓解?答:降低批量速率、提升构建资源、避开与其他构建任务叠加。

05.6.4.2-031 AutoPQ 的触发条件与训练时机是什么?

频率 ★★★☆☆ | 难度 进阶

一句话结论

AutoPQ 根据集合规模自动触发 PQ 训练与压缩,省去手动判断时机;它依赖异步索引开启,训练在数据达到条件后由后台流程完成。

概念解释

  • 自动触发:按对象规模判断何时拟合 PQ 码本。
  • 依赖前提:需开启异步索引;较新版本提供该能力。
  • 边界:AutoPQ 只自动化 PQ 流程,召回与内存仍需实测验证。

原理流程

开启异步索引 + AutoPQ → 数据增长到触发条件 → 后台训练码本 → 编码压缩
观察召回与内存 → 必要时调整 PQ 参数

代码 / 命令

# 待确认:AutoPQ 启用方式、触发阈值与版本要求,以官方 PQ/AutoPQ 文档为准

常见误区

  • 误区:AutoPQ 无需异步索引即可工作。正解:该能力依赖异步索引前提。
  • 误区:自动触发等于无需验证召回。正解:自动只代表流程自动化,质量仍需查询集评估。

追问

  • 问:训练期间查询受影响吗?答:训练占 CPU 与内存,需观察构建阶段延迟。
  • 问:AutoPQ 失败怎么排查?答:检查异步索引状态、训练样本量与维度整除约束。

05.6.4.2-032 过滤策略 filterStrategy 有哪些可选值?

频率 ★★★★☆ | 难度 进阶

一句话结论

filterStrategy 控制向量检索与标量过滤结合的策略,可选 acorn、sweeping 与 pathseer 等;不同策略在过滤选择性与遍历效率上有取舍,默认值随版本变化。

概念解释

  • acorn:较新版本默认的过滤结合策略,具体机制以官方文档为准。
  • sweeping:遍历式过滤结合方案。
  • pathseer:较新加入的策略,版本可用性需核对。
  • 可变性:过滤策略属可在线调整的配置。

原理流程

查询带 where 条件 → 按 filterStrategy 决定过滤与图遍历的结合顺序 → 返回候选
慢过滤场景:对比不同策略下的候选扫描量与 P99

代码 / 命令

# 取值:acorn / sweeping / pathseer;默认与可用版本以官方索引配置参考为准

常见误区

  • 误区:过滤策略对召回没影响。正解:结合顺序影响候选覆盖,进而影响召回。
  • 误区:新策略一定比旧策略快。正解:性能取决于过滤基数与数据分布,需实测。

追问

  • 问:高选择性过滤选什么策略?答:先按默认跑,再用真实过滤条件对比各策略延迟。
  • 问:策略改了要重建吗?答:属于查询期结合策略,通常无需重建索引。

05.6.4.2-033 过滤与 ANN 结合的执行路径是怎样的?

频率 ★★★★☆ | 难度 高级

一句话结论

带过滤的检索先由标量索引圈出满足条件的对象集合,再在该候选范围内做向量近邻遍历;过滤选择性差时候选集仍很大,退化为大范围扫描。

概念解释

  • 先过滤:倒排/标量索引定位匹配对象,缩小向量检索范围。
  • 图内过滤:也可在图遍历过程中跳过不满足条件的节点。
  • 选择率:条件命中比例决定候选规模,直接影响延迟。

原理流程

where 条件 → 标量索引取候选集 → 在候选内图遍历/距离计算 → 排序返回
选择率低 → 候选集大 → 扫描成本上升

代码 / 命令

# 排查:过滤字段是否有索引、命中比例、候选对象数、遍历跳过节点数

常见误区

  • 误区:有过滤条件就一定先缩小范围。正解:低选择性条件命中大量对象,过滤收益有限。
  • 误区:过滤慢是向量索引问题。正解:很多慢查询瓶颈在标量扫描与候选放大。

追问

  • 问:多个过滤条件怎么组合更优?答:高选择性条件优先,配合 all_of/any_of 组织。
  • 问:过滤后召回下降怎么办?答:检查过滤是否误排除近邻,必要时放宽条件。

05.6.4.2-034 倒排与标量索引占多少内存,怎么控制?

频率 ★★★☆☆ | 难度 高级

一句话结论

倒排/标量索引内存随字段数量、取值基数与多值字段增长;控制手段是只对真实查询字段建索引、避免超高基数字段冗余索引、清理无效派生字段。

概念解释

  • 占用来源:词项倒排表、标量值索引、多值字段列表与缓存。
  • 增长因素:字段越多、基数越高、值越长,索引体积越大。
  • 与向量索引区分:这部分是标量侧内存,不随向量维度增长。

原理流程

梳理查询字段 → 区分必建/可省索引 → 控制字段数量与基数
观察标量索引内存 → 淘汰无查询价值的字段索引

代码 / 命令

# 检查:过滤/关键词字段清单、各字段基数、多值字段规模

常见误区

  • 误区:标量索引内存可以忽略。正解:字段多时倒排占用可观,与向量内存并列规划。
  • 误区:所有字符串都建全文索引。正解:精确值用标量索引,自由文本才进全文倒排。

追问

  • 问:多值标签字段索引怎么估?答:按标签总数与对象-标签列表长度估算,基数大时重点关注。
  • 问:标量索引能压缩吗?答:按版本能力核对,主要靠减少字段与基数控制体积。

05.6.4.2-035 索引内存估算模型怎么建立?

频率 ★★★★★ | 难度 进阶

一句话结论

索引内存 = 压缩后向量本体 + 图结构邻接表 + 倒排/标量索引 + 查询缓存,再乘以副本数;量化主要压向量本体,图结构与标量索引需单独估算。

概念解释

  • 向量本体:对象数 × 维度 × 每维字节(按量化后精度)。
  • 图结构:节点邻接表随 maxConnections 与对象数增长。
  • 标量与缓存:倒排索引、多值字段、vectorCache 占用。
  • 副本放大:每副本持有一份可服务索引。

原理流程

N × D × 每维字节 → 加图结构 → 加倒排/标量 → 加缓存 → × 副本数
构建期峰值单列 → 小规模真实数据导入实测回填模型

代码 / 命令

# 骨架:内存 ≈ 向量压缩体积 + 图结构 + 标量索引 + 缓存,再 × 副本
# 验证:导入真实分布数据后读实际占用,按比例放大

常见误区

  • 误区:只算向量本体内存。正解:图结构、倒排与副本放大常使实际占用明显更高。
  • 误区:量化后图结构也等比例缩小。正解:压缩主要作用于向量编码,图邻接表不随比特宽度下降。

追问

  • 问:构建期内存峰值看哪里?答:索引构建与回填阶段内存常高于稳态,需单独预留。
  • 问:内存告急先压哪块?答:先量化向量本体,再评估缓存上限与副本数。

05.6.4.2-036 索引构建时间受哪些因素影响?

频率 ★★★☆☆ | 难度 高级

一句话结论

构建时间取决于对象数与维度、索引类型、建图参数、量化训练成本、CPU/IO 能力与段碎片程度;小段过多会重复付出固定构建开销。

概念解释

  • 数据规模:对象数与维度直接决定遍历与编码量。
  • 参数成本:高 efConstruction、PQ 码本训练都增加构建时间。
  • 资源:CPU 核数、内存与磁盘/对象存储 IO 制约构建速度。

原理流程

导入数据 → 分片成段 → 逐段建图/量化编码 → 合并索引
构建慢:定位是 CPU、IO、参数还是段碎片

代码 / 命令

# 观察:待构建任务数、单段耗时、CPU/内存峰值、段数量分布

常见误区

  • 误区:加节点一定加速构建。正解:段太碎或 IO 受限时并行度上不去。
  • 误区:构建慢只调大资源。正解:先合并小段、核对量化训练与建图参数。

追问

  • 问:导入期怎么控制构建节奏?答:批量分批、限速导入、低峰执行重型量化训练。
  • 问:构建失败重试会重复劳动吗?答:会,需先定位失败原因而非无限重试。

05.6.4.2-037 skip 索引在什么场景使用?

频率 ★★☆☆☆ | 难度 高级

一句话结论

skip 配置可在导入阶段跳过向量索引构建,用于先批量落数据、后续再统一建索引的场景,避免导入期与构建期资源叠加。

概念解释

  • 用途:大批量先写入,索引延迟到后续任务构建。
  • 约束:skip 期间对象不参与向量检索。
  • 适用:数据迁移、历史回填等需要分阶段执行的任务。

原理流程

导入配置 skip 索引 → 对象先持久化 → 后续任务构建索引 → 召回可用

代码 / 命令

# 待确认:skip 配置字段名与恢复索引构建的方式,以官方索引文档为准

常见误区

  • 误区:skip 后数据自动可检索。正解:索引未构建前向量检索不命中。
  • 误区:skip 省最终内存。正解:只是推迟构建,索引体积不变。

追问

  • 问:什么时候不该 skip?答:写入后需立即可检索的在线场景。
  • 问:skip 段如何补建?答:按官方流程触发索引构建,观察完成状态。

05.6.4.2-038 cleanupIntervalSeconds 清理机制是什么?

频率 ★★☆☆☆ | 难度 高级

一句话结论

该参数控制索引内部清理任务的执行间隔:间隔大则单次批量清理更多、频率低;间隔小则清理更频繁但单次量小,通常无需调整默认值。

概念解释

  • 作用:回收删除/更新产生的失效索引条目与空间。
  • 频率权衡:影响清理开销与碎片停留时间。
  • 边界:属可在线调整的索引参数。

原理流程

删除/更新产生失效条目 → 按间隔触发清理 → 回收索引空间
观察碎片比例 → 必要时调整间隔

代码 / 命令

# 默认值与单位以官方索引配置参考为准;通常保持默认

常见误区

  • 误区:清理间隔越短越好。正解:频繁清理增加 IO 与 CPU 抖动。
  • 误区:清理只删向量。正解:失效条目在向量与倒排两侧都需回收。

追问

  • 问:大量删除后空间何时释放?答:需等清理任务回收,删除比例高时关注碎片趋势。
  • 问:清理卡住怎么排查?答:看磁盘 IO、内存与清理任务积压。

05.6.4.2-039 索引类型或量化变更如何落地?

频率 ★★★★☆ | 难度 进阶

一句话结论

索引类型与量化属于结构级配置,变更通常不能原地生效,需新建集合、迁移向量、对比召回后切流;可变的查询参数才可在线调整。

概念解释

  • 不可变边界:距离度量、建图参数、索引结构、量化编码。
  • 可变边界:ef、动态 ef 边界、过滤策略等查询期配置。
  • 落地路径:新集合 → 双写/回填 → 召回对比 → 切流 → 下线旧集合。

原理流程

识别需变更项 → 判断是否可在线调整 → 不可变项走重建迁移
迁移期双写 → 对比 recall/P99 → 灰度切流 → 清理旧集合

代码 / 命令

# 变更前核对:配置可变性列、数据量、迁移窗口、回滚方案

常见误区

  • 误区:改个量化开关历史数据就压缩了。正解:历史向量需按新编码重建。
  • 误区:重建不影响在线服务。正解:双写与回填占资源,需低峰规划。

追问

  • 问:哪些参数可以不重建就改?答:查询期 ef、动态 ef 边界、过滤策略等,以配置参考可变性列为准。
  • 问:重建期间如何保证可回退?答:保留旧集合与双写,对比不达标即切回。

05.6.4.2-040 reindex 完整流程怎么组织?

频率 ★★★★☆ | 难度 高级

一句话结论

reindex 按“建新集合 → 回填/双写 → 构建新索引与量化 → 召回对比 → 灰度切流 → 校验后下线旧集合”执行,全程保证幂等与可回滚。

概念解释

  • 建新集合:按新索引/量化/度量配置创建目标集合。
  • 数据迁移:全量回填加增量双写,按主键幂等。
  • 验证切流:查询集对比召回与延迟,逐步切流量。

原理流程

1) 建新集合与索引配置  2) 全量回填 + 增量双写  3) 构建索引/量化
4) 对比 recall@k 与 P99  5) 灰度切查询流量  6) 校验后下线旧集合

代码 / 命令

# 记录:新旧配置、迁移批次、对象数对账、召回差异、回滚点

常见误区

  • 误区:直接在原集合上重建索引即可。正解:结构级变更需新集合承载,避免影响在线数据。
  • 误区:回填完就切流。正解:必须等增量双写补齐并通过召回对比。

追问

  • 问:迁移期间写入怎么一致?答:新旧双写,按主键幂等,定时对账差异并修复。
  • 问:reindex 失败如何回退?答:旧集合保留在线,切回旧流量并排查迁移问题。

05.6.4.2-041 不可变参数改不了,工程上有什么绕行办法?

频率 ★★★☆☆ | 难度 高级

一句话结论

不可变参数无法原地修改,绕行办法是新建目标集合做数据迁移,而不是试图在原集合热更新;建模阶段提前定稳度量与建图参数是成本最低的规避。

概念解释

  • 不可变项:距离度量、efConstruction、maxConnections 等结构参数。
  • 绕行:新集合 + 迁移 + 切流,代价是一次性重建。
  • 预防:建模用代表性数据验证关键参数,减少返工。

原理流程

发现参数需变更 → 确认不可变 → 评估迁移窗口与成本
建新集合迁移 → 验证 → 切流;后续建模阶段加强参数评审

代码 / 命令

# 预防清单:度量、维度、索引类型、副本分片、建图参数在建集合前评审

常见误区

  • 误区:配置改了重启就生效。正解:不可变项重启后仍按原结构工作。
  • 误区:所有参数都能等以后再调。正解:结构参数必须上线前定稳。

追问

  • 问:怎么区分可改与不可改?答:查官方配置参考的可变性列;拿不准按不可变预留方案。
  • 问:迁移成本过高怎么缓解?答:降低数据返工概率,靠前期建模验证而非事后重建。

05.6.4.2-042 在 Weaviate 上怎么评估召回与延迟?

频率 ★★★★☆ | 难度 高级

一句话结论

构造覆盖真实查询类型的标注查询集,分别记录 recall@k、排序一致性、P50/P99 与内存占用,按索引类型、量化方案与 ef 组合做对照,结论绑定数据分布与版本。

概念解释

  • 查询集:覆盖语义、关键词、混合、过滤后等场景,带标注近邻。
  • 对照维度:索引类型、量化算法/比特宽度、ef、重打分候选数。
  • 输出:达标组合与边际代价,而非单一最优参数。

原理流程

准备标注集 → 跑基线 → 逐组合采集 recall@k/P99/内存 → 对比拐点 → 固化推荐组合

代码 / 命令

# 记录项:数据规模、维度、模型版本、索引/量化配置、ef、候选数、指标值
# 待确认:是否有内置评估辅助接口,以官方文档为准

常见误区

  • 误区:用平均延迟判断即可。正解:P99 与超时率才反映线上体验。
  • 误区:换数据分布后结论仍有效。正解:召回与延迟绑定分布,模型或数据变化需重测。

追问

  • 问:召回怎么算?答:标注近邻出现在返回 top-k 的比例,按业务 k 计算。
  • 问:评估环境要多大?答:尽量贴近生产规模与分布,小规模结论只作参考。

05.6.4.2-043 高基数与低基数字段对索引有什么不同影响?

频率 ★★★☆☆ | 难度 高级

一句话结论

高基数字段区分度高、过滤收益大但索引条目多;低基数字段过滤后仍命中大量对象,索引收益有限,建模时应区别对待。

概念解释

  • 高基数:唯一值多(如业务 id、标签),等值过滤定位准。
  • 低基数:取值少(如二值状态),过滤选择性差。
  • 索引成本:基数越高,倒排/值索引条目与内存越大。

原理流程

字段按基数分类 → 高基数建索引支撑精确过滤 → 低基数评估是否值得索引
慢查询核对:过滤命中比例与候选集大小

代码 / 命令

# 统计:各过滤字段唯一值数、命中对象比例、查询频率

常见误区

  • 误区:所有过滤字段都值得建索引。正解:低基数高频字段索引收益低,反而增加写入开销。
  • 误区:高基数字段一定慢。正解:选择性高时候选集小,通常更快。

追问

  • 问:多值标签基数怎么算?答:按全部标签取值分布统计,而非对象数量。
  • 问:低基数条件叠加高基数条件呢?答:高基数条件主导选择性,组合过滤优先用它缩小范围。

05.6.4.2-044 过滤选择率低导致扫描放大怎么排查?

频率 ★★★★☆ | 难度 高级

一句话结论

先量出过滤条件的命中比例与候选对象数,确认瓶颈是标量扫描还是候选放大,再通过提高选择性、调整过滤字段索引或优化查询组合收敛。

概念解释

  • 放大表现:条件命中大量对象,向量遍历在大候选集上展开,P99 飙升。
  • 排查顺序:字段是否有索引 → 命中比例 → 候选规模 → 遍历跳过量。
  • 处置:补高选择性条件、改过滤字段建模、评估策略参数。

原理流程

慢请求记录条件 → 统计各条件命中比例 → 定位低选择性条件
候选集过大 → 补高选择性过滤 / 调整索引 / 限制返回规模

代码 / 命令

# 排查指标:条件命中数、候选对象数、遍历节点数、P99、超时比例

常见误区

  • 误区:过滤慢就调大 ef。正解:根因是候选放大,调 ef 反而增加遍历成本。
  • 误区:所有慢过滤都是索引缺失。正解:也可能是条件本身选择率过低。

追问

  • 问:业务必须用低基数条件怎么办?答:叠加高选择性条件,或接受扫描成本并控制并发。
  • 问:跨字段过滤顺序怎么定?答:选择性高的条件先圈定候选。

05.6.4.2-045 BQ 粗筛加原始向量重打分的组合怎么设计?

频率 ★★★★☆ | 难度 高级

一句话结论

先用 BQ 二值向量在内存中快速粗筛出候选,再用原始 float32(或宽比特量化)向量对候选精算距离重排,在大幅降低粗筛内存的同时保住精排召回。

概念解释

  • 粗筛层:BQ 编码体积极小,遍历快,负责圈定 top 候选。
  • 精排层:候选集回原始向量算精确距离,修正二值化误差。
  • 候选规模:重打分候选越多召回越稳,但延迟与原始向量占用越高。

原理流程

BQ 编码粗筛 → 取 top-N 候选 → 原始向量精算距离 → 重排返回
N 按召回目标与 P99 实测确定

代码 / 命令

# 设计记录:BQ 配置、重打分候选数、原始向量保留范围、recall/P99 对比
# 待确认:当前版本重打分候选参数入口,以官方压缩文档为准

常见误区

  • 误区:开 BQ 就不用存原始向量。正解:精排兜底常需原始或宽比特向量。
  • 误区:重打分候选越大越好。正解:候选过多推高延迟与内存,需找拐点。

追问

  • 问:原始向量占用仍大怎么办?答:评估 SQ/RQ 宽比特作为精排向量,而非全量 float32。
  • 问:BQ 粗筛漏检能靠重打分救吗?答:不能,粗筛未进入候选的近邻无法找回,需提升粗筛召回。

05.6.4.2-046 大集合内存告急时的索引降级路径是什么?

频率 ★★★☆☆ | 难度 高级

一句话结论

按“量化压缩向量本体 → 收紧缓存上限 → 评估磁盘型索引 → 拆分集合/增加副本节点”的顺序降级,每一步都用召回与延迟验证,避免直接牺牲检索质量。

概念解释

  • 先压向量:PQ/SQ/RQ/BQ 降低向量本体内存。
  • 再收缓存:下调 vectorCacheMaxObjects 等缓存占用。
  • 结构调整:磁盘型索引把数据落盘,或按维度/租户拆分集合、扩节点。

原理流程

内存水位告警 → 量化压缩 → 收紧缓存 → 评估 hfresh 等磁盘索引
仍不足 → 拆分集合/扩节点;全程监控 recall 与 P99

代码 / 命令

# 降级顺序与每步验证指标:内存下降幅度、recall 变化、P99 变化

常见误区

  • 误区:内存不够直接加机器。正解:先量化与收缓存,避免成本盲目放大。
  • 误区:降级只看内存指标。正解:必须同时确认召回与延迟未跌破 SLA。

追问

  • 问:量化后召回不达标怎么办?答:加重打分、放宽比特宽度,或部分热点数据保留原始向量。
  • 问:拆集合怎么拆?答:按租户、时间或业务域拆分,查询侧带路由条件。

05.6.4.2-047 多租户小集合为什么常用 flat 而不是 HNSW?

频率 ★★★☆☆ | 难度 高级

一句话结论

多租户下每个租户分片对象数很少,HNSW 建图的固定开销大于收益,flat 暴力扫描更轻、构建更快,且小对象规模下扫描延迟可接受。

概念解释

  • 分片粒度:每个租户拥有独立分片,单分片对象数有限。
  • 成本对比:HNSW 需构建并驻留图结构;flat 无图构建。
  • 延迟:小集合扫描逐条算距离,成本随对象数线性但基数小。

原理流程

多租户集合 → 每租户小分片 → flat 扫描
单租户对象增长到规模 → 评估 hnsw 或 dynamic

代码 / 命令

# 选型核对:单租户对象数、维度、延迟目标;待确认以官方多租户与索引文档为准

常见误区

  • 误区:所有租户分片统一用 HNSW。正解:小分片用 flat 更省构建与内存。
  • 误区:flat 在多租户下召回差。正解:暴力扫描在小规模下结果精确。

追问

  • 问:大租户怎么办?答:单独评估索引类型与副本,必要时移出多租户集合独立建模。
  • 问:租户数量很多时索引开销在哪?答:分片与元数据数量随租户数增长,需控制规模。

05.6.4.2-048 给百万级向量集合,索引与量化参数怎么组合建议?

频率 ★★★★★ | 难度 高级

一句话结论

百万级通常选 hnsw 内存型索引,建图参数按数据规模定稳,查询用动态 ef 平衡召回与延迟,向量侧按内存预算选 SQ/RQ 起步、必要时 PQ/BQ 并配重打分,最终组合用真实查询集压测回填。

概念解释

  • 索引:规模中等偏大、要求低延迟,默认 hnsw;内存不足再评估磁盘型索引。
  • 量化:先选召回损失温和的方案,配合重打分兜底;压缩比按内存目标选。
  • 参数:ef 动态推导,Min/Max 按 limit 分布定;建图参数上线前固定。

原理流程

估对象数/维度/内存 → 选 hnsw → 定建图参数 → 动态 ef 配置
选量化 + 重打分候选 → 真实查询集测 recall@k/P99/内存 → 固化组合 → 上线后观察

代码 / 命令

# 输出物:索引类型、量化算法与比特宽度、segments/centroids、ef 与动态边界、重打分候选、副本数
# 所有默认值以当前版本官方配置参考为准,不背死参数

常见误区

  • 误区:照搬别人的参数组合。正解:参数绑定数据分布、维度与延迟目标,必须自测。
  • 误区:只优化内存不验证召回。正解:压缩方案以 recall 达标为前提。

追问

  • 问:内存只够驻留一半向量怎么办?答:评估磁盘型索引或量化组合,热点数据优先保留高精度。
  • 问:上线后参数还能调什么?答:查询期 ef、动态边界、过滤策略可在线调;结构参数走重建。

参考来源