05.6.3.2 集合配置、索引与量化参数
所属:全栈开发面试题库 / 05 数据库与存储 / 05.6 向量数据库与语义检索 / 05.6.3 Qdrant
覆盖范围
- 集合创建参数:向量维度、距离度量、单向量与命名向量
- point 结构、主键类型、payload 字段类型与 schema 约束
- HNSW 集合参数(m、ef_construct、full_scan_threshold)与查询期 ef
- scalar quantization、binary quantization、product quantization 实验状态
- rescore 重打分、oversampling、on_disk 存储开关与内存关系
- payload 索引类型、全文索引、geo 索引、稀疏向量
- 索引创建时机、重建与参数变更边界、召回验证方法
参数主线
建集合:vector size + distance(或 named_vectors 映射)
↓
索引层:HNSW(m / ef_construct / full_scan_threshold)
↓
压缩层:scalar / binary / product 量化 + rescore 原始向量兜底
↓
过滤层:payload 索引(keyword / integer / float / geo / text)
↓
查询期:hnsw_ef、oversampling、on_disk 按需加载
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.6.3.2-001 | 集合创建必填的维度与距离参数 | 基础 | ★★★★★ |
| 05.6.3.2-003 | 单向量与命名向量建模 | 基础 | ★★★★★ |
| 05.6.3.2-011 | payload 索引怎么创建 | 基础 | ★★★★★ |
| 05.6.3.2-009 | scalar 标量量化解决什么问题 | 进阶 | ★★★★★ |
| 05.6.3.2-018 | 查询期 ef 与召回延迟权衡 | 进阶 | ★★★★★ |
| 05.6.3.2-022 | rescore 重打分与原始向量保留 | 进阶 | ★★★★★ |
| 05.6.3.2-031 | 各参数与内存占用的关系 | 进阶 | ★★★★★ |
| 05.6.3.2-037 | 召回验证 golden set 流程 | 高级 | ★★★★☆ |
| 05.6.3.2-045 | 换 Embedding 模型的维度变更流程 | 高级 | ★★★★☆ |
| 05.6.3.2-048 | 完整集合参数设计题 | 高级 | ★★★★★ |
05.6.3.2-001 创建集合时维度与距离参数如何确定?
频率 ★★★★★ | 难度 基础
一句话结论
建集合必须声明向量维度(size)与距离度量(distance),二者在建集合时确定;维度必须与 Embedding 模型输出一致,距离要匹配向量归一化方式。
概念解释
- size:向量每一维的数量,写入向量维度不符会被拒绝。
- distance:距离度量枚举值,常见为 Cosine、Euclid、Dot,具体可用取值以官方文档为准。
- 一致性:同一集合内所有向量按同一距离计算,距离类型不能与向量归一化方式错配。
原理流程
确定 Embedding 模型输出维度 → 选择距离度量 → 建集合声明 size 与 distance
→ 写入校验维度 → 查询按同一距离排序
代码 / 命令
# 集合创建请求形态(字段名以官方 API 为准)
# vectors: { size: <维度>, distance: "Cosine" }
# 写入 point 的 vector 长度必须等于声明维度
常见误区
- 误区:维度可以先建小再追加。正解:维度是集合固定项,变更需要重建集合。
- 误区:距离随便选不影响结果。正解:度量与归一化方式错配会导致排序语义错误。
追问
- 问:Dot 距离对向量有什么要求?答:若要得到与余弦相近的语义,向量通常需要先归一化,具体约束以官方文档为准。
- 问:维度不匹配报什么现象?答:写入被拒绝,错误指向向量长度与集合声明不符。
05.6.3.2-002 Cosine、Euclid、Dot 在选型上怎么区分?
频率 ★★★★☆ | 难度 基础
一句话结论
按向量语义与归一化方式选择:余弦关注方向相似度,欧氏关注绝对距离,点积受模长影响;选错度量会让排序结果与业务预期不符。
概念解释
- Cosine:比较向量方向,适合未刻意归一化的语义向量,对模长不敏感。
- Euclid:欧氏距离,适合向量各维尺度接近且位置差异有意义的场景。
- Dot:点积结果包含模长贡献,常用于已归一化向量或需要幅度加权的场景。
原理流程
看 Embedding 是否归一化 → 看业务关心方向还是位置 → 选距离度量
→ 用典型查询核对 TopK 相关性
代码 / 命令
# 验证:同一批 query 分别在不同距离集合上对比命中,不要只看公式定义
# 距离枚举拼写以官方 schema 为准
常见误区
- 误区:三种度量可随时互换。正解:度量在集合创建时固定,互换需重建。
- 误区:点积等价于余弦。正解:未归一化时点积受模长影响,排序不等价。
追问
- 问:归一化后余弦和点积是什么关系?答:方向一致时二者排序单调相关,模长为 1 时点积即余弦值。
- 问:混合不同尺度字段能用欧氏吗?答:需要先做尺度统一,否则大尺度维度主导距离。
05.6.3.2-003 单向量与命名向量(named vectors)怎么建模?
频率 ★★★★★ | 难度 基础
一句话结论
一个 point 可以只带一个向量,也可以在 named_vectors 映射下携带多个命名向量;多模态、多模型或多路召回场景用命名向量按名称区分。
概念解释
- 单向量:point 的 vector 字段直接放一个向量,结构最简单。
- 命名向量:以名称为键的向量映射,每个名称可独立声明维度、距离与索引配置。
- 适用:同一文档同时存稠密向量与稀疏向量、或多个 Embedding 模型产出的向量。
原理流程
单向量:point.vector = [...]
命名向量:point.vector = { "dense": [...], "sparse": {...} }
查询时按向量名称指定要检索的向量
代码 / 命令
# 建集合时用 named_vectors 映射分别声明各名称的 size / distance
# 写入时每个命名向量维度必须匹配各自声明
常见误区
- 误区:命名向量共用一套距离与索引参数。正解:各名称可独立配置,按名称参与检索。
- 误区:一个 point 只能存一个向量。正解:命名向量支持同一 point 挂多路向量。
追问
- 问:命名向量能只更新其中一路吗?答:写入按 point 整体 upsert,部分字段更新语义以 SDK 与版本为准。
- 问:多路召回必须用命名向量吗?答:也可拆集合,命名向量的优势是同一 point 的 payload 与 id 天然对齐。
05.6.3.2-004 一个 point 的结构包含哪些部分?
频率 ★★★★☆ | 难度 基础
一句话结论
point 由 id、vector(或命名向量映射)与 payload 三部分组成;id 用于幂等写入与删除定位,payload 承载可过滤与可展示的标量字段。
概念解释
- id:point 唯一标识,决定 upsert 覆盖与删除定位。
- vector:待检索向量或命名向量映射。
- payload:JSON 风格的标量与对象字段,用于过滤、分组与结果回传。
原理流程
组装 id + vector + payload → 校验 schema → upsert → 按 id 定位覆盖
→ 检索返回 id、向量距离与 payload
代码 / 命令
# point 形态:{ id, vector, payload }
# payload 只放过滤与展示所需字段,大原文留在业务库
常见误区
- 误区:payload 可以塞任意大对象。正解:过大的 payload 会放大存储与结果传输成本。
- 误区:id 可以重复生成多个。正解:重复 id 视为同一 point 的覆盖写入。
追问
- 问:payload 能嵌套对象吗?答:支持嵌套结构,但索引与查询条件写法要按嵌套规则处理。
- 问:检索结果默认带回 payload 吗?答:可按查询参数控制是否返回 payload 与向量。
05.6.3.2-005 主键 id 支持哪些类型,怎么选?
频率 ★★★☆☆ | 难度 基础
一句话结论
主键支持正整数与 UUID 类标识;业务已有稳定唯一 id 时优先用业务标识,便于幂等对账与迁移,避免依赖系统自增分配。
概念解释
- 整数 id:紧凑、比较快,适合数值型业务主键或有序标识。
- UUID / 字符串 id:跨系统唯一,避免分布式生成冲突,存储与比较成本略高。
- 幂等:重复 id 走覆盖语义,重试时按同一 id 写入即可保证不重复。
原理流程
确定业务唯一标识 → 选择 id 类型 → 写入携带 id → 重复写入按 id 覆盖
→ 删除与点查按 id 定位
代码 / 命令
# 建议:保留 biz_id 字段进 payload,与主键映射,方便对账与迁移
# id 类型需与集合 / SDK 期望一致,具体格式约束以官方文档为准
常见误区
- 误区:主键可以事后修改。正解:主键变更等于重写 point,应在建集合前确定。
- 误区:自增 id 天然适合分布式写入。正解:分布式下自增分配有协调成本,业务主键更可控。
追问
- 问:删除后同 id 能再写入吗?答:可以,按主键重新 upsert 会生成新的 point 记录。
- 问:id 冲突怎么排查?答:按主键查写入记录,确认是覆盖还是重复生成。
05.6.3.2-006 payload 字段有哪些类型,schema 如何约束?
频率 ★★★★☆ | 难度 基础
一句话结论
payload 字段可包含数值、字符串、布尔、数组、对象与 geo 点等类型;用于过滤的字段应规划好类型并建索引,类型混用会让条件匹配结果不可预期。
概念解释
- 标量类型:整数、浮点、字符串、布尔,支持范围与匹配条件。
- 复合类型:数组表示多值,对象用于嵌套结构。
- 类型一致:同一字段在不同 point 中尽量保持类型一致,避免混合类型导致过滤异常。
原理流程
设计过滤维度 → 确定字段类型 → 写入保持类型一致 → 为高频过滤字段建索引
→ 查询条件按字段类型选择匹配 / 范围 / geo 条件
代码 / 命令
# 常见字段:tenant_id、category、timestamp、location、tags
# 索引前先确认字段类型,索引类型要与字段类型匹配
常见误区
- 误区:字符串和数字可以混存在同一字段。正解:混合类型会影响条件匹配与索引行为。
- 误区:所有 payload 字段都要建索引。正解:只给高频过滤与分组字段建,低基数字段收益有限。
追问
- 问:数组字段怎么匹配?答:按任意元素或全部元素匹配,具体条件写法以过滤语法为准。
- 问:payload 类型能事后改吗?答:字段类型与数据需要重建或清洗,不能直接原地转义。
05.6.3.2-007 集合参数中哪些是不可变项?
频率 ★★★☆☆ | 难度 基础
一句话结论
向量维度、距离度量等基础结构在建集合时固定;索引与量化部分参数可按版本支持更新或需重建,变更前必须核对官方兼容说明,不能假设全部可在线修改。
概念解释
- 固定项:向量 size、distance、命名向量结构,写入后不能原地改。
- 可调整项:部分索引参数、量化配置、payload 索引可增删或更新,支持范围依版本而定。
- 风险:不兼容的参数变更需要导出重建集合,业务要预留窗口。
原理流程
读集合当前配置 → 区分固定项与可更新项 → 可更新项走接口变更 → 不可变项走重建
→ 变更后校验召回与写入
代码 / 命令
# 变更前:记录原配置、导出数据、准备重建窗口
# 不确定是否可改时,以官方 API 与版本说明为准,标注待确认
常见误区
- 误区:所有参数都能在线调。正解:基础向量结构不可变,索引/量化改动也可能要求重建。
- 误区:改完参数旧数据自动适配。正解:已写入段是否采用新参数要按加载与重建机制确认。
追问
- 问:怎么查看集合当前参数?答:通过集合读取接口返回配置与索引状态,对照官方字段说明。
- 问:重建集合的最小步骤?答:导出旧数据 → 建新集合 → 导入 → 校验召回 → 切流。
05.6.3.2-008 集合层 HNSW 配置在哪个入口声明?
频率 ★★★★☆ | 难度 基础
一句话结论
HNSW 参数在建集合时通过集合索引配置段声明,控制图构建行为;查询期另有独立的 ef 参数,两者不要混为一谈。
概念解释
- 集合层参数:影响索引构建时的图结构与内存占用,如邻接连接数、构建搜索宽度。
- 查询层参数:影响每次检索的候选探索宽度,运行期可调。
- 入口位置:建集合请求中的 hnsw 配置段,具体字段名以官方 schema 为准。
原理流程
建集合 → 写入集合层 HNSW 参数 → 段固化后按参数构图
查询 → 使用查询期 ef 控制探索宽度
代码 / 命令
# 建集合请求中的 hnsw 配置段(字段名以官方文档为准)
# 构建参数只在索引构建时生效,查询参数每次请求可覆盖
常见误区
- 误区:查询调大 ef 能弥补构建参数不足。正解:构建结构决定图质量,查询参数只改变探索宽度。
- 误区:HNSW 参数建完集合随时可改图。正解:改构建参数通常需要重建索引才生效。
追问
- 问:集合层参数默认值是多少?答:以官方文档当前版本为准,不要凭记忆写默认值。
- 问:索引配置能读回来吗?答:集合读取接口返回当前 hnsw 配置,可用于核对。
05.6.3.2-009 scalar quantization(标量量化)解决什么问题?
频率 ★★★★★ | 难度 基础
一句话结论
标量量化把向量各维压缩为低比特整数表示,显著降低向量本体内存;压缩后距离是近似值,需要重打分或召回验证兜底精度。
概念解释
- 压缩对象:原始浮点向量按维映射为整数编码,存储体积大幅下降。
- 近似性质:压缩损失精度,检索排序是近似结果。
- 配套:可保留原始向量用于重打分,或按配置以压缩数据参与最终排序。
原理流程
建集合配置标量量化 → 写入向量被编码存储 → 检索先用压缩表示取候选
→ 重打分(若保留原始向量)→ 返回 TopK
代码 / 命令
# 量化配置段声明类型与相关选项,具体字段名以官方文档为准
# 上线前必须用 golden set 对比量化前后召回
常见误区
- 误区:量化后精度无损。正解:量化是近似压缩,召回可能下降,需要验证。
- 误区:量化只省磁盘不省内存。正解:压缩后的编码同时降低内存驻留占用。
追问
- 问:量化适合什么数据?答:内存压力大、向量维度高、可接受近似召回的在线检索场景。
- 问:不做量化内存差多少?答:以 float32 与压缩编码的字节差估算,实际占用要在导入后实测。
05.6.3.2-010 binary quantization(二值量化)是什么定位?
频率 ★★★☆☆ | 难度 基础
一句话结论
二值量化把向量压成 0/1 比特表示,压缩比极高、距离计算可用位运算加速;精度损失更大,通常与其他量化或原始向量配合使用。
概念解释
- 表示:每一维压缩为一个比特,存储体积远低于标量量化。
- 计算:二值距离可用位运算快速完成,适合高维粗筛。
- 边界:精度损失明显,单独使用召回风险高,常作为粗筛层配合重打分。
原理流程
配置二值量化 → 向量编码为比特串 → 粗筛快速取候选 → 配合重打分或其他表示精排
代码 / 命令
# 二值量化配置入口与可用组合以官方文档为准
# 验证:对比纯原始向量与二值粗筛 + 重打分的召回差
常见误区
- 误区:二值量化可以单独替代原始向量。正解:精度损失大,关键场景需要精排兜底。
- 误区:压缩比越高召回越好。正解:压缩比与精度是反向权衡,必须实测。
追问
- 问:二值量化适合低维向量吗?答:低维下比特压缩收益有限,是否划算要结合维度实测。
- 问:能和标量量化同时用吗?答:组合能力以版本支持为准,配置前核对官方说明。
05.6.3.2-011 payload 索引怎么创建,作用是什么?
频率 ★★★★★ | 难度 基础
一句话结论
为高频过滤或分组的 payload 字段创建索引,使过滤条件借助索引快速定位候选;未建索引的字段过滤退化为扫描段内数据,大集合下明显变慢。
概念解释
- 索引对象:字段名与其索引类型(keyword、integer、float、geo、text 等)。
- 价值:提高条件匹配速度,尤其在过滤选择率高、集合规模大时。
- 成本:索引占用存储与构建时间,写入时同步维护。
原理流程
识别高频过滤字段 → 确定字段类型 → 创建 payload 索引 → 写入时更新索引
→ 查询条件命中索引 → 先过滤再 ANN
代码 / 命令
# 索引创建接口:指定字段名与索引类型(类型枚举以官方文档为准)
# 先看过滤条件用到哪些字段,再决定建哪些索引
常见误区
- 误区:所有字段都建索引最快。正解:低选择性字段收益低,还增加写入与存储开销。
- 误区:建了索引就一定走索引。正解:选择率与查询结构仍影响执行方式。
追问
- 问:索引创建后旧数据要重建吗?答:索引会覆盖已有数据,构建期间状态需在集合读取接口中确认。
- 问:怎么判断字段该不该建索引?答:看过滤频率、选择率与集合规模,低频大集合仍值得建。
05.6.3.2-012 全文索引(text index)怎么配置?
频率 ★★★★☆ | 难度 基础
一句话结论
全文索引为字符串字段提供分词后的关键词匹配,配置包含分词方式、大小写折叠与 token 长度范围;适合标题、标签等文本字段的词项检索。
概念解释
- 分词:按词、空白或前缀等方式切分文本,具体 tokenizer 取值以官方文档为准。
- 大小写:可配置是否统一转小写匹配。
- 长度范围:最小 / 最大 token 长度影响可被索引的词项。
原理流程
文本字段 → 按配置分词 → token 入索引 → 查询按同样分词匹配词项
→ 与向量检索结果组合或单独过滤
代码 / 命令
# text 索引配置:字段类型 text + tokenizer / lowercase / 长度参数
# 具体参数名与枚举以官方 schema 为准,拿不准标注待确认
常见误区
- 误区:全文索引等于搜索引擎。正解:它支持词项匹配,复杂相关性排序仍需外部检索能力。
- 误区:分词配置不影响中文效果。正解:中文分词方式直接决定能否被检索到,需实测。
追问
- 问:前缀匹配用哪种分词?答:按官方 tokenizer 取值选择前缀类切分,具体行为以文档为准。
- 问:英文大小写敏感吗?答:取决于 lowercase 配置,查询前先核对索引设置。
05.6.3.2-013 on_disk 开关在集合配置里控制什么?
频率 ★★★★☆ | 难度 基础
一句话结论
on_disk 控制对应数据(向量或量化编码)是否落盘存储而非驻留内存;开启后内存占用下降,代价是按需读取的磁盘 IO 与冷访问延迟。
概念解释
- 作用层级:可作用于向量本体或量化编码,具体可配置层级以官方文档为准。
- 加载方式:索引入口可先驻留,候选向量按需从磁盘取回。
- 权衡:冷数据与大集合用它换容量,热高频集合不宜全部落盘。
原理流程
配置 on_disk → 段固化时数据写盘 → 检索取候选 → 按需读盘计算距离
→ 内存只保留索引入口与热缓存
代码 / 命令
# 建集合 / 向量 / 量化配置中的 on_disk 开关
# 对比开关前后的内存占用与 P99 磁盘等待
常见误区
- 误区:on_disk 只影响备份文件。正解:它决定运行期数据是驻留内存还是按需读盘。
- 误区:开启后索引也在磁盘。正解:索引结构与向量存储是不同层级,需分别核对。
追问
- 问:on_disk 能在线改吗?答:存储类配置变更通常需要重建或重新加载,以版本支持为准。
- 问:怎么判断数据该不该落盘?答:按访问频次与延迟目标分层,热集合留内存。
05.6.3.2-014 稀疏向量在集合里怎么表示?
频率 ★★★☆☆ | 难度 基础
一句话结论
稀疏向量以“索引-权重”的非零项表示,适合关键词权重类检索(如 BM25 适配),可与稠密向量放在同一 point 的命名向量映射中参与混合检索。
概念解释
- 结构:只存非零维度及其权重,维度空间大但非零项少。
- 用途:关键词匹配、词项权重检索,与稠密语义向量互补。
- 参与方式:作为命名向量之一独立配置,混合查询时与稠密路结果融合。
原理流程
文本 → 词项权重 → 稀疏向量(索引 + 权重)→ 命名向量写入
混合查询:稀疏路 + 稠密路 → 融合排序
代码 / 命令
# 稀疏向量结构与可选修饰项(如 IDF 类权重)以官方文档为准
# 与稠密向量分别声明在 named_vectors 中
常见误区
- 误区:稀疏向量和稠密向量用同一距离配置。正解:表示与距离语义不同,需独立配置。
- 误区:稀疏向量能替代全文索引。正解:词项精确匹配与过滤仍可借助 payload 全文索引。
追问
- 问:稀疏向量需要归一化吗?答:取决于权重方案与距离类型,以官方稀疏向量说明为准。
- 问:BM25 分数怎么进 Qdrant?答:可把 BM25 权重映射为稀疏向量权重,具体方案需验证召回。
05.6.3.2-015 HNSW 的 m 参数在 Qdrant 中如何影响结构与内存?
频率 ★★★★★ | 难度 进阶
一句话结论
m 决定图中每个节点的邻接连接数,加大 m 提升图连通性与召回上限,但图结构内存与构建成本同步上升;应在召回达标前提下取较小值。
概念解释
- 结构影响:连接数越多,节点间路径越密,候选探索更充分。
- 内存影响:邻接表随 m 与向量数增长,是索引内存的主要构成之一。
- 调参方向:先按推荐区间起步,用 golden set 核对召回,再按内存与延迟调整。
原理流程
定 m → 段构建图 → 邻接表落盘 / 驻留 → 查询沿邻接探索
召回不足且内存宽裕 → 适当加大 m;内存紧张 → 适当下调并验证召回
代码 / 命令
# hnsw 配置中的邻接连接数字段(字段名以官方文档为准)
# 对比不同 m 下的 recall@k、索引内存与构建耗时
常见误区
- 误区:m 越大检索越快。正解:连接过密增加遍历与内存开销,延迟可能反而上升。
- 误区:m 只管召回不管内存。正解:邻接表是 HNSW 内存占用的大头。
追问
- 问:m 与查询 ef 怎么配合?答:m 决定图底子质量,ef 决定单次探索宽度,两者分别评估。
- 问:改 m 要重建吗?答:构建参数变化需要重建索引才作用于旧段。
05.6.3.2-016 ef_construct 如何影响索引构建过程?
频率 ★★★☆☆ | 难度 进阶
一句话结论
ef_construct 控制建图时插入节点的搜索宽度,取值越大构建越精细、图质量越好,但构建耗时与临时内存越高;它不直接决定查询期速度。
概念解释
- 构建行为:插入新节点时探索多少候选来选择邻居,宽度越大邻居选择越优。
- 成本:构建阶段 CPU 与临时占用随宽度上升,大批量导入时更明显。
- 与查询参数区别:构建宽度在建索引时生效,查询期 ef 是另一组参数。
原理流程
导入向量 → 按 ef_construct 搜索邻居 → 建立连接 → 段固化
构建慢 / 内存高 → 下调;召回不足 → 上调并重建
代码 / 命令
# hnsw 构建宽度字段(以官方 schema 为准)
# 观察:索引构建任务耗时、构建期 CPU 与内存峰值
常见误区
- 误区:ef_construct 越大在线查询越快。正解:它只影响构建质量,在线速度由查询 ef 与图结构共同决定。
- 误区:构建参数可以在写入过程中动态改旧段。正解:旧段需重建索引才采用新参数。
追问
- 问:大批量导入构建慢怎么办?答:先合并小段、控制导入节奏,再评估是否下调构建宽度。
- 问:构建峰值内存看哪里?答:索引构建任务期间的节点 RSS 与临时分配曲线。
05.6.3.2-017 full_scan_threshold 起什么作用?
频率 ★★★☆☆ | 难度 进阶
一句话结论
当段规模小于阈值时检索可退化为全段扫描而非走图索引,避免小段上索引维护与遍历的固定开销;阈值设定影响小段的执行方式与延迟。
概念解释
- 退化条件:段内向量数低于阈值时直接扫描计算距离。
- 适用:极小段上全扫可能比图遍历更快,省掉索引结构开销。
- 注意:阈值过大时较多段退化为扫描,会影响整体 ANN 收益。
原理流程
段加载 → 比较段规模与阈值 → 小于阈值:全扫;否则:走 HNSW 图
→ 过滤条件在两种方式下分别应用
代码 / 命令
# hnsw 配置中的阈值字段(字段名与默认值以官方文档为准,不要凭记忆写数字)
# 观察:小段数量占比、扫描执行的查询延迟
常见误区
- 误区:阈值越高越好。正解:阈值过大会让本该走索引的段退化为扫描,召回与延迟都受影响。
- 误区:全扫一定不准确。正解:全扫是精确距离计算,ANN 才是近似。
追问
- 问:小段过多说明什么?答:写入固化节奏或合并策略有问题,应先减少碎片段。
- 问:阈值能按集合分别设吗?答:在集合索引配置中声明,具体支持范围以版本为准。
05.6.3.2-018 查询期 hnsw_ef 如何权衡召回与延迟?
频率 ★★★★★ | 难度 进阶
一句话结论
查询 ef 控制单次检索的候选探索宽度:加大 ef 提高召回但增加候选计算与延迟,调小 ef 更快但可能漏召;按业务 SLA 在召回达标下取较小值。
概念解释
- 召回方向:探索越宽,越有机会找到近邻,召回率上升。
- 延迟方向:候选数增加,距离计算与过滤成本同步上升。
- 可调性:查询参数可按请求或集合覆盖,不必重建索引。
原理流程
查询 → ef 限定候选探索宽度 → 取候选 → 过滤 / 重排 → TopK
压测:不同 ef 下对比 recall@k 与 P99 → 选达标最小 ef
代码 / 命令
# 查询请求中的 hnsw_ef 参数(以官方 API 为准)
# 基线:先取集合默认行为,再按 golden set 逐步上调找拐点
常见误区
- 误区:ef 越大越好。正解:超过拐点后召回提升有限,延迟持续上升。
- 误区:ef 可以替代构建参数。正解:图结构底子由构建参数决定,ef 只是运行期探索宽度。
追问
- 问:高过滤选择率下 ef 还要调大吗?答:先看过滤后剩余规模,候选不足时适当放宽探索。
- 问:ef 能按集合统一设吗?答:可在集合配置设基线,单次请求再覆盖,具体以 API 为准。
05.6.3.2-019 scalar quantization 有哪些关键配置项?
频率 ★★★★☆ | 难度 进阶
一句话结论
标量量化配置包含量化类型、分位边界、编码是否常驻内存与是否落盘等选项;各选项分别影响精度、内存与磁盘模式,具体字段名与默认值以官方文档为准。
概念解释
- 量化边界:按向量分布确定压缩映射范围,异常值处理影响精度。
- 常驻内存:编码是否尽量留在内存,影响读取延迟。
- 落盘:量化编码可按 on_disk 配置放磁盘,与向量本体落盘分开评估。
原理流程
配置量化项 → 写入时按边界编码 → 检索用编码计算近似距离 → 按配置决定内存 / 磁盘读取
代码 / 命令
# 量化配置段:type / quantile / always_ram / on_disk(字段名以官方 schema 为准)
# 不确定默认值时标注待确认,用官方文档或实际集合读取接口核对
常见误区
- 误区:量化配置只决定压缩比。正解:内存驻留与落盘策略也由这些选项控制。
- 误区:quantile 越宽越安全。正解:边界设置影响异常向量压缩精度,需用样本数据核对。
追问
- 问:量化编码能单独 on_disk 吗?答:支持情况以官方量化配置说明为准。
- 问:怎么核对实际生效配置?答:读集合配置接口,逐项对照请求中的量化段。
05.6.3.2-020 binary quantization 与 oversampling 如何配合?
频率 ★★★★☆ | 难度 进阶
一句话结论
二值粗筛可能需要多取候选再交给后续精排,oversampling 按倍数放大候选规模以补偿粗筛精度损失;放大倍数越大候选越多,延迟成本越高。
概念解释
- 粗筛损失:二值表示区分度低,近邻可能被粗筛提前淘汰。
- oversampling:检索时多取若干倍候选,再用更高精度表示重排保留正确结果。
- 权衡:倍数提高召回兜底,但候选计算与传输成本同步增加。
原理流程
二值粗筛 → 按 oversampling 倍数取候选 → 精排 / 重打分 → TopK
对比不同倍数下召回与 P99,取达标最小倍数
代码 / 命令
# 查询请求中的 oversampling 参数(字段名与取值范围以官方文档为准)
# 与量化方式、是否保留原始向量联合评估
常见误区
- 误区:oversampling 能完全弥补二值精度。正解:它只是扩大候选,粗筛漏掉的近邻仍找不回。
- 误区:倍数越高结果越准且无成本。正解:候选规模直接影响延迟与内存缓冲。
追问
- 问:oversampling 只用于二值量化吗?答:它服务于量化粗筛的候选放大,适用场景以官方说明为准。
- 问:候选放大后还要重打分吗?答:若保留更高精度表示,建议重排以保证 TopK 质量。
05.6.3.2-021 product quantization(产品量化)在 Qdrant 中是什么状态?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
产品量化在 Qdrant 中属于实验 / 受限支持状态,能否用于生产、可用参数与兼容范围必须以当前版本官方说明为准,面试与方案中应明确标注待确认。
概念解释
- 原理定位:把向量切子空间分别码本量化,压缩比高,但重建距离误差较大。
- 产品状态:实验特性可能随版本调整,接口与配置不保证稳定。
- 生产建议:未确认 GA 前不用于核心链路,先在隔离数据集做召回与稳定性验证。
原理流程
查版本说明 → 确认 PQ 是否可用及限制 → 隔离环境验证召回 / 延迟 → 再决定是否引入
代码 / 命令
> 待确认:product quantization 在当前版本的可用性、配置字段与稳定性承诺,
> 验证方式:查阅官方文档 release notes 与集合配置接口支持情况。
常见误区
- 误区:文档提过 PQ 就等于生产可用。正解:实验特性可能缺修复、参数不稳定或被移除。
- 误区:PQ 压缩比高就优先选。正解:精度损失与成熟度要和 scalar / binary 实测对比。
追问
- 问:PQ 与标量量化怎么选?答:成熟度与召回验证优先,压缩比作为次级指标,结论以实测为准。
- 问:实验特性上线前要准备什么?答:版本锁定、回滚方案、隔离数据集召回基线与降级开关。
05.6.3.2-022 rescore(重打分)如何工作,原始向量要不要保留?
频率 ★★★★★ | 难度 进阶
一句话结论
量化粗筛得到候选后,用更高精度表示(保留的原始向量或高精度编码)重新计算距离精排;是否保留原始向量决定重打分精度与内存占用。
概念解释
- 作用:修正量化近似带来的排序偏差,提升最终 TopK 质量。
- 前提:精排所需的高精度数据必须仍可读取,受保留策略与 on_disk 配置影响。
- 成本:保留原始向量占用内存,重排增加候选计算量。
原理流程
量化取候选 → 取回高精度向量 → 重新计算距离 → 精排 TopK
未保留原始向量 → 只能用编码近似重排,精度上限受限
代码 / 命令
# 核对:集合是否保留原始向量、量化编码是否常驻内存 / 落盘
# 配置项名称以官方文档为准,不确定处标注待确认
常见误区
- 误区:量化后系统自动无损重排。正解:重排精度取决于保留了什么数据。
- 误区:重打分不占资源。正解:候选向量取回与距离计算都有 CPU 与 IO 成本。
追问
- 问:内存紧张时要不要保留原始向量?答:先用 golden set 量化召回,不达标再保留或调量化参数。
- 问:重打分在哪个环节执行?答:候选选出之后、返回 TopK 之前,与过滤顺序按执行链路确定。
05.6.3.2-023 oversampling 查询参数与集合量化配置是什么关系?
频率 ★★★☆☆ | 难度 进阶
一句话结论
oversampling 是查询期放大候选倍数的参数,配合集合层量化粗筛使用;集合配置决定压缩方式,查询参数决定每次检索多取多少候选兜底。
概念解释
- 分层:量化配置在建集合时固定,oversampling 在请求时可调。
- 联动:压缩越激进,越可能需要更大候选倍数兜底。
- 边界:参数取值范围与默认值以官方文档为准,避免写死数字。
原理流程
集合量化粗筛 → 请求带 oversampling → 候选放大 → 精排 → TopK
按召回与延迟拐点确定倍数
代码 / 命令
# 集合配置(量化)与查询参数(oversampling)分开核对
# 压测矩阵:量化方式 × 候选倍数 × 查询 ef
常见误区
- 误区:oversampling 是集合固定参数。正解:它属于查询期可调项。
- 误区:设了 oversampling 就不用看重打分。正解:候选放大与精排是两个环节。
追问
- 问:候选倍数对大 TopK 有影响吗?答:TopK 越大,保底候选池也要相应放大,否则尾部结果质量下降。
- 问:默认倍数是多少?答:以官方当前版本文档为准,不要凭记忆填写。
05.6.3.2-024 怎么对比量化前后的召回差异?
频率 ★★★★☆ | 难度 进阶
一句话结论
用同一批标注查询集,分别在原始向量基线与量化集合上跑相同 TopK,对比 recall@k 与结果重合度,同时记录延迟与内存,不能只凭主观判断相关性。
概念解释
- 基线:未量化或全精度集合作为参照。
- 指标:召回率、TopK 重合度、P99 延迟、内存占用。
- 控制变量:查询集、TopK、ef 与过滤条件保持一致,只改量化配置。
原理流程
构造 golden set(query + 相关 id)→ 基线集合跑批 → 量化集合跑批
→ 对比 recall@k / 重合度 / 延迟 / 内存 → 达标再上线
代码 / 命令
# 数据集覆盖典型与边界 query;结果按类目分组统计,避免平均值掩盖劣化
# 记录量化方式、参数、模型版本与采集条件
常见误区
- 误区:抽几条 query 看看就行。正解:小样本无法暴露长尾召回劣化。
- 误区:只比召回不比延迟。正解:量化收益要同时看内存、延迟与召回三项。
追问
- 问:召回下降多少可接受?答:按业务相关性标准定阈值,检索核心场景从严。
- 问:量化后结果偏科怎么办?答:分查询类型看召回,定位是哪类向量压缩损失大。
05.6.3.2-025 稀疏向量如何配置索引与检索?
频率 ★★★★☆ | 难度 进阶
一句话结论
稀疏向量作为命名向量独立声明,按其非零项结构参与检索;关键词权重类路与稠密语义路分开召回,再在混合查询中融合。
概念解释
- 声明方式:在 named_vectors 中为稀疏向量单独配置,结构与稠密向量不同。
- 权重修饰:是否支持 IDF 类修饰项以官方稀疏向量文档为准。
- 检索配合:稀疏路负责词项匹配,稠密路负责语义近似,结果融合互补。
原理流程
稀疏向量写入命名槽位 → 查询指定稀疏向量路 → 按权重匹配
→ 与稠密路 prefetch → 融合排序
代码 / 命令
# 稀疏向量结构:{ 索引: 权重 },具体 schema 与距离类型以官方文档为准
# 融合方式见混合查询题,此处只关注稀疏路配置
常见误区
- 误区:稀疏向量直接复用稠密距离配置。正解:表示方式与匹配语义不同,需独立配置。
- 误区:稀疏路不需要验证权重分布。正解:极端权重会主导排序,需核对词项分布。
追问
- 问:稀疏向量适合中文吗?答:取决于词项切分与权重方案,需用中文查询集验证。
- 问:能只存稀疏向量不存稠密吗?答:可以,但失去语义近似能力,按业务检索目标决定。
05.6.3.2-026 命名向量之间的距离与索引是否相互独立?
频率 ★★★☆☆ | 难度 进阶
一句话结论
每个命名向量可独立声明维度、距离度量与索引 / 量化配置,检索按名称选路;各路配置互不影响,混合融合发生在查询层而非向量存储层。
概念解释
- 独立配置:维度、距离、HNSW 与量化按名称分别设置。
- 数据对齐:同一 point 下各路向量共享 id 与 payload,便于结果对齐。
- 查询层:分别召回后再融合,存储层不跨路混算距离。
原理流程
建集合:named_vectors → 各路独立配置
写入:同一 point 填多路向量
查询:按名称分别取候选 → 查询层融合
代码 / 命令
# 核对集合配置中各命名向量的 size / distance / 索引段
# 新增一路向量需检查命名映射与写入数据结构
常见误区
- 误区:改一路量化会影响其他路。正解:各路压缩与索引独立。
- 误区:命名向量自动共享索引。正解:索引按向量名称与结构分别建立。
追问
- 问:一路向量维度变更影响其他路吗?答:只影响该路,但结构变更通常仍需重建对应集合。
- 问:结果怎么对齐同一文档?答:各路结果通过共同 point id 归并,payload 一次回传。
05.6.3.2-027 payload 索引类型怎么按字段选择?
频率 ★★★★★ | 难度 进阶
一句话结论
整数、浮点、字符串、geo、text 各有对应索引类型,按字段取值形态与查询条件选择;类型与条件不匹配会导致索引失效或语义错误。
概念解释
- keyword:字符串精确匹配与集合成员判断。
- integer / float:数值范围比较。
- geo:地理位置圆形 / 矩形过滤。
- text:分词后的词项匹配。
原理流程
看字段取值 → 看查询条件(匹配 / 范围 / 位置 / 词项)→ 选索引类型
→ 建索引 → 条件写法与类型对应
代码 / 命令
# 索引类型枚举以官方 schema 为准
# 例:tenant_id → keyword;score → float;location → geo;title → text
常见误区
- 误区:数值字段建 keyword 索引也能范围查。正解:范围比较应使用数值类型索引。
- 误区:geo 字段当普通字符串过滤。正解:地理位置距离 / 范围需要 geo 索引与条件。
追问
- 问:一个字段能建多种索引吗?答:以版本支持为准,通常按主查询用途选一种。
- 问:数组字段选什么类型?答:按数组元素类型与匹配方式确定,具体写法参考过滤语法。
05.6.3.2-028 嵌套 payload 对象如何过滤与建索引?
频率 ★★★☆☆ | 难度 进阶
一句话结论
嵌套对象通过路径定位字段,条件作用在嵌套路径上;数组对象的匹配规则与平铺字段不同,写过滤前要确认嵌套路径与元素匹配语义。
概念解释
- 路径:条件字段名按对象层级书写,定位到嵌套叶子字段。
- 数组对象:对象数组中元素级匹配的语义需按官方嵌套规则确认。
- 索引:嵌套字段是否可单独建索引、索引范围以版本支持为准。
原理流程
payload 嵌套结构 → 确定过滤路径 → 条件按路径书写 → 匹配数组元素或对象属性
→ 命中候选进入 ANN
代码 / 命令
# 过滤条件字段路径按对象层级表达(写法以官方过滤语法为准)
# 复杂嵌套先在小数据集上验证命中是否符合预期
常见误区
- 误区:嵌套字段和平铺字段写法一样。正解:路径与数组元素匹配规则不同。
- 误区:任意深嵌套都能高效索引。正解:深度与数组结构影响索引效率,必要时平铺常用过滤字段。
追问
- 问:常用过滤字段建议平铺吗?答:高频过滤属性可平铺到顶层字段,简化路径与索引。
- 问:嵌套对象不索引能查吗?答:能,但退化为扫描,大集合下性能差。
05.6.3.2-029 索引应该在数据导入前建还是导入后建?
频率 ★★★★☆ | 难度 进阶
一句话结论
小集合可边导入边建索引;大批量导入时先规划索引配置,导入后集中构建更利于控制构建峰值,但要权衡导入期间未索引段的检索表现。
概念解释
- 边写边建:写入同步维护索引,导入完即可检索,但持续占用构建资源。
- 先导后建:批量写入后统一构建,构建峰值集中,便于错峰控制。
- 段状态:未索引段在检索时可能退化扫描,导入期间不对外提供高质量检索。
原理流程
评估规模与导入方式 → 定索引方案 → 批量导入 → 构建索引 / 等待完成
→ 校验索引状态与召回 → 开放检索
代码 / 命令
# 大批量:分批导入,观察段数量与构建任务积压
# 开放检索前确认索引构建完成
常见误区
- 误区:先导数据再补索引没有成本。正解:集中构建的 CPU 与内存峰值需要单独规划。
- 误区:导入期间索引就已生效。正解:新段未完成构建前检索质量受影响。
追问
- 问:索引构建慢怎么控节奏?答:分批导入、错峰构建、控制并行度,避免挤占在线查询。
- 问:怎么确认索引已就绪?答:读集合 / 段状态接口核对索引完成情况。
05.6.3.2-030 删除与重建索引在什么场景下需要?
频率 ★★★☆☆ | 难度 进阶
一句话结论
索引参数调整、量化方式变更或索引状态异常时需要重建;删除旧索引后按新配置重建,过程要预留构建窗口并校验召回。
概念解释
- 触发:改 HNSW / 量化参数、修复异常段、更换模型向量。
- 流程:导出或保留原数据 → 删除 / 重建索引 → 等待构建 → 校验。
- 风险:重建期间检索质量下降或退化扫描,应避开高峰。
原理流程
记录原配置 → 确认数据可重建 → 触发索引重建 → 监控构建进度
→ 完成后对比召回与延迟 → 恢复正常流量
代码 / 命令
# 重建前备份快照;构建期观察 CPU / 内存峰值与段状态
# 索引删除能力与重建接口以官方文档为准
常见误区
- 误区:参数改完旧索引自动转换。正解:结构类参数通常需要显式重建。
- 误区:重建不影响线上。正解:构建与扫描退化都会影响在线延迟,需错峰。
追问
- 问:重建索引要不要重新导入向量?答:取决于改动层级,索引重建可复用段数据;向量结构变更则需重建集合。
- 问:重建失败怎么办?答:保留旧索引或快照回退,先定位构建资源不足还是数据异常。
05.6.3.2-031 向量、图结构、量化编码与 payload 各占多少内存?
频率 ★★★★★ | 难度 进阶
一句话结论
内存由向量本体、HNSW 邻接表、量化编码、payload 与查询缓冲几部分构成;量化压缩主要减小向量本体,邻接表与 payload 仍需单独估算。
概念解释
- 向量本体:point 数 × 维度 × 每维字节。
- 图结构:邻接连接数 × 向量数,随 m 增长。
- 量化编码:压缩后字节数远小于原始向量。
- payload 与缓冲:标量字段存储 + 并发查询的临时候选缓冲。
原理流程
分别估算向量 / 邻接表 / 编码 / payload → 加查询缓冲 → 乘副本数
→ 导入后用实际 RSS 回填模型
代码 / 命令
# 估算时注明:维度、量化方式、m、副本数
# 不要只按原始向量大小或只按压缩编码估算总内存
常见误区
- 误区:量化后内存只剩编码。正解:邻接表、payload 与缓冲仍在。
- 误区:payload 很小可忽略。正解:字段多、值长时 payload 存储不可忽略。
追问
- 问:哪部分最容易被低估?答:HNSW 邻接表与查询候选缓冲,高并发下明显。
- 问:怎么验证估算?答:小规模真实导入后读进程 RSS 与集合占用,按比例放大。
05.6.3.2-032 如何读取与更新集合参数?
频率 ★★★☆☆ | 难度 进阶
一句话结论
集合配置通过读取接口查看当前向量、索引、量化与 payload 索引状态;可更新项走对应变更接口,不可变项需重建集合,变更后回读核对生效值。
概念解释
- 读取:返回向量配置、hnsw、量化、payload 索引与段状态。
- 更新:区分可在线更新的索引 / 量化项与必须重建的结构项。
- 核对:变更后重新读取配置,确认参数已按预期生效。
原理流程
读取当前配置 → 比对目标参数 → 可更新项走变更接口 → 不可变项走重建
→ 回读核对 → 验证召回
代码 / 命令
# 集合读取 / 变更接口路径以官方 API 为准
# 记录变更前后配置快照,便于回滚对比
常见误区
- 误区:变更接口返回成功就作用于旧数据。正解:旧段是否采用新参数取决于重建与加载机制。
- 误区:配置只在请求里传一次。正解:持久化配置要回读确认落库。
追问
- 问:集合配置读出来字段看不懂怎么办?答:对照官方 schema 逐项核对,不确定的标注待确认。
- 问:变更失败如何回退?答:按变更前快照恢复参数,必要时从快照重建集合。
05.6.3.2-033 集合级参数与查询级覆盖是什么关系?
频率 ★★★☆☆ | 难度 高级
一句话结论
集合层参数定义基线结构与默认行为,查询层参数按请求覆盖探索宽度等运行项;构建类参数不能被单次查询覆盖,两者作用层级不同。
概念解释
- 集合级:向量结构、图构建参数、量化与索引,建集合时确定。
- 查询级:ef、候选放大、返回字段等每次请求可调整。
- 边界:查询覆盖只影响当次执行,不改持久化配置。
原理流程
请求到达 → 读取集合基线配置 → 应用查询级覆盖 → 执行检索
→ 返回结果,集合配置保持不变
代码 / 命令
# 排障:结果异常先分清是集合配置问题还是单次请求参数问题
# 覆盖参数名以官方查询 API 为准
常见误区
- 误区:查询调大 ef 就算改了集合索引。正解:基线图结构未变,只改变当次探索。
- 误区:所有集合参数都能请求级覆盖。正解:构建与结构类参数不行。
追问
- 问:怎么判断某次慢是参数还是结构问题?答:固定查询参数对比不同集合,或固定集合对比参数变化。
- 问:查询级覆盖有上限吗?答:取值范围以官方文档为准,过大候选会推高延迟。
05.6.3.2-034 向量 on_disk 与量化编码 on_disk 有何区别?
频率 ★★★★☆ | 难度 高级
一句话结论
向量落盘控制原始向量是否驻留内存,量化编码落盘控制压缩表示的存储位置;两者可独立配置,组合决定重打分能力、内存占用与磁盘读取量。
概念解释
- 原始向量落盘:内存只留索引与编码,精排需从磁盘取回原始向量。
- 编码落盘:压缩表示放磁盘,粗筛阶段就有磁盘读取。
- 组合判断:重打分精度取决于高精度数据是否仍可快速读取。
原理流程
分别配置向量与编码存储位置 → 检索按层级取数 → 粗筛读编码 → 精排取回原始向量
→ 评估内存、IO 等待与召回
代码 / 命令
# 两项配置在向量段与量化段分别设置,字段名以官方文档为准
# 压测时单独开关,对比各自对 P99 的影响
常见误区
- 误区:只要开了 on_disk 就统一走磁盘。正解:向量与编码是两个可独立控制的层级。
- 误区:编码落盘不影响粗筛速度。正解:粗筛每次都要读编码,磁盘访问直接影响延迟。
追问
- 问:热集合建议怎么配?答:热数据保留内存驻留,冷数据分层落盘。
- 问:精排数据全落盘会怎样?答:候选取回产生随机 IO,高并发下延迟上升明显。
05.6.3.2-035 多模态 / 多模型向量在集合中如何建模?
频率 ★★★★☆ | 难度 高级
一句话结论
同一 point 用命名向量分别承载不同模态或模型产出的向量,共享 id 与 payload;建模时要明确各路维度、距离、更新频率与融合方式,避免多路混在一个向量里。
概念解释
- 分路承载:文本、图片、不同模型向量各占命名槽位,配置独立。
- 对齐键:id 与 payload 保证多路结果指向同一文档。
- 变更边界:某路换模型时只影响该路,但维度变化通常需重建。
原理流程
梳理模态与模型 → 定义命名向量及配置 → 写入多路向量
→ 查询按路召回 → 融合排序 → 结果按 id 对齐
代码 / 命令
# 设计记录:每路维度、距离、模型版本、更新时间字段
# 模型版本写入 payload,便于灰度与回溯
常见误区
- 误区:把多路特征拼进一个长向量。正解:拼集会破坏各路距离语义,应分路命名。
- 误区:各路向量同步更新。正解:不同模态更新频率不同,要处理缺失向量情况。
追问
- 问:某路向量缺失怎么处理?答:写入时该槽位留空或按业务规则补默认值,检索时注意过滤。
- 问:多模态融合权重在哪调?答:在查询融合环节调整,存储层不混算距离。
05.6.3.2-036 scalar 与 binary 量化能否叠加使用?
频率 ★★★☆☆ | 难度 高级
一句话结论
两种量化能否组合、以什么层级组合取决于当前版本支持;组合目的通常是二值粗筛加标量 / 原始向量精排,生产前必须在隔离环境验证组合召回与稳定性。
概念解释
- 组合思路:低精度表示粗筛,较高精度表示兜底精排。
- 成熟度:可用组合与配置字段以官方文档为准,实验组合不直接上核心链路。
- 成本:多套编码并存会增加存储与构建开销。
原理流程
核对版本支持 → 配置组合 → 导入构建 → 对比单量化与组合的召回 / 内存 / 延迟
→ 达标再灰度
代码 / 命令
> 待确认:scalar 与 binary 叠加的配置方式与支持版本,
> 验证方式:查阅官方量化文档与 release notes,在测试集合实测。
常见误区
- 误区:量化叠加层数越多越好。正解:编码并存放大存储与构建成本,收益需实测。
- 误区:组合一定提升召回。正解:精排数据保留不足时组合同样会漏召。
追问
- 问:组合后内存怎么估?答:按各套编码体积分别估算,再加图结构与 payload。
- 问:不稳定的组合怎么降级?答:保留回退到单量化或原始向量集合的方案。
05.6.3.2-037 如何建立召回验证的 golden set 流程?
频率 ★★★★☆ | 难度 高级
一句话结论
golden set 是带相关标注的查询与命中 id 集合,用于在参数变更前后量化 recall@k;流程要固定数据集、查询条件与 TopK,并按查询类型分组统计。
概念解释
- 标注:每条 query 给出应命中的相关 point id 列表。
- 一致性:基线与对比跑批使用同一数据集、过滤条件与 TopK。
- 分组:按类目、难度、模态分组,避免平均指标掩盖局部劣化。
原理流程
采样典型 / 边界 query → 标注相关 id → 基线集合跑批 → 变更后集合跑批
→ 算 recall@k 与重合度 → 分组对比 → 不达标回退参数
代码 / 命令
# 记录:模型版本、集合参数、量化方式、TopK、ef、采集时间
# 数据集定期补充新 query,避免只覆盖旧场景
常见误区
- 误区:golden set 一次建立永久不变。正解:业务语料变化后要补充标注与新场景。
- 误区:只看总体 recall。正解:长尾分组劣化往往被平均值掩盖。
追问
- 问:没有人工标注怎么办?答:可用高精度检索结果作为弱标注基线,但需人工抽检。
- 问:召回达标后还要看什么?答:同时看 P99、内存与候选规模,不能只看精度。
05.6.3.2-038 高维集合的参数调优按什么顺序?
频率 ★★★☆☆ | 难度 高级
一句话结论
先定维度与距离是否合理,再定量化压缩与重打分策略,然后调 HNSW 构建参数,最后在查询期微调 ef;不要一开始就堆大参数试探。
概念解释
- 前置:维度由模型决定,距离匹配归一化方式。
- 压缩:量化决定内存与精度基线,重打分决定兜底质量。
- 索引与查询:构建参数定图底子,查询参数定运行探索宽度。
原理流程
核对维度 / 距离 → 选定量化与保留策略 → 调 m / ef_construct 构建
→ 压测调查询 ef 与候选放大 → 不达标回到压缩或降维方案
代码 / 命令
# 每步固定其他变量,单参数对比 recall@k 与 P99
# 记录每轮参数与指标,便于回退
常见误区
- 误区:先调大 ef 解决一切。正解:图底子与压缩策略不匹配时,查询参数补不回来。
- 误区:高维必须上最重索引。正解:先评估降维与量化,再决定图参数。
追问
- 问:调参后召回仍不达标?答:回到模型与维度层面检查,参数空间内可能已到上限。
- 问:调参实验怎么不影响线上?答:在测试集合与影子数据上完成后再灰度。
05.6.3.2-039 全段扫描在什么条件下被触发,成本如何?
频率 ★★★☆☆ | 难度 高级
一句话结论
段规模低于阈值、或索引不可用 / 未就绪时检索退化为扫描段内向量逐一算距离;扫描是精确结果,但随段数与候选过滤成本线性增长,小段碎片化会放大扫描开销。
概念解释
- 触发:小段阈值退化、索引未构建完成、部分查询条件导致索引路径不适用。
- 成本:每段都要遍历向量与过滤字段,段越多固定开销越大。
- 与 ANN 区别:扫描结果精确但不走近似图,大数据量下延迟不可接受。
原理流程
查询进入段 → 判断索引是否可用与段规模 → 可用则走图 → 否则扫描
→ 各段结果归并;段碎片越多扫描总耗时越高
代码 / 命令
# 观察:段数量、未索引段比例、扫描类查询延迟
# 小段过多先做合并 / 调整固化节奏
常见误区
- 误区:扫描慢是因为过滤条件复杂。正解:段碎片与未索引段同样会让扫描成本上升。
- 误区:扫描结果不可靠。正解:扫描是精确距离计算,问题在性能不在精度。
追问
- 问:怎么判断线上有没有大量扫描?答:结合段状态与查询延迟画像,必要时开调试日志核对执行方式。
- 问:索引未就绪的表现?答:新导入段查询退化扫描,召回与延迟波动,构建完成后恢复。
05.6.3.2-040 如何判断一个 payload 字段是否值得建索引?
频率 ★★★★☆ | 难度 高级
一句话结论
从过滤频率、选择率与集合规模判断:高频且能显著缩小候选集的字段值得建;低选择率、极少过滤或极小集合字段收益有限,还要计入写入与存储成本。
概念解释
- 频率:查询中经常作为条件的字段优先。
- 选择率:能过滤掉大部分数据的字段收益高;几乎不过滤的字段索引帮助有限。
- 成本:索引占用存储并在写入时维护,低频字段建索引可能得不偿失。
原理流程
统计查询条件分布 → 评估各字段选择率 → 大集合高频高选择率字段建索引
→ 上线后观察过滤耗时与索引维护成本 → 复盘去留
代码 / 命令
# 观察:字段过滤后的剩余候选比例、查询延迟、索引占用
# 组合条件中先评估主过滤字段
常见误区
- 误区:给所有字段建索引最保险。正解:写入放大与存储成本随索引数量上升。
- 误区:低选择率字段索引也能加速。正解:过滤后仍扫大量候选,索引收益被抵消。
追问
- 问:多字段组合怎么建索引?答:先按最高选择率字段评估,组合执行路径以引擎实现为准。
- 问:集合很小时要建索引吗?答:小集合扫描成本低,索引收益有限,可按需建。
05.6.3.2-041 文本索引的分词与大小写如何影响中文检索?
频率 ★★★☆☆ | 难度 高级
一句话结论
分词方式决定文本被切成哪些可检索 token,大小写折叠决定英文匹配是否敏感;中文效果取决于词项切分粒度,必须用真实语料验证,不能假设分词默认可用。
概念解释
- 分词粒度:词、空白、前缀等方式对不同语言效果不同。
- 大小写:lowercase 配置决定英文是否折叠为统一形式。
- 长度过滤:min / max token 长度影响哪些词项进入索引。
原理流程
文本写入 → 按配置分词与折叠 → token 入索引
查询 → 同样切分 → 匹配 token → 命中候选
代码 / 命令
# 中文场景:构造含常见词与缩写的测试集,核对能否被检索到
# tokenizer 取值与参数名以官方文档为准
常见误区
- 误区:英文分词配置直接适用于中文。正解:中文没有空格边界,切分方案需单独验证。
- 误区:索引建好不区分大小写。正解:是否折叠由 lowercase 配置决定。
追问
- 问:匹配不到已知文本怎么办?答:先核对分词结果与 token 长度范围,再看大小写是否一致。
- 问:前缀检索选哪种配置?答:按官方 tokenizer 取值选前缀类,用样本验证前缀命中。
05.6.3.2-042 geo 索引与地理位置过滤如何工作?
频率 ★★★☆☆ | 难度 高级
一句话结论
geo 字段存储经纬度点,索引支持圆形半径与矩形范围过滤;查询条件按位置圈定候选集合,再与向量检索组合,适合附近地点类业务。
概念解释
- 数据格式:经纬度坐标写入 geo 类型字段。
- 条件类型:半径圆过滤、矩形边界过滤,具体条件写法以官方语法为准。
- 组合:位置过滤作为 ANN 前的候选裁剪条件。
原理流程
写入 geo 点 → 建 geo 索引 → 查询带位置条件 → 圈定范围内 point
→ 在范围内做向量近邻检索
代码 / 命令
# geo 索引类型与条件字段名以官方文档为准
# 验证:边界点、跨经纬度线的样本是否按预期命中
常见误区
- 误区:geo 点当普通字符串存也能按距离过滤。正解:位置计算需要 geo 类型与索引。
- 误区:半径按直线距离即可忽略球面。正解:距离口径以引擎实现为准,边界场景需核对。
追问
- 问:多个地点怎么存?答:数组形式的 geo 点,匹配规则按官方嵌套 / 数组语义确认。
- 问:geo 过滤选择率低怎么办?答:位置范围过宽时裁剪有限,应结合其他高选择率条件。
05.6.3.2-043 哪些集合改动必须重建集合,哪些可以在线变更?
频率 ★★★☆☆ | 难度 高级
一句话结论
向量维度、距离、命名结构等基础变更必须重建集合;索引、量化、payload 索引部分参数可在线更新或重建索引,具体可支持项以版本兼容说明为准。
概念解释
- 必须重建:改变向量结构、维度或距离语义,旧数据无法原地适配。
- 可在线 / 重建索引:索引参数、量化配置、payload 索引增删,按接口能力处理。
- 变更窗口:重建集合需要导出导入与召回校验,需预留业务窗口。
原理流程
提出改动 → 查官方兼容说明 → 分类:结构变更走重建;索引类走变更 / 重建索引
→ 影子验证 → 灰度切流
代码 / 命令
# 重建步骤:快照导出 → 建新集合 → 导入 → 校验 → 切流 → 观察后下线旧集合
# 不确定可变性时标注待确认,不凭印象承诺在线修改
常见误区
- 误区:任何参数都能在线改完生效。正解:结构类改动必须重建,旧段不会自动转换。
- 误区:重建集合可以直接覆盖旧集合。正解:先建新并校验,再切流避免影响线上。
追问
- 问:在线变更后旧数据何时生效?答:取决于索引重建与段加载机制,需回读状态确认。
- 问:重建期间双写怎么做?答:新旧集合双写、影子读对比,再按灰度切流。
05.6.3.2-044 索引构建期的资源峰值出现在哪里?
频率 ★★★★☆ | 难度 高级
一句话结论
构建峰值集中在图构建的邻居搜索、量化编码与段固化阶段,CPU、临时内存与磁盘 IO 同时上升;大批量导入时构建峰值常高于稳态,需要单独规划。
概念解释
- CPU:建图搜索邻居与量化计算密集。
- 内存:构建临时候选与邻接表分配。
- IO:段固化、索引文件写盘与快照叠加。
原理流程
批量写入 → 段固化 → 图构建 / 量化编码 → 写索引文件
→ 观察构建任务的 CPU、RSS、磁盘 IO 峰值 → 控制导入节奏
代码 / 命令
# 压测记录:构建耗时、峰值 CPU / 内存 / IO、构建完成时间
# 大批量分批错峰,避免构建与在线查询争抢资源
常见误区
- 误区:按稳态内存规划即可。正解:构建峰值可能明显高于稳态,容量要留余量。
- 误区:构建慢只加 CPU。正解:磁盘 IO 与段碎片也可能是瓶颈。
追问
- 问:构建期间能接在线查询吗?答:可以,但资源竞争会抬高 P99,关键导入应错峰。
- 问:构建峰值过高怎么缓解?答:分批导入、合并小段、降低构建宽度、错峰执行。
05.6.3.2-045 更换 Embedding 模型时集合维度变更怎么落地?
频率 ★★★★☆ | 难度 高级
一句话结论
换模型通常意味着新维度或新距离语义,不能原地更新旧向量;应新建集合写入新向量,双写灰度、影子读对比召回后再切流,旧集合保留回滚窗口。
概念解释
- 不兼容点:新旧向量维度、分布与距离语义不同,不能混存检索。
- 双写:业务写入同时进新旧集合,保证两边数据对齐。
- 影子读:主链路读旧集合,旁路读新集合对比结果与召回。
原理流程
新模型产出向量 → 建新集合(新维度 / 距离)→ 双写 → 影子读对比
→ 灰度切流 → 观察召回与延迟 → 下线旧集合
代码 / 命令
# payload 记录模型版本与更新时间,便于对账与回溯
# 切换前用同一 golden set 对比新旧模型召回
常见误区
- 误区:直接把旧向量截断到新维度。正解:简单截断破坏语义,必须用新模型重新产出。
- 误区:切换后旧集合立即删除。正解:保留一个完整业务周期的回滚窗口。
追问
- 问:双写期间数据不一致怎么办?答:按主键对账,差异修复任务补写缺失与过期向量。
- 问:新模型召回下降怎么判断?答:用 golden set 分组对比,定位是模型问题还是参数配置问题。
05.6.3.2-046 集合配置类报错常见原因有哪些?
频率 ★★★☆☆ | 难度 高级
一句话结论
配置报错多为维度不符、距离枚举拼写错误、字段类型与索引类型不匹配、量化 / 索引配置不被当前版本支持;排错先核对请求 schema 与版本兼容说明。
概念解释
- 写入侧:向量长度与声明维度不符、id 类型错误、payload 类型混用。
- 配置侧:枚举值拼写、索引类型与字段类型不匹配、参数越界。
- 版本侧:实验特性或新参数在当前版本不可用。
原理流程
看报错字段与信息 → 核对集合 schema → 检查枚举 / 类型 / 版本支持
→ 修正请求或配置 → 回读集合确认生效
代码 / 命令
# 保留报错请求体,对照官方 schema 逐项核对
# 不确定的参数标注待确认,查文档或测试集合验证
常见误区
- 误区:报错只看 HTTP 状态码。正解:响应中的字段级错误信息才定位到具体参数。
- 误区:换个大参数重试即可。正解:类型与结构错误不会因重试消失。
追问
- 问:接口接受了配置但行为不对?答:回读集合配置核对生效值,确认旧段是否需要重建。
- 问:版本不支持某参数怎么办?答:升级到支持版本或改用兼容方案,不要在配置里留无效项。
05.6.3.2-047 参数压测矩阵怎么设计?
频率 ★★★☆☆ | 难度 高级
一句话结论
压测矩阵控制变量分组:量化方式、HNSW 参数、查询 ef、候选放大与 TopK 组合对照,每组记录召回、P99、内存与构建成本,找出召回达标的最省参数组合。
概念解释
- 变量分组:压缩层、构建层、查询层分别取值,避免一次改多项无法归因。
- 指标:recall@k、P99 与错误率、内存占用、构建耗时。
- 数据集:使用贴近真实分布与维度的数据集,结论注明采集条件。
原理流程
定基线参数 → 逐层单变量对比 → 组合候选 → 跑批量查询集 → 记录指标
→ 选召回达标且延迟 / 内存最优组合 → 灰度验证
代码 / 命令
# 矩阵表头:量化 / m / ef_construct / 查询 ef / oversampling / TopK
# 每组重复多轮取稳定分位值,避免单次波动
常见误区
- 误区:参数一次全改看整体效果。正解:无法归因的实验结论不可复现。
- 误区:只压查询不看构建。正解:构建峰值与长期稳态都要计入成本。
追问
- 问:矩阵组合太多怎么办?答:先按文献 / 经验缩窄区间,逐层筛选后再组合。
- 问:压测结果如何固化?答:记录参数与指标基线,后续版本升级时回归对比。
05.6.3.2-048 给定 RAG 语料,如何设计一个完整的 Qdrant 集合参数方案?
频率 ★★★★★ | 难度 高级
一句话结论
方案按「数据与模型输入 → 向量结构与命名 → 索引与量化 → payload 索引 → 查询参数基线 → 召回验证与容量」展开,每个决策写明依据、取舍与验证方式。
概念解释
- 输入:chunk 数、维度、模型版本、过滤维度(租户 / 时间 / 权限)、QPS 与延迟目标。
- 决策:单向量或命名向量、距离、HNSW 参数、量化与重打分、payload 索引、稀疏向量是否引入。
- 交付:集合配置草案、参数基线、golden set 召回结果、内存估算与扩容触发条件。
原理流程
1) 梳理语料与模型 → 2) 定向量结构与距离 → 3) 定索引与量化
4) 规划 payload 索引 → 5) 定查询参数基线 → 6) golden set 验证召回
7) 估算内存与构建峰值 → 8) 灰度上线与回归
代码 / 命令
# 面试表达:先给假设 → 再给配置决策 → 再说取舍 → 最后说验证与回滚
# 不确定默认值处标注待确认,不编造版本与参数数字
常见误区
- 误区:方案只写索引参数。正解:过滤字段、量化重打分与召回验证缺一不可。
- 误区:默认参数直接套生产。正解:必须用真实数据集压测与召回核对。
追问
- 问:内存紧张先动哪一项?答:先评估量化与降维,保留重打分兜底,再调图参数。
- 问:方案上线后怎么复盘?答:对比实际召回、P99 与内存基线,回填参数模型。
参考来源
- Qdrant 集合与向量配置文档:https://qdrant.tech/documentation/concepts/collections/
- Qdrant 量化与压缩说明:https://qdrant.tech/documentation/concepts/quantization/
- Qdrant 索引与 HNSW 参数:https://qdrant.tech/documentation/concepts/indexing/
- Qdrant payload 索引与过滤:https://qdrant.tech/documentation/concepts/filtering/
- Qdrant 稀疏向量说明:https://qdrant.tech/documentation/concepts/vectors/