05.6.8.1 dense_vector 与 kNN 查询
所属:全栈开发面试题库 / 05 数据库与存储 / 05.6 向量数据库与语义检索 / 05.6.8 Elasticsearch 与 OpenSearch 向量检索
覆盖范围
- dense_vector 字段映射:dims、index、similarity、element_type、index_options
- 向量存储形态:可检索索引与仅存储 doc_values 的区别
- kNN 查询结构:field、query_vector、k、num_candidates、filter、boost
- 预过滤与后过滤在向量检索中的行为差异与结果条数问题
- script_score 精确检索、ANN 召回加重打分两段式
- 稀疏向量字段、多向量字段、维度与模型一致性
- 段级图索引、分片候选与全局归并、常见 mapping 与写入错误
参数主线
建索引:dense_vector 字段(dims / similarity / element_type / index_options)
↓ 写入:浮点数组或 Base64,维度必须与 mapping 一致
检索:kNN 近似检索(k + num_candidates + filter)
或:script_score 精确检索(先 filter 缩小候选,再逐文档算相似度)
融合:ANN 候选 → 原始向量重打分 → 返回 TopK
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.6.8.1-003 | index 参数 true/false 的存储与可用性差异 | 进阶 | ★★★★★ |
| 05.6.8.1-007 | element_type 各取值的精度与存储代价 | 进阶 | ★★★★★ |
| 05.6.8.1-015 | kNN 查询的两种写法与参数结构 | 进阶 | ★★★★★ |
| 05.6.8.1-016 | k 与 num_candidates 的含义和关系 | 进阶 | ★★★★★ |
| 05.6.8.1-018 | 写在 knn 子句内的预过滤 | 进阶 | ★★★★★ |
| 05.6.8.1-022 | script_score 精确检索写法 | 进阶 | ★★★★★ |
| 05.6.8.1-032 | 分片级候选与全局归并 | 进阶 | ★★★★☆ |
| 05.6.8.1-045 | 向量索引磁盘与内存占用估算 | 高级 | ★★★★☆ |
| 05.6.8.1-046 | 常见 mapping 错误清单 | 基础 | ★★★★☆ |
| 05.6.8.1-048 | 完整 mapping 加 kNN 查询模板 | 高级 | ★★★★★ |
05.6.8.1-001 dense_vector 字段在 Elasticsearch 里承担什么角色?
频率 ★★★★★ | 难度 基础
一句话结论
dense_vector 是专门存放稠密嵌入向量的字段类型,服务于 kNN 近似检索与 script_score 精确打分,不承担倒排关键词检索职责。
概念解释
- 定位:存储模型产出的浮点向量,配合相似度度量完成近邻查找。
- 边界:不能被 term、match 等全文或词项查询直接命中,也不参与聚合与排序。
- 配套:文档仍需保留原始文本字段与标量元数据,向量字段只负责语义相似性计算。
原理流程
业务文本/图像 → Embedding 模型 → 浮点向量数组 → 写入 dense_vector 字段
检索时:查询向量 → kNN 或 script_score → 相似度排序 → 回表取原文
代码 / 命令
# 字段类型必须显式声明为 dense_vector,普通 object 或数组不会生成向量索引
常见误区
- 误区:向量字段可以像 text 一样做关键词搜索。正解:向量只参与相似度计算,关键词命中走 text/keyword 字段。
- 误区:有了向量字段就不需要原文存储。正解:检索结果回表、展示与过滤都依赖原文与标量字段。
追问
- 问:dense_vector 与 sparse_vector 的分工?答:前者存稠密嵌入用于语义近邻,后者存词项权重用于稀疏匹配,二者可在同一索引并存。
- 问:OpenSearch 里对应的类型是什么?答:knn_vector,由 k-NN 插件提供,参数结构与 dense_vector 不同。
05.6.8.1-002 dims 参数起什么作用,不指定会怎样?
频率 ★★★★☆ | 难度 基础
一句话结论
dims 声明向量维度,必须与 Embedding 模型输出长度一致;未显式指定时,ES 会按第一条写入向量的长度确定维度,后续维度不符的文档会写入失败。
概念解释
- 作用:固定字段向量长度,是图索引与距离计算的前置条件。
- 未指定行为:维度由首条入文档确定,属于隐式约束,容易在换模型后踩坑。
- 上限:可索引向量的维度上限随版本变化,具体数值以对应版本官方文档为准,不要照搬旧版本数字。
原理流程
建索引声明 dims=N → 写入向量长度校验 → 长度不符则该文档拒绝入库
未声明 dims → 首条向量定长 → 后续文档按同一长度校验
代码 / 命令
"embedding": { "type": "dense_vector", "dims": 768, "index": true, "similarity": "cosine" }
常见误区
- 误区:dims 可以事后按新数据自动调整。正解:维度属于 mapping 约束,变更通常需要重建索引。
- 误区:不同模型产出的向量可以混写在同一字段。正解:维度甚至语义空间都不同,混写会让相似度结果失真。
追问
- 问:写入时维度不符报什么现象?答:bulk 响应中对应文档报错拒绝,其余文档不受影响,需要逐批排查失败项。
- 问:维度写小了能否直接改 mapping?答:已存在的向量字段维度不可直接修改,需新建索引并全量重建。
05.6.8.1-003 index 参数为 true 与 false 有什么区别?
频率 ★★★★★ | 难度 进阶
一句话结论
index: true 会为向量构建可被 kNN 检索的图索引;index: false 只把向量作为二进制 doc_values 存储,只能在 script_score 等脚本打分中使用,不能走 kNN 检索 API。
概念解释
- index: true:建立专用向量索引结构,支持近似 kNN 检索,占用额外索引空间与内存。
- index: false:向量落盘为二进制存储,写入更快、更省空间,但检索时需逐文档扫描计算。
- 默认值随版本变化:较早版本默认 false,新版本默认 true;上线前应对照所用版本文档确认,不要凭记忆写。
原理流程
index=true → 向量入库 → 构建图索引 → kNN 查询可直接召回
index=false → 向量仅存二进制 → 只能 script_score 遍历打分 → 数据量小时可用
代码 / 命令
"embedding": { "type": "dense_vector", "dims": 768, "index": false }
# 该字段不能出现在 kNN 查询的 field 参数中
常见误区
- 误区:只要存了向量就能 kNN 搜索。正解:必须 index: true 且映射了 similarity,kNN 才可检索。
- 误区:index: false 也能建 HNSW。正解:false 不生成图索引,近似检索无从谈起。
追问
- 问:什么场景用 index: false?答:小规模数据走脚本精确打分、或向量仅用于事后导出/二次计算,不需要在线近邻检索。
- 问:从 false 改成 true 要重做数据吗?答:索引结构变更需要重新索引已有文档,不能靠动态映射自动补齐。
05.6.8.1-004 similarity 有哪些取值,分别对应什么距离场景?
频率 ★★★★☆ | 难度 进阶
一句话结论
similarity 决定向量间的比较方式,常见取值为 l2_norm、dot_product、cosine、max_inner_product;选哪一种取决于向量是否归一化以及业务要度量距离还是内积。
概念解释
- l2_norm:欧氏距离,度量向量空间中的直线距离,对幅度敏感。
- cosine:余弦相似度,只比较方向,ES 内部会对向量做单位归一化后计算。
- dot_product:点积,要求向量为单位长度,是 cosine 的高效实现路径。
- max_inner_product:最大内积,不要求归一化,向量幅度直接影响得分,适合推荐类内积排序。
原理流程
确定向量是否归一化 → 确定要比较方向还是幅度 → 选 similarity → 建索引固化该度量
检索时 _score 由所选 similarity 派生为正数,越大越相关
代码 / 命令
"embedding": {
"type": "dense_vector", "dims": 768,
"index": true, "similarity": "cosine"
}
常见误区
- 误区:四种 similarity 可以事后随意切换。正解:度量随索引固化,切换需重建索引。
- 误区:dot_product 可以直接喂未归一化向量。正解:float 类型下两边都需单位长度,否则点积结果不可比。
追问
- 问:cosine 与 dot_product 性能差异?答:向量已归一化时 dot_product 更高效;需要保留原始向量或无法预归一化时用 cosine。
- 问:max_inner_product 得分会是负数吗?答:ES 会把内积调整为正分,原始内积的正负含义需结合官方换算公式理解。
05.6.8.1-005 cosine 与 dot_product 在选型上怎么取舍?
频率 ★★★★☆ | 难度 进阶
一句话结论
向量已做单位归一化时优先 dot_product,计算更省;无法保证归一化或需要保留原始幅度信息时用 cosine,二者语义接近但约束不同。
概念解释
- 共同基础:归一化后点积与余弦在数学上等价。
- dot_product 约束:float 元素类型下文档与查询向量都必须是单位长度。
- cosine 行为:ES 索引期自动归一化,原始向量仍可通过脚本访问,零模长向量不允许参与 cosine 计算。
原理流程
写入侧:模型输出 → L2 归一化 → 选 dot_product
或:不归一化直接入库 → 选 cosine → 检索期由 ES 处理归一化
代码 / 命令
# 归一化伪代码:v / sqrt(sum(v_i^2))
# 归一化后再入库,dot_product 的结果才具备可比性
常见误区
- 误区:dot_product 比 cosine 更准确。正解:归一化前提下二者等价,差异在计算效率与约束,不在精度。
- 误区:cosine 支持零向量。正解:零模长下余弦无定义,这类向量入库或检索都会出问题。
追问
- 问:byte 元素类型下 dot_product 有什么额外要求?答:两边向量需具有相同长度,否则结果不准确,具体公式以官方文档为准。
- 问:归一化在客户端做还是服务端做?答:写入侧统一做最可控;混用未归一化数据是排名错乱的常见来源。
05.6.8.1-006 max_inner_product 与 dot_product 的本质区别是什么?
频率 ★★★☆☆ | 难度 高级
一句话结论
dot_product 面向单位向量比较方向,max_inner_product 面向未归一化向量按内积大小排序,向量幅度会直接进入排名,适合偏好型推荐而不适合纯语义方向匹配。
概念解释
- 幅度参与:max_inner_product 不要求归一化,模长大的向量内积天然占优。
- 得分调整:ES 会把内积结果映射为正分,负内积与非负内积使用不同的换算方式。
- 适用边界:适合评分、偏好强度类向量;纯文本语义相似性通常仍用 cosine。
原理流程
业务向量含偏好强度 → 不归一化 → 选 max_inner_product → 内积越大排名越前
纯语义方向匹配 → 归一化 → cosine/dot_product
代码 / 命令
"embedding": { "type": "dense_vector", "dims": 256, "index": true, "similarity": "max_inner_product" }
常见误区
- 误区:max_inner_product 就是带符号的点积查询。正解:它有专门的得分映射与使用前提,不能当作 dot_product 的别名。
- 误区:幅度大一定好。正解:幅度是否有业务含义取决于向量产出方式,盲目用内积排序会被模长带偏。
追问
- 问:推荐召回为什么常用内积?答:用户/物品向量的内积可直接编码偏好强度,与推荐目标对齐。
- 问:得分低于 1 与高于 1 分别怎么还原原始内积?答:按官方 similarity 文档给出的分段公式换算,不要凭经验反推。
05.6.8.1-007 element_type 各取值在精度与存储上有什么差异?
频率 ★★★★★ | 难度 进阶
一句话结论
element_type 决定每个维度的编码宽度:float 占 4 字节精度最高,byte 占 1 字节,bit 每维 1 位,bfloat16 占 2 字节;压缩越狠存储越省,但精度损失与可选相似度约束越多。
概念解释
- float:默认 4 字节浮点,覆盖全部相似度与索引类型。
- bfloat16:2 字节浮点,范围与 float 对齐但精度更低,版本支持情况以官方文档为准。
- byte:1 字节整数,适合量化后的向量,相似度可选范围受限。
- bit:1 位每维,面向比特向量,维度必须是 8 的倍数,且只支持 l2_norm 度量。
原理流程
评估精度容忍度 → 选元素类型 → 核对该类型支持的 similarity 与索引类型 → 估算存储
存储 ≈ 向量数 × 维度 × 每维字节数 × 索引放大系数
代码 / 命令
"embedding": {
"type": "dense_vector", "dims": 768, "index": true,
"element_type": "float", "similarity": "cosine"
}
常见误区
- 误区:换成 byte 或 bit 不影响召回。正解:量化会损失精度,需用召回基准验证,不能只看存储下降。
- 误区:bit 向量也能算余弦。正解:bit 只支持 l2_norm,选择其他度量会被 mapping 拒绝。
追问
- 问:bfloat16 与 float16 是一回事吗?答:不是,bfloat16 保留更大的指数范围、尾数更少;ES 文档明确区分了 bfloat16 编码,不要混称。
- 问:元素类型能对已有索引改吗?答:属于存储编码变更,需要重建索引并重新入库向量。
05.6.8.1-008 bit 向量有哪些硬性约束?
频率 ★★★☆☆ | 难度 进阶
一句话结论
bit 向量每维存 1 位,维度必须是 8 的倍数,相似度只允许 l2_norm;它面向二值化向量场景,不能与普通浮点向量混用。
概念解释
- 维度约束:按位存储,长度需凑满整字节。
- 度量约束:仅 l2_norm 可用,其余相似度在 bit 类型下不成立。
- 数据来源:通常由模型输出经二值化得到,而非原始浮点嵌入直接截断。
原理流程
浮点向量 → 二值化阈值处理 → bit 向量 → 按 8 的倍数对齐维度 → 建 bit 索引 → l2_norm 检索
代码 / 命令
"bit_vector": {
"type": "dense_vector", "dims": 512,
"element_type": "bit", "similarity": "l2_norm", "index": true
}
常见误区
- 误区:把浮点数组直接写进 bit 字段。正解:bit 字段要求比特编码,直接传浮点会被拒绝或产生错误结果。
- 误区:bit 也能用 cosine 做语义检索。正解:度量受限,语义方向比较不适用。
追问
- 问:bit 向量的召回怎么评估?答:与对应浮点基线在同一判断集上对比 recall@k,确认二值化损失可接受。
- 问:bit 适合什么业务?答:超高维、对存储敏感、可用汉明式距离区分的场景,具体以官方支持范围为准。
05.6.8.1-009 index_options 里的算法类型有哪些,怎么选?
频率 ★★★★☆ | 难度 高级
一句话结论
index_options.type 选择向量索引算法:基础 HNSW、带标量/二值量化的 HNSW 变体以及 flat 暴力检索;不同版本开放的类型不同,选型要对照所用版本文档并验证召回。
概念解释
- hnsw:标准图索引,精度与内存占用居中。
- 量化变体:在 HNSW 上叠加 int8/int4/bbq 等压缩,以精度换内存,具体名称与可用版本以官方文档为准。
- flat:原始向量暴力扫描,适合小规模或作为重打分兜底。
- 注意:索引类型与 element_type、similarity 之间存在兼容约束,不能任意组合。
原理流程
规模与延迟目标 → 评估内存预算 → 候选算法类型 → 小样本压测召回与 P99 → 固化 mapping
代码 / 命令
"embedding": {
"type": "dense_vector", "dims": 768, "similarity": "cosine",
"index_options": { "type": "hnsw", "m": 16, "ef_construction": 100 }
}
常见误区
- 误区:量化类型越新越好。正解:压缩必然牺牲部分精度,必须用真实判断集回归。
- 误区:index_options 可以在建索引后随时改。正解:索引结构变更需要重建索引。
追问
- 问:怎么确认当前版本支持哪些 type?答:查对应版本 dense_vector 文档的 index_options 章节;拿不准时在测试集群提交 mapping 观察是否被接受。
- 问:量化后为什么还要保留原始向量?答:用于召回后的精确重打分,兼顾速度与最终精度。
05.6.8.1-010 HNSW 的 m 与 ef_construction 怎么理解?
频率 ★★★★☆ | 难度 进阶
一句话结论
m 控制图上每个节点的出边数,影响图连通性与内存;ef_construction 控制建图时追踪的候选邻居数量,影响建图精度与写入速度;二者都是建索引期参数,不直接等于查询期候选数。
概念解释
- m:节点间连接上限,取值越大图越密、内存越高、建图越慢。
- ef_construction:构建阶段候选列表大小,越大图质量越好、写入吞吐越低。
- 默认值:HNSW 的 m 默认 16、ef_construction 默认 100(以官方文档为准);查询期候选由查询参数控制。
原理流程
写入向量 → 按 ef_construction 候选建边 → 按 m 保留连接 → 形成分层图
检索期:从入口层遍历 → 受查询期候选参数约束 → 返回近邻
代码 / 命令
"index_options": { "type": "hnsw", "m": 16, "ef_construction": 100 }
常见误区
- 误区:调大 ef_construction 能加快查询。正解:它只影响建图阶段,查询性能由检索侧候选参数决定。
- 误区:m 越大召回必然越高。正解:边际收益递减而内存线性增长,需压测找平衡点。
追问
- 问:这两个参数能在线改吗?答:属于建索引参数,修改后需要重建索引才生效。
- 问:建图慢怎么调?答:先降低 ef_construction 与 m,再评估召回损失,不要在查询侧找原因。
05.6.8.1-011 index:false 的向量还能被怎么使用?
频率 ★★★☆☆ | 难度 基础
一句话结论
index:false 的向量仍可被 script_score 脚本读取并逐文档计算相似度,也可作为数据导出或重打分素材,但不能出现在 kNN 检索字段中。
概念解释
- 可用路径:脚本访问字段向量,配合 filter 缩小候选集后精确计算。
- 不可用路径:kNN 查询、向量近似检索、基于图结构的近邻遍历。
- 性能边界:无索引支撑,数据量增大后扫描成本线性上升。
原理流程
filter 命中候选集 → script_score 读取文档向量 → 逐文档算相似度 → 排序返回
候选集越大,脚本打分耗时越高
代码 / 命令
# script_score 中通过 params 查询向量与字段名引用,函数按所用 similarity 选择
常见误区
- 误区:index:false 字段在 kNN 里也能返回结果。正解:未建索引的字段走不了 kNN 路径。
- 误区:脚本打分适合大数据量在线检索。正解:它是精确但暴力的路径,只适合小候选集或离线场景。
追问
- 问:先建 false 以后还能补索引吗?答:需要改 mapping 为 true 并重新索引已有文档。
- 问:脚本打分需要权限注意什么?答:脚本访问字段受安全策略约束,生产环境避免内联复杂逻辑。
05.6.8.1-012 为什么 dense_vector 不支持聚合与排序?
频率 ★★★☆☆ | 难度 基础
一句话结论
向量是高维数值数组而非单值标量,没有可分组、可比的标量语义,因此不能直接做 terms/metric 聚合,也不能按向量字段排序;排序依据是检索计算出的相似度得分。
概念解释
- 结构原因:一个向量由 N 个浮点数组成,不存在单一分组键或排序键。
- 替代做法:把需要聚合/排序的维度落成 keyword、numeric、date 等标量字段。
- 排序来源:kNN 或 script_score 产出的 _score 反映相似程度,可按 _score 排序。
原理流程
需要按类别聚合 → 类别写入 keyword 字段 → 聚合走标量字段
需要相似度排序 → 检索算 _score → 按 _score 排序
代码 / 命令
# aggs 与 sort 子句引用的是 keyword/numeric 字段,不是 dense_vector 字段
常见误区
- 误区:可以按向量字段直接 sort。正解:向量字段不参与排序,排序用相似度得分或独立标量字段。
- 误区:向量可以做 cardinality 聚合。正解:聚合要求单值可枚举或可度量的标量。
追问
- 问:想按向量聚类结果分组怎么办?答:聚类标签作为独立标量字段写入,再对标签聚合。
- 问:相似度得分能直接当数值字段存吗?答:得分是检索期产物,不落库;需要留存要单独计算写入。
05.6.8.1-013 一个文档能存几个向量字段,向量是单值还是多值?
频率 ★★★☆☆ | 难度 基础
一句话结论
一个索引可以定义多个 dense_vector 字段分别存放标题向量、正文向量、图像向量;但每个 dense_vector 字段在单文档内是单值的,不能在同一字段下放一组向量。
概念解释
- 多字段:不同语义对象各占一个向量字段,各自映射维度与相似度。
- 单值约束:同一字段不能在文档里写成嵌套数组的数组。
- 多向量需求:如一段文本多个 chunk 的向量,应拆成多条文档,或用专门的数据模型承载。
原理流程
标题 → title_vector 字段
正文 → passage_vector 字段
图像 → image_vector 字段
同字段多 chunk → 拆文档,而不是字段内多值
代码 / 命令
"title_vector": { "type": "dense_vector", "dims": 768, "index": true, "similarity": "cosine" },
"passage_vector": { "type": "dense_vector", "dims": 768, "index": true, "similarity": "cosine" }
常见误区
- 误区:一个向量字段塞多个 chunk 向量。正解:dense_vector 单值,多 chunk 要拆文档。
- 误区:多向量字段可以互相替代检索。正解:各字段维度、模型与索引相互独立,查询时要指明目标字段。
追问
- 问:多字段向量怎么参与混合检索?答:在检索侧分别发起 kNN 或用多路检索器融合,字段间不自动合并。
- 问:一条文档挂多向量会放大多少存储?答:按字段数叠加向量与索引开销,容量估算要逐字段计。
05.6.8.1-014 向量写入支持哪两种格式?
频率 ★★★☆☆ | 难度 基础
一句话结论
向量可以写成浮点 JSON 数组,也可以写成 Base64 编码的二进制字符串;后者更紧凑,适合大维度、大批量写入降低 payload 体积。
概念解释
- 浮点数组:直观可读,调试方便,每条向量展开为 N 个数字。
- Base64 二进制:按元素类型编码为字节流再转 Base64,传输体积更小。
- 一致性:两种格式入库后都按 mapping 的 element_type 存储,检索行为一致。
原理流程
客户端:浮点数组 → 直接写入
或:浮点数组 → 按元素类型序列化 → Base64 → 写入
服务端:解码 → 校验维度与类型 → 入库建索引
代码 / 命令
# 数组格式
"embedding": [0.012, -0.334, 0.218]
# Base64 格式:元素字节序与编码宽度需与 element_type 匹配
常见误区
- 误区:Base64 只是压缩算法。正解:它是二进制编码转文本的表示,省的是 JSON 数字展开体积,不是向量本身的信息压缩。
- 误区:两种格式可以在同一字段混用。正解:编码规则要与 element_type 对齐,混写易导致解码错误。
追问
- 问:大批量导入选哪种?答:维度高、条目多时优先二进制编码减少请求体;调试期用数组更易排查。
- 问:Base64 解码失败怎么排查?答:核对字节宽度、端序与元素类型,确认序列化端与 mapping 一致。
05.6.8.1-015 kNN 查询有哪两种写法,结构上有什么区别?
频率 ★★★★★ | 难度 进阶
一句话结论
kNN 可作为搜索请求顶层的 knn 选项独立执行,也可作为 bool 等 DSL 中的 knn 查询子句参与组合;两种写法的字段、查询向量、k、num_candidates 等核心参数一致,组合能力不同。
概念解释
- 顶层 knn 选项:直接在 _search 请求里声明向量检索,结构简单。
- knn DSL 查询:作为 query 树中的子句,可与 must/should/filter 组合,具体可用版本以官方文档为准。
- 关键参数:field 指定向量字段,query_vector 为查询向量,k 为返回近邻数,num_candidates 为分片级候选数。
原理流程
顶层写法:_search → knn 选项 → 召回 TopK → 返回
DSL 写法:query.bool → knn 子句 + 其他子句 → 打分融合 → 返回
代码 / 命令
POST /my-index/_search
{
"knn": {
"field": "embedding",
"query_vector": [0.1, 0.2, 0.3],
"k": 10,
"num_candidates": 100
}
}
常见误区
- 误区:老的独立 kNN 检索端点在所有版本都可用。正解:旧端点存在废弃情况,新项目应使用 search API 内的 knn 选项或 DSL,迁移对照版本说明。
- 误区:knn 子句可以直接套在任意聚合外层。正解:组合方式受查询树约束,复杂融合优先走 retriever 框架。
追问
- 问:什么时候用顶层、什么时候用 DSL?答:纯向量召回用顶层;需要和关键词、标量条件组合时用 DSL 或 retriever。
- 问:query_vector 可以省略走模型推理吗?答:可通过查询向量构建参数在服务端用部署模型生成,具体参数名以所用版本文档为准。
05.6.8.1-016 k 与 num_candidates 分别控制什么?
频率 ★★★★★ | 难度 进阶
一句话结论
k 是最终返回的近邻条数,num_candidates 是每个分片检索时评估的候选向量数;候选数越大召回越充分但延迟越高,k 不能超过候选规模。
概念解释
- k:全局视角下需要的 TopK 结果数,对应业务分页与展示条数。
- num_candidates:分片级候选池大小,ANN 图遍历先在候选池内取近邻,再由协调节点归并。
- 关系:候选池决定召回上限,k 从归并后的候选中截取;候选过小会漏掉真正近邻。
原理流程
分片内:图遍历 → num_candidates 个候选 → 局部 TopK 返回
协调节点:合并各分片候选 → 全局排序 → 截取 k 条
代码 / 命令
"knn": { "field": "embedding", "query_vector": [...], "k": 10, "num_candidates": 100 }
# 经验方向:num_candidates 显著大于 k,按召回基准回调
常见误区
- 误区:num_candidates 就是全局候选数。正解:它是分片级参数,全局候选还需乘以分片数再归并。
- 误区:k 设多大都行。正解:k 受候选池与结果窗口约束,过大的 k 会拉低精度并增加归并开销。
追问
- 问:num_candidates 上限是多少?答:存在上限且随版本变化,提交前对照官方文档确认,不要在文档里写死旧版本数字。
- 问:召回不足先调哪个?答:先调大 num_candidates 观察 recall 与延迟变化,再考虑建图参数。
05.6.8.1-017 num_candidates 对召回与延迟怎么权衡?
频率 ★★★★☆ | 难度 高级
一句话结论
num_candidates 调大让图遍历考察更多节点,召回上升但每分片计算量与延迟增加;权衡要在固定判断集上对比 recall@k 与 P99,而不是只看单侧指标。
概念解释
- 召回侧:候选池越大,真正近邻被纳入遍历范围的概率越高。
- 延迟侧:候选越多,距离计算与归并成本越高,高并发下 P99 恶化明显。
- 分片放大:候选是分片级的,分片数多的时候全局计算量叠加更显著。
原理流程
固定查询集 → 分别取不同 num_candidates → 记录 recall@k 与 P50/P99
画召回-延迟曲线 → 选业务可接受的拐点 → 固化参数
代码 / 命令
# 压测矩阵:num_candidates = 50 / 100 / 200 / 500
# 对比指标:recall@10、P50、P99、单分片距离计算量
常见误区
- 误区:候选越大越好,直接拉满。正解:边际召回收益递减而延迟持续上升,需找拐点。
- 误区:平均延迟改善就够。正解:在线体验看 P99,候选参数对尾部延迟影响最明显。
追问
- 问:高并发下怎么保住候选规模?答:控制 k 与候选、分片均衡,必要时用量化索引降低单条计算成本。
- 问:召回掉了先怀疑候选还是索引?答:先用脚本精确检索做基线对照,再判断是候选不足还是索引/量化损失。
05.6.8.1-018 写在 knn 子句内的 filter 是预过滤吗?
频率 ★★★★★ | 难度 进阶
一句话结论
是。knn 查询子句内的 filter 在近似检索执行期间作用于候选集,属于预过滤,目标是保证返回的 k 条结果都满足过滤条件;这与写在 bool 外层、检索完成后再剔除的后过滤不同。
概念解释
- 预过滤:先确定允许参与检索的文档子集,再在子集内走图检索。
- 写法位置:filter 作为 knn 子句内部参数,与 field、query_vector 同级。
- 别名过滤:来自索引别名的过滤条件也按预过滤处理。
原理流程
过滤条件 → 标记候选文档集合 → 在该集合内 ANN 遍历 → 返回满足条件的 TopK
代码 / 命令
"knn": {
"field": "embedding",
"query_vector": [...],
"k": 10,
"num_candidates": 100,
"filter": { "term": { "category": "tech" } }
}
常见误区
- 误区:所有 filter 都在检索前生效。正解:只有 knn 子句内的 filter 与别名过滤是预过滤,其余 DSL 树中的过滤多为后过滤。
- 误区:预过滤不会影响召回。正解:过滤把候选空间切小,低选择率场景下图遍历范围受限。
追问
- 问:预过滤支持哪些条件类型?答:常用 term、range、bool 组合等标准 filter 子句,复杂条件先在测试集群验证执行路径。
- 问:过滤字段需要什么索引支撑?答:标量过滤字段应具备 keyword/numeric 等可高效过滤的映射,避免全扫描。
05.6.8.1-019 后过滤为什么会导致返回结果少于 k 条?
频率 ★★★★☆ | 难度 高级
一句话结论
后过滤先在全量向量上取回 kNN TopK,再逐条剔除不满足条件的文档;如果头部结果大部分被过滤掉,最终条数就会明显少于 k,即使剩余候选集里还有足够多的匹配文档。
概念解释
- 执行顺序:ANN 检索 → 得到 TopK → 后过滤剔除 → 返回剩余。
- 条数问题:被剔除的位置不会自动用第 k+1 条补位。
- 典型场景:bool 查询中 knn 子句与外层 filter 组合,或请求级 post_filter。
原理流程
全量 ANN → TopK=10 → 后过滤命中 2 条 → 只返回 2 条
预过滤路径:先圈定合规子集 → 子集内取 10 条 → 返回 10 条
代码 / 命令
# bool.must 放 knn,bool.filter 放标量条件 → 该过滤按后过滤处理
# 若需要凑满 k,把过滤条件放进 knn 子句的 filter(预过滤)
常见误区
- 误区:后过滤结果少是召回故障。正解:多数情况是过滤时机问题,头部样本被剔除后未补位。
- 误区:把条件写到 post_filter 就能预过滤。正解:post_filter 天然在检索完成后生效,只适合影响展示不影响打分的场景。
追问
- 问:权限类过滤该用哪种?答:必须下推到检索前参与候选圈定,避免越权文档先进入头部再被剔除。
- 问:如何判断当前是预过滤还是后过滤?答:看过滤条件在 DSL 树中的位置,对照官方 kNN 过滤章节分类。
05.6.8.1-020 过滤选择率很高或很低时,ES 会怎么调整执行?
频率 ★★★☆☆ | 难度 高级
一句话结论
当过滤条件匹配分片内足够大的向量比例时,ES 可能先按无过滤 ANN 取回候选再事后应用过滤;当匹配比例过小,会回退为检索期过滤以尽量返回合规文档;阈值由索引级设置控制,具体名称与默认值以官方文档为准。
概念解释
- 高选择率(命中多数):事后过滤成本低,避免在图检索中反复套用过滤。
- 低选择率(命中少数):检索期过滤更稳妥,防止候选池被不合规文档占满。
- 阈值配置:相关索引设置项用于调节这一回退边界,上线前应在真实数据分布下验证。
原理流程
评估过滤命中比例 → 比例高:ANN 取候选 → 事后过滤
比例低:检索期带过滤遍历 → 返回合规近邻
代码 / 命令
# 待确认:选择率阈值对应的索引设置项名称与默认值,以官方 dense_vector/kNN 文档为准
# 验证方式:在测试集对比开关前后的召回条数与延迟
常见误区
- 误区:预过滤永远在图遍历前执行。正解:执行路径会按选择率自适应调整,并非固定顺序。
- 误区:阈值可以靠请求参数改。正解:属于索引级设置,需在建索引或更新设置时调整。
追问
- 问:低选择率过滤下召回差怎么办?答:检查过滤字段索引、提高候选池,必要时把高选择率条件拆到外层。
- 问:怎么观察走了哪条路径?答:借助 profile 或查询计时信息对照候选规模,具体字段名以版本工具输出为准。
05.6.8.1-021 kNN 查询里的相似度阈值怎么设置?
频率 ★★★☆☆ | 难度 进阶
一句话结论
kNN 查询可在子句中声明最小相似度阈值,只有达到阈值的向量才视为匹配;阈值用于过滤掉距离过远的结果,避免在没有近邻时仍强行返回 k 条弱相关文档。
概念解释
- 作用:为召回加一道相关性下限,与 k 的条数上限形成双向约束。
- 度量依赖:阈值语义与所选 similarity 对应,不同度量下的数值含义不可直接套用。
- 边界:阈值过严会导致结果为空,需结合业务相似度分布校准。
原理流程
ANN 取回候选 → 按 similarity 计算相似度 → 低于阈值剔除 → 剩余结果截 k
代码 / 命令
# 在 knn 子句中按版本支持的阈值参数声明最小相似度
# 待确认:参数名与取值范围以所用版本 kNN 查询文档为准
常见误区
- 误区:所有相似度度量的阈值可以用同一个数字。正解:距离与相似度方向、量纲不同,阈值要按度量分别标定。
- 误区:设了阈值就不用调 k。正解:阈值控质量、k 控条数,两者要配合。
追问
- 问:阈值怎么标定合理?答:在标注查询集上统计命中样本的相似度分布,取业务可接受的低分位。
- 问:结果全空怎么排查?答:先去掉阈值看召回,再逐步收紧阈值定位临界点。
05.6.8.1-022 script_score 精确检索怎么写?
频率 ★★★★★ | 难度 进阶
一句话结论
script_score 查询先用内层 query/filter 限定候选文档,再在脚本中调用向量相似度函数逐文档打分;它是暴力精确计算,不使用图索引,适合小规模或强精确要求场景。
概念解释
- 结构:script_score 包裹一个 query,脚本引用 params 查询向量与字段名。
- 向量函数:cosineSimilarity、dotProduct、l2norm 等内置函数,函数名与可用范围以官方文档为准。
- 性能前提:必须先用过滤条件压缩候选集,否则逐文档扫描成本不可接受。
原理流程
内层 filter 命中候选集 → script_score 遍历候选 → 向量函数算相似度 → 加偏移保证正分 → 排序返回
代码 / 命令
POST /my-index/_search
{
"query": {
"script_score": {
"query": { "bool": { "filter": [{ "term": { "category": "tech" } }] } },
"script": {
"source": "cosineSimilarity(params.qv, 'embedding') + 1.0",
"params": { "qv": [0.1, 0.2, 0.3] }
}
}
}
}
常见误区
- 误区:script_score 也走 ANN 索引。正解:它是逐文档精确计算,无图索引加速。
- 误区:脚本里直接写死查询向量。正解:应通过 params 传入,便于复用与避免脚本编译问题。
追问
- 问:为什么余弦函数结果要加 1.0?答:把可能为负的相似度映射到正分区间,具体取值按所选函数与得分约定处理。
- 问:精确检索和 ANN 结果不一致怎么办?答:以 script_score 结果为基线,对照 ANN 的召回差距判断索引或量化损失。
05.6.8.1-023 为什么 script_score 一定要先用 filter 缩小候选集?
频率 ★★★★☆ | 难度 高级
一句话结论
脚本打分没有索引加速,候选文档数直接决定距离计算总量;先过滤到业务相关子集,才能把精确检索控制在可承受延迟内,否则全量遍历会成为在线瓶颈。
概念解释
- 成本模型:耗时近似与候选文档数 × 维度成正比。
- 过滤前置:标量条件、权限、时间范围等先在倒排层面命中候选。
- 适用规模:候选集小、数据量不大、或作为 ANN 之后的重打分环节。
原理流程
无过滤:全量文档 × 维度计算 → 高延迟
有过滤:合规子集 → 脚本只算子集 → 延迟可控
代码 / 命令
# 内层 query 优先用 filter 上下文(term/range/bool.filter),不参与相关性打分
# 候选规模压测:记录 filter 命中文档数与脚本打分耗时
常见误区
- 误区:脚本性能差是脚本语言问题。正解:根因通常是候选集过大,先收紧过滤再谈优化。
- 误区:大集合也能用 script_score 兜底。正解:数据量上来后应回到 ANN 路径,脚本只做局部精排。
追问
- 问:候选集多大算安全?答:没有通用数字,按维度、CPU 与 P99 目标压测得出阈值。
- 问:脚本里还能加业务分吗?答:可以在相似度基础上叠加权重,但要记录打分公式便于复盘。
05.6.8.1-024 ANN 召回加 script_score 重打分的两段式怎么做?
频率 ★★★★☆ | 难度 高级
一句话结论
先用量化或图索引快速召回较大候选窗口,再在窗口内用原始 float 向量做脚本重打分排序,兼顾 ANN 的速度与精确向量的精度。
概念解释
- 第一段:ANN 取候选,速度优先,可使用压缩索引。
- 第二段:rescore 窗口内用未量化原始向量重算相似度,修正压缩损失。
- 窗口控制:重打分只作用于前 N 条候选,避免全量扫描。
原理流程
ANN 召回 num_candidates 候选 → 取窗口 TopN → 原始向量 script_score 重排 → 输出最终 TopK
代码 / 命令
# rescore 结构:window_size 控制重打分窗口
# rescore_query 内为 script_score,引用保留的原始 float 向量字段
常见误区
- 误区:量化索引损失无法挽回。正解:保留原始向量做二段重打分是常见补偿手段。
- 误区:重打分窗口越大越好。正解:窗口越大二段成本越高,按收益回调。
追问
- 问:原始向量需要额外存一份吗?答:若是量化索引,原始 float 向量是否保留取决于配置;需要重打分就必须留存可访问的原始值。
- 问:两段式延迟怎么估?答:ANN 段加 rescore 段分别计时,窗口大小直接影响第二段耗时。
05.6.8.1-025 更换 Embedding 模型后为什么必须重建索引?
频率 ★★★★☆ | 难度 基础
一句话结论
不同模型产出的向量维度、数值分布与语义空间都不同,新旧向量不可比;继续混存会让相似度排名失真,必须全量重新生成向量并重建索引。
概念解释
- 维度差异:新模型维度可能不同,直接违反 mapping 约束。
- 空间差异:即使维度相同,不同模型的坐标系也不一致,距离没有可比性。
- 查询侧:查询向量必须由与入库相同的模型生成,否则召回无意义。
原理流程
选定新模型 → 新建索引(新 mapping)→ 批量重算全部文本向量 → 双写或切换别名 → 影子读对比 → 切流
代码 / 命令
# 迁移套路:新索引并行写入 → 别名指向切换 → 校验抽样召回 → 下线旧索引
常见误区
- 误区:旧向量留着,新向量增量写入即可。正解:同字段混存两个模型的向量,相似度结果不可解释。
- 误区:只换查询侧模型。正解:入库与查询必须同一模型,单换一端必然失配。
追问
- 问:怎么灰度换模型?答:双写新旧索引,影子读对比命中与相似度,再按比例切别名。
- 问:重建期间怎么保证业务连续?答:走别名切换,新旧索引并存,避免直接改线上索引 mapping。
05.6.8.1-026 向量字段 mapping 变更为什么代价高?
频率 ★★★★☆ | 难度 高级
一句话结论
dims、similarity、element_type、index_options 都属于建索引期固化的结构参数,修改意味着重建图索引甚至重新编码全部向量,通常需要新建索引并全量迁移,不能像普通字段那样动态更新。
概念解释
- 固化内容:维度约束、度量函数、编码宽度、图结构参数在建索引时确定。
- 不可变部分:已写入向量按旧结构落盘,无法原地转码。
- 迁移路径:建新索引 → 重新入库 → 别名切换 → 校验。
原理流程
评估变更项是否可动态更新 → 不可变项 → 新建目标索引 → reindex/重算向量 → 比对 → 切换
代码 / 命令
# 变更前清单:维度、度量、元素类型、索引算法、候选参数
# 变更后校验:抽样维度、相似度分布、recall@k 与旧索引基线对比
常见误区
- 误区:PUT _mapping 就能改向量参数。正解:多数向量结构参数不支持动态修改,更新会被拒绝或不生效。
- 误区:reindex 会自动重新生成向量。正解:reindex 只搬数据,向量需重新调用模型生成。
追问
- 问:哪些字段相对容易调整?答:新增向量字段、补充标量字段这类不触动已有向量结构的改动成本较低。
- 问:重建窗口怎么安排?答:低峰期批量写入,控制 bulk 节奏,避免索引构建挤占在线查询。
05.6.8.1-027 新增向量字段与修改已有向量字段有什么区别?
频率 ★★★☆☆ | 难度 基础
一句话结论
向已有索引追加一个新的 dense_vector 字段属于 mapping 扩展,新写入文档携带该字段即可;修改已有字段的维度、度量或类型则需要重建,历史文档不会自动补算新字段向量。
概念解释
- 新增字段:旧文档该字段为空,检索时只在携带向量的文档上命中。
- 补历史:需要对存量文档回填向量后才能参与该字段检索。
- 修改字段:结构参数不可原地变更,走新建索引迁移路径。
原理流程
追加字段 → mapping 增加定义 → 增量写入带向量 → 存量回填或重建 → 校验
修改字段 → 建新索引 → 全量迁移 → 切换别名
代码 / 命令
# 存量回填:按查询分批拉取旧文档 → 生成向量 → bulk 更新
# 注意回填期间的可见性与幂等
常见误区
- 误区:新增字段后旧文档自动拥有向量。正解:历史文档字段为空,必须显式回填。
- 误区:回填可以不影响在线查询。正解:批量更新会产生写入与刷新压力,需要限速与错峰。
追问
- 问:回填怎么避免重复计算?答:按文档批次记录进度,失败批次幂等重试。
- 问:新字段检索不到旧数据正常吗?答:在回填完成前属于预期,需在业务上说明数据窗口。
05.6.8.1-028 sparse_vector 字段解决什么问题?
频率 ★★★☆☆ | 难度 进阶
一句话结论
sparse_vector 存放词项到权重的稀疏表示,面向神经稀疏检索(如学习式稀疏模型产出),与稠密向量的语义近邻互补,可与 BM25、dense kNN 一起参与融合检索。
概念解释
- 数据形态:稀疏的 term-weight 映射,而非固定长度稠密数组。
- 适用场景:保留词项匹配能力的同时获得模型化权重,适合关键词扩展类召回。
- 配套查询:稀疏向量查询可结合推理模型按查询文本生成稀疏权重,具体查询写法以官方文档为准。
原理流程
文本 → 稀疏模型 → term 权重映射 → sparse_vector 字段
检索:查询文本 → 稀疏权重 → 稀疏匹配打分 → 与 dense/BM25 结果融合
代码 / 命令
# 稀疏字段映射与查询参数名以当前版本 sparse_vector 文档为准
# 待确认:所用版本是否内置对应推理流程与查询子句
常见误区
- 误区:sparse_vector 就是普通 text 字段。正解:它承载模型权重表示,检索路径与倒排词项打分不同。
- 误区:稠密与稀疏向量可以互相换算。正解:两种表示各成体系,需在检索侧分别召回再融合。
追问
- 问:什么时候需要三路融合?答:BM25 管精确词项、dense 管语义、sparse 管模型化词权重,按判断集验证是否真有增益。
- 问:稀疏字段占用特征?答:按非零项存储,维度不固定,容量估算方式与稠密向量不同。
05.6.8.1-029 稠密与稀疏字段在同一文档里怎么分工?
频率 ★★★☆☆ | 难度 进阶
一句话结论
同一索引可同时保留原文 text、dense_vector 与 sparse_vector:text 走 BM25 精确词项,dense 负责语义近邻,sparse 负责模型化稀疏匹配,三路在检索侧融合而不是互相替代。
概念解释
- 字段齐备:写入链路要为同一份内容产出三种表示。
- 召回互补:精确术语靠词项,概念相近靠稠密,扩展权重靠稀疏。
- 存储代价:每多一路表示都叠加向量与索引开销,需评估必要性。
原理流程
写入:原文 → BM25 倒排 + dense 嵌入 + sparse 权重
检索:三路各自召回 → 排序融合 → 去重归并 → TopK
代码 / 命令
# 索引内并存 text、dense_vector、sparse_vector 三类字段
# 融合检索见 05.6.8.2 混合检索章节
常见误区
- 误区:有了 dense 就可以删掉 text 字段。正解:精确编号、专有名词等仍依赖词项匹配,纯语义容易漏召。
- 误区:三路结果直接按原始分数相加。正解:分数尺度不同,需 RRF 或归一化后融合。
追问
- 问:三路都要建吗?答:先上 BM25 + dense,判断集证明稀疏有增益再加。
- 问:写入成本翻倍怎么控?答:批量异步生成向量,离线/近线入库,避免阻塞主写入链路。
05.6.8.1-030 向量图索引是建在 segment 上的吗?
频率 ★★★☆☆ | 难度 高级
一句话结论
是。向量索引结构与倒排索引一样按不可变 segment 构建,每个段持有自己的向量与图;新写入数据先进入可刷新段,刷新后形成带向量索引的新段,检索在各段上分别执行再归并。
概念解释
- 段级结构:HNSW 图按段内向量构建,不跨段共享完整图。
- 可见性:段经刷新后才可被检索,新段携带自己的向量索引。
- 合并影响:小段合并为大段时,向量图需要在新段上重建。
原理流程
写入 → 内存缓冲 → 刷新 → 生成含向量索引的 segment
检索:遍历各段向量索引 → 段内近邻 → 协调节点归并
代码 / 命令
# 观察点:段数量、各段向量规模、合并频率对图重建的影响
# 通用 refresh/flush/segment 机制见 05.5.2.3 章节,此处只关注向量索引落点
常见误区
- 误区:全局一张 HNSW 图。正解:图按段构建,段合并时重建,跨段结果靠归并。
- 误区:写入立即可被 kNN 命中。正解:需要对应段完成刷新后才可检索。
追问
- 问:段很多对向量检索有什么影响?答:每段独立遍历与归并,段过碎会增加查询开销。
- 问:合并为什么慢?答:向量图重建涉及段内全部向量的连接计算,IO 与 CPU 成本高于普通倒排合并。
05.6.8.1-031 尚未建索引的增量段在 kNN 中怎么表现?
频率 ★★★☆☆ | 难度 高级
一句话结论
新写入但尚未形成可检索向量索引的数据,在近似 kNN 中通常以兜底扫描或未索引段方式参与,召回路径与已建图段不同;这部分数据的召回质量与延迟要单独验证。
概念解释
- 未索引段:向量已存储但图索引未构建完成,检索时走兜底计算。
- 可见性窗口:从写入到段可检索、索引就绪之间存在时间差。
- 检索一致性:在线增量场景需要关注新文档多久能被语义命中。
原理流程
写入增量 → 段刷新 → 索引构建中 → 兜底路径参与检索 → 索引就绪后走 ANN
代码 / 命令
# 待确认:未索引段在所用版本中的具体检索路径与兜底策略,以官方文档为准
# 验证:写入后间隔不同时间点查询,记录新文档首次可命中时间
常见误区
- 误区:新文档写入后立刻有图索引召回。正解:索引构建与可见性存在窗口,期间走兜底路径。
- 误区:增量段不影响查询延迟。正解:兜底扫描成本高于图遍历,增量堆积时尾部延迟会上升。
追问
- 问:怎么缩短新文档可检索窗口?答:控制刷新节奏与批量大小,监控索引构建积压。
- 问:写后立即检索怎么保证?答:关键链路显式刷新或接受一致性窗口,业务侧按需重试。
05.6.8.1-032 k 是分片级还是全局级?候选如何归并?
频率 ★★★★★ | 难度 进阶
一句话结论
k 是全局最终返回的近邻数;num_candidates 是分片级候选规模,各分片先返回局部候选,协调节点合并所有分片结果后全局排序,再截取 k 条。
概念解释
- 分片内:每个分片按候选参数独立检索,产出局部近邻列表。
- 归并:协调节点汇总各分片列表,按相似度全局排序。
- 分片影响:分片越多,参与归并的局部候选越多,全局 TopK 质量与归并成本都受影响。
原理流程
请求到协调节点 → 路由到各分片 → 分片内 ANN 取候选 → 返回局部 TopK
协调层合并排序 → 截取全局 k → fetch 原文返回
代码 / 命令
# 分片规划要同时考虑容量与向量检索归并成本
# 通用分片路由机制见 05.5.2.4,此处关注向量召回的分片级行为
常见误区
- 误区:k 是每个分片返回的条数。正解:k 是全局条数,分片返回的是局部候选。
- 误区:分片越多召回越好。正解:分片过多增加归并与碎片开销,召回质量取决于候选与段状态。
追问
- 问:跨分片近邻会漏吗?答:全局归并保证各分片候选都参与排序,候选不足才是漏召主因。
- 问:副本参与检索吗?答:查询可路由到副本分担读负载,副本与主分片数据一致。
05.6.8.1-033 查询向量为什么必须与文档向量同模型同维度?
频率 ★★★★☆ | 难度 基础
一句话结论
相似度计算要求两侧向量处于同一语义空间且长度一致;模型不同则坐标系不同,维度不符则计算直接报错,因此查询侧必须用与入库相同的模型生成向量。
概念解释
- 维度一致:距离公式按逐维计算,长度不同无法配对。
- 空间一致:同维度不同模型的向量方向不可比。
- 链路对齐:入库嵌入模型、查询嵌入模型、版本都要登记并统一管理。
原理流程
入库:模型 A 版本 v1 → 向量入索引
查询:必须模型 A 版本 v1 → 生成查询向量 → 同空间比较
模型不一致 → 距离结果失真或维度报错
代码 / 命令
# 配置管理:模型名、版本、维度记录在索引元数据或配置中心
# 上线新模型走 025 题所述重建流程,不与旧索引混用
常见误区
- 误区:查询时随便换个更强模型。正解:换模型必须连同入库数据一起重建。
- 误区:维度相同就可比。正解:同维度不同模型的语义空间仍不同。
追问
- 问:模型升级了怎么过渡?答:新旧索引并存,双写加别名切换,期间查询路由到对应模型的索引。
- 问:怎么发现两侧模型不一致?答:抽样对比相似度分布,或核对向量生成配置与索引记录。
05.6.8.1-034 cosine 检索遇到零模长向量会怎样?
频率 ★★★☆☆ | 难度 进阶
一句话结论
余弦相似度在向量模长为零时没有定义,这类文档或查询向量会导致计算异常或结果不可靠;入库前应过滤零向量,查询侧也要校验模长。
概念解释
- 数学原因:余弦是点积除以模长乘积,分母为零无定义。
- 数据来源:空文本、截断异常、嵌入模型对特殊输入产出全零向量。
- 处理:写入侧拦截零向量,检索侧校验查询向量模长。
原理流程
生成向量 → 校验模长 → 非零入库;零向量记录并隔离
查询向量 → 校验模长 → 为零则走兜底文案或报错提示
代码 / 命令
# 模长校验:norm = sqrt(sum(v_i^2)),低于阈值视为异常向量
常见误区
- 误区:零向量参与 cosine 只会得低分。正解:除零属于计算异常,不是普通低分问题。
- 误区:用 dot_product 就不用检查模长。正解:未归一化数据在 dot_product 下同样不可比。
追问
- 问:空文本怎么入向量库?答:先做内容质量判断,无有效文本不生成向量,避免污染索引。
- 问:查询向量全零怎么兜底?答:降级为关键词检索或提示重新输入,不要硬算余弦。
05.6.8.1-035 返回的 _score 怎么还原成真实相似度?
频率 ★★★☆☆ | 难度 高级
一句话结论
_score 是 ES 按所选 similarity 派生的正数排名分,不是原始距离或相似度;官方文档给出了各 similarity 对应的反向换算公式,需要按度量类型套用,不能统一反推。
概念解释
- 派生规则:相似度先计算,再映射为保证为正、越大越靠前的得分。
- 换算差异:l2_norm、cosine、dot_product、max_inner_product 的反推公式各不相同。
- 使用场景:业务需要按真实相似度做阈值判断或展示时,才需要还原。
原理流程
原始距离/相似度 → 按 similarity 映射为 _score
需要原始值时 → 对照官方反向公式 → 从 _score 换算
代码 / 命令
# cosine / dot_product 常见反推形式:(2 * _score) - 1
# l2_norm 与 max_inner_product 需分段对照官方公式,不要混用
常见误区
- 误区:_score 就是余弦值。正解:_score 是派生排名分,数值范围与原始相似度不同。
- 误区:所有度量用同一公式反推。正解:度量不同公式不同,套错会得到负值或错误距离。
追问
- 问:业务想展示相似度百分比怎么办?答:按所用度量换算后再做归一化展示,避免直接展示内部 _score。
- 问:阈值判断该用 _score 还是原始相似度?答:统一用同一口径,公式在代码注释中写明来源版本。
05.6.8.1-036 标题向量与正文向量为什么要分开建字段?
频率 ★★★☆☆ | 难度 基础
一句话结论
标题与正文的语义粒度、长度和重要性不同,分开存向量字段可以分别检索、分别加权,也便于后续对标题命中做更高权重;混在一个字段里无法区分来源。
概念解释
- 粒度差异:标题短而概括,正文长而细节多。
- 检索灵活:可单独查标题相似,也可两路融合。
- 独立演进:两类内容可分别选择模型或更新节奏。
原理流程
标题 → title_vector;正文分段 → passage_vector
检索:标题路 + 正文路分别召回 → 融合排序
代码 / 命令
# 两个字段各自声明 dims、similarity、index_options
# 融合权重在检索侧控制,不在向量字段内固化
常见误区
- 误区:把标题拼进正文再生成一个向量就行。正解:拼接会稀释标题信号,分开才能分别加权。
- 误区:多字段向量必须用不同模型。正解:同一模型也可分字段,区别在内容与加权策略。
追问
- 问:正文多个 chunk 怎么存?答:每条 chunk 一条文档,共享同一标题向量或 metadata,便于聚合回主文档。
- 问:字段多了怎么控存储?答:只对需要检索的内容建向量字段,其余仅存原文。
05.6.8.1-037 向量写入失败常见有哪些报错原因?
频率 ★★★☆☆ | 难度 基础
一句话结论
最常见原因是维度与 mapping 不符、元素类型不匹配、向量为空或包含非法数值、以及字段被当成普通数组写入;排查时先看 bulk 响应的失败项与对应文档字段。
概念解释
- 维度不符:数组长度不等于 dims。
- 类型不符:元素值超出元素类型可表示范围或编码错误。
- 空值/非法值:全空、NaN、Inf 等无法参与距离计算。
- 结构错误:字段写成嵌套数组或对象,而非一维向量。
原理流程
bulk 响应 → 提取失败文档与错误原因 → 核对维度/类型/空值 → 修正生成端 → 幂等重试
代码 / 命令
# 写入前校验:长度 == dims、无 NaN/Inf、模长非零、编码与 element_type 对齐
常见误区
- 误区:一条失败导致整批回滚。正解:bulk 逐条返回结果,失败项单独重试即可。
- 误区:报错来自检索端。正解:写入失败在索引阶段就已暴露,先查入库日志与 mapping。
追问
- 问:Base64 解码报错怎么定位?答:核对字节宽度、端序、元素类型与截断长度。
- 问:NaN 是怎么进入向量的?答:模型输出异常或归一化除零,需在嵌入生成端拦截。
05.6.8.1-038 byte 元素类型下 dot_product 有什么特殊约束?
频率 ★★☆☆☆ | 难度 高级
一句话结论
byte 类型下使用 dot_product 时,文档向量与查询向量必须具有相同长度(模长一致),否则点积结果不准确;其得分换算也与 float 类型不同,不能套用 float 的公式。
概念解释
- 长度约束:byte 量化后保留的幅度信息有限,两边模长不一致会引入偏差。
- 得分公式:byte 点积的 _score 换算包含维度与缩放系数,具体公式以官方文档为准。
- 适用判断:需要精确幅度比较时,byte 量化不如 float 可靠。
原理流程
量化为 byte → 校验两侧长度一致 → dot_product 计算 → 按 byte 口径映射得分
长度不一致 → 结果偏差,不可作为排名依据
代码 / 命令
# 待确认:byte dot_product 的得分公式与长度校验细节,以官方 dense_vector 文档为准
常见误区
- 误区:byte 与 float 的点积得分可以直接比较。正解:换算口径不同,跨类型比较无意义。
- 误区:byte 量化不影响 dot_product 排名。正解:量化损失加长度约束,需召回验证。
追问
- 问:byte 向量适合什么场景?答:对存储敏感、可接受量化损失、召回有重打分兜底的场景。
- 问:怎么验证 byte 结果是否准确?答:与 float 基线在同一查询集对比 recall 与头部命中差异。
05.6.8.1-039 量化索引类型在存储与召回上如何权衡?
频率 ★★★★☆ | 难度 高级
一句话结论
标量或二值量化用更低比特表示向量,显著降低存储与内存占用,代价是相似度精度损失;是否可接受必须用真实判断集的 recall@k 验证,必要时保留原始向量重打分。
概念解释
- 压缩方向:int8、int4、bbq 等量化路线压缩比不同,具体可用类型随版本变化。
- 精度损失:低比特近似改变向量间距离,头部近邻可能错位。
- 补偿手段:原始向量二段重打分、提高查询候选、混合检索互补。
原理流程
选量化类型 → 小样本对比 float 基线 recall@k 与 P99 → 达标则上线 → 不达标加重打分或退回高比特
代码 / 命令
# 对比指标:存储体积、召回@k、头部命中率、P99 延迟
# 量化类型名称与版本支持以官方文档为准,不在题面写死版本编号
常见误区
- 误区:压缩比越高越好。正解:压缩到精度不可接受时,检索质量损失大于存储收益。
- 误区:量化后不需要再评估召回。正解:量化是精度换成本的决策,必须回归验证。
追问
- 问:内存不够先量化还是先扩容?答:先评估量化与降维空间,召回达标后再谈扩容。
- 问:量化索引能存原始向量吗?答:取决于配置;需要重打分时应保留可访问的原始值。
05.6.8.1-040 保留原始 float 向量对量化检索有什么作用?
频率 ★★★☆☆ | 难度 高级
一句话结论
原始 float 向量用于在量化召回的候选窗口内做精确重打分,修正量化带来的距离偏差,使最终排序更接近真实相似度;代价是额外存储一份未压缩向量。
概念解释
- 二段补偿:ANN 段用量化索引提速,重打分段用原始向量保精度。
- 窗口限制:只对头部候选重算,不全量遍历。
- 存储权衡:保留原始值增加磁盘与内存占用,需在成本与精度间取舍。
原理流程
量化索引召回候选 → 窗口内取原始向量 → 精确相似度重排 → 输出 TopK
代码 / 命令
# 映射中确认原始向量可被脚本访问;rescore 窗口按业务调整
常见误区
- 误区:用了量化就必须放弃原始精度。正解:二段重打分可以在大部分场景把精度拉回基线附近。
- 误区:重打分对全部候选生效。正解:它只作用于 rescore 窗口内文档。
追问
- 问:原始向量占多少存储?答:按向量数 × 维度 × 4 字节估算,再叠加索引开销。
- 问:什么时候可以不保留原始向量?答:召回验证显示量化损失可接受、且业务对头部精度不敏感时。
05.6.8.1-041 向量字段能用 term 或 match 查询命中吗?
频率 ★★☆☆☆ | 难度 基础
一句话结论
不能。dense_vector 不建倒排词项,term、match、prefix 等词项/全文查询无法命中向量字段;关键词检索必须落在对应的 text/keyword 标量字段上。
概念解释
- 存储结构:向量是数值数组与专用图索引,没有词项字典。
- 查询路径:词项查询走倒排,与向量索引是两套结构。
- 组合方式:关键词与语义召回分别走各自字段,在检索侧融合。
原理流程
term/match → 倒排字段(text/keyword)
kNN/script_score → 向量字段
两者不互换通道
代码 / 命令
# 查询 DSL 中 match/term 的 field 必须指向 text/keyword,不能指向 dense_vector
常见误区
- 误区:向量字段也能被全文检索搜到。正解:向量只参与相似度计算,原文检索靠独立文本字段。
- 误区:把向量数值当关键词搜。正解:逐维数字不构成可检索词项。
追问
- 问:想按向量值范围过滤怎么办?答:相似度阈值在 kNN/脚本路径处理,词项通道不适用。
- 问:调试时怎么确认字段类型用对了?答:查看 mapping 中字段 type,对照查询子句适用的字段类型。
05.6.8.1-042 kNN 查询中的 boost 起什么作用?
频率 ★★★☆☆ | 难度 基础
一句话结论
boost 用于调整该向量检索子句在组合打分中的权重倍率,只影响该路子句得分对最终排序的贡献,不改变相似度计算本身。
概念解释
- 作用位置:子句级权重,与检索器/子句融合配合使用。
- 不改变:向量间距离与候选召回范围。
- 适用:多路组合时需要抬高或压低某一路的影响。
原理流程
向量相似度得分 → boost 倍率 → 进入融合/打分 → 最终排序
代码 / 命令
# 在 knn 子句中按版本支持的 boost 参数设置倍率
# 待确认:boost 在 retriever 框架下的等价配置以官方文档为准
常见误区
- 误区:boost 能提高召回率。正解:它只调得分权重,不扩大候选范围。
- 误区:RRF 融合里 boost 依然直接生效。正解:RRF 只看排名,子句 boost 对排名融合的作用有限,权重需在检索器层配置。
追问
- 问:boost 调多大合适?答:在判断集上对比不同倍率的头部命中,不要凭感觉设。
- 问:权重与 RRF 怎么配合?答:需要精细权重时评估线性融合;RRF 优先保证稳健起点。
05.6.8.1-043 查询向量可以由服务端模型推理生成吗?
频率 ★★★★☆ | 难度 进阶
一句话结论
可以。除客户端传入 query_vector 外,ES 支持在检索请求中通过查询向量构建参数,调用集群内部署的嵌入模型把查询文本转为向量;具体参数名与模型部署方式以所用版本文档为准。
概念解释
- 链路:查询文本 → 服务端推理 → 查询向量 → kNN 检索。
- 前提:嵌入模型已在集群内部署并可被检索流程调用。
- 一致性:服务端模型必须与入库模型一致。
原理流程
客户端提交查询文本 → 请求携带模型引用 → 服务端推理生成向量 → kNN 检索返回
代码 / 命令
# 待确认:查询向量构建参数的名称与结构,以当前版本 kNN/语义检索文档为准
# 验证:用同一文本分别走客户端向量与服务端推理,比对输出维度与数值
常见误区
- 误区:服务端推理模型可以与入库模型不同。正解:两侧必须同一模型同一版本。
- 误区:推理不增加检索延迟。正解:查询期多一次模型编码,P99 要计入推理耗时。
追问
- 问:推理模型放集群内还是独立服务?答:按部署形态与版本能力选择,独立嵌入服务更便于多语言复用。
- 问:模型扩容怎么配合?答:推理资源与检索资源分别监控,避免编码瓶颈拖慢整体查询。
05.6.8.1-044 ES|QL 里怎么做向量检索与精确相似度计算?
频率 ★★★☆☆ | 难度 进阶
一句话结论
ES|QL 提供 KNN 函数做近似近邻检索,以及 V_COSINE、V_DOT_PRODUCT、V_L2_NORM 等向量函数在取回的行上做精确相似度计算;前者走索引近似,后者逐行求值。
概念解释
- KNN 函数:在管道中按向量字段与查询向量近似召回,结果带 _score。
- 精确函数:对已有结果集计算相似度,适合小集合精排或验证基线。
- 管道配合:WHERE 过滤、KNN 召回、EVAL 计算相似度、SORT 与 LIMIT 组合。
原理流程
FROM 索引 → WHERE 过滤 → KNN 召回 → SORT/LIMIT
或:取回候选 → EVAL V_COSINE(字段, 查询向量) → 按相似度排序
代码 / 命令
# 近似:WHERE KNN(vector_field, [0.1, 0.2, ...])
# 精确:EVAL sim = V_COSINE(vector_field, [0.1, 0.2, ...])
常见误区
- 误区:ES|QL 向量函数会自动建图索引。正解:索引仍由 mapping 决定,函数只是查询侧能力。
- 误区:精确函数适合全量扫描。正解:逐行计算成本高,应先过滤缩小结果集。
追问
- 问:ES|QL 与 DSL 检索怎么选?答:数据分析与轻量管道用 ES|QL;复杂融合与工程化检索走 DSL/retriever。
- 问:函数名以什么为准?答:对照所用版本 ES|QL 向量函数文档,不同版本函数集合可能变化。
05.6.8.1-045 向量索引的磁盘与内存怎么估算?
频率 ★★★★★ | 难度 高级
一句话结论
磁盘与内存按「向量本体大小 × 索引放大系数 × 副本数」估算:本体为向量数 × 维度 × 每维字节,图结构与量化开销额外叠加;副本与多向量字段成倍放大,需预留余量。
概念解释
- 本体:N × D × bytes_per_dim,按 element_type 取字节宽度。
- 索引放大:HNSW 图连接结构带来额外占用,量化类型会压缩本体但仍有结构开销。
- 副本放大:每个可服务副本都持有一份索引数据。
原理流程
N × D × bytes → 加图结构/量化开销 → 得到单份占用
× 副本数 → 加标量字段与日志余量 → 得到磁盘与内存预算
代码 / 命令
# 估算骨架:单份 ≈ N × D × bytes × (1 + 索引放大系数)
# 校准:小规模真实数据入库后读实际占用,按比例外推
常见误区
- 误区:只按向量本体买内存。正解:图结构、副本与查询缓冲都会放大占用。
- 误区:磁盘按一比一估算。正解:段合并前后多版本并存,需留合并余量。
追问
- 问:内存不够优先压什么?答:降维、量化、减少副本、冷热分层,逐项验证召回。
- 问:怎么校验估算偏差?答:导入样本集后对比实际占用与模型值,回填放大系数。
05.6.8.1-046 向量字段 mapping 常见错误有哪些?
频率 ★★★★☆ | 难度 基础
一句话结论
高频错误包括:漏写 index:true、similarity 与 element_type 不兼容、dims 与模型维度不符、向量字段误配聚合排序参数、把普通数组字段当向量字段;建索引前应逐项核对官方参数表。
概念解释
- 可用性错误:index 未开启导致 kNN 不可检索。
- 兼容性错误:元素类型与相似度度量组合被拒绝。
- 一致性错误:dims 与实际模型输出长度不一致。
- 概念性错误:给向量字段配置排序、聚合等不支持的能力。
原理流程
建索引前核对清单:类型 / dims / index / similarity / element_type / index_options
写入样本 → 校验维度与编码 → 小批量导入 → kNN 试召回 → 再全量
代码 / 命令
# 核对清单:
# 1) type=dense_vector 2) dims 与模型一致 3) index=true
# 4) similarity 与元素类型兼容 5) 无聚合/排序配置 6) 字段名与查询 DSL 一致
常见误区
- 误区:mapping 报错不影响后续检索。正解:结构错误会在写入或检索阶段集中暴露,上线前必须试跑闭环。
- 误区:参数默认值可以忽略不写。正解:默认值随版本变化,关键参数显式写出更可控。
追问
- 问:怎么在测试环境快速验证 mapping?答:建测试索引、写样本向量、跑一次 kNN 与脚本打分闭环。
- 问:mapping 写错了怎么补救?答:多数结构参数需新建索引迁移,不能原地修补。
05.6.8.1-047 批量写入向量时 payload 与节奏怎么控制?
频率 ★★★☆☆ | 难度 进阶
一句话结论
批量写入要控制单批文档数与 payload 体积,选择紧凑编码,并观察刷新与索引构建压力;向量维度高时单批过大容易导致请求体超限与写入延迟抖动。
概念解释
- payload:每条携带向量数组,高维下体积增长快,优先二进制编码。
- 批次大小:按单批耗时与 bulk 响应错误率回调,不盲目追求大批量。
- 节奏:避免持续高压写入挤占在线查询,错峰导入并监控段生成与索引构建。
原理流程
分批拉取文档 → 批量生成向量 → bulk 写入 → 记录失败项重试 → 限速控制段生成节奏
代码 / 命令
# 观察指标:bulk 耗时、拒绝/失败数、段刷新频率、索引构建积压
# 通用 bulk 与 refresh 机制见 05.5.2.3,此处关注向量 payload 特征
常见误区
- 误区:一批写入越多吞吐越高。正解:批次过大导致请求体超限、重试成本高,吞吐反而下降。
- 误区:批量导入不需要考虑在线查询。正解:索引构建与段合并会挤占查询资源,需限流错峰。
追问
- 问:批量失败怎么重试?答:按失败文档幂等重试,指数退避,避免整批重放放大压力。
- 问:导入期怎么保可见性?答:按业务需要控制刷新频率,导入完成后再统一校验召回。
05.6.8.1-048 给出一套完整的向量索引 mapping 与 kNN 查询模板。
频率 ★★★★★ | 难度 高级
一句话结论
完整模板包含:标量原文与元数据字段、dense_vector 字段(dims/similarity/element_type/index_options)、kNN 查询带 k 与 num_candidates、必要时预过滤;上线前用样本数据跑通写入到召回闭环。
概念解释
- 字段齐备:text 原文、keyword 过滤维度、dense_vector 向量字段;维度与模型一致,度量与元素类型兼容。
原理流程
建索引 mapping → 批量写入原文与向量 → kNN 查询(field/query_vector/k/num_candidates/filter)→ 抽样校验召回后固化参数
代码 / 命令
PUT /demo-index
{
"mappings": {
"properties": {
"content": { "type": "text" },
"category": { "type": "keyword" },
"embedding": {
"type": "dense_vector",
"dims": 768,
"index": true,
"similarity": "cosine",
"element_type": "float",
"index_options": { "type": "hnsw", "m": 16, "ef_construction": 100 }
}
}
}
}
POST /demo-index/_search
{
"knn": {
"field": "embedding",
"query_vector": [0.1, 0.2, 0.3],
"k": 10,
"num_candidates": 100,
"filter": { "term": { "category": "tech" } }
},
"fields": ["content", "category"]
}
常见误区
- 误区:模板参数可以照搬到任何场景。正解:维度、度量、算法与候选参数必须按业务数据与压测结果调整。
- 误区:只验证写入不验证查询。正解:上线前必须跑通写入、预过滤、召回、回表全链路。
追问
- 问:上线前还缺什么校验?答:判断集 recall@k、P99 延迟、存储占用、失败项比例四项基线。
- 问:后续要加混合检索怎么演进?答:在该索引上叠加 BM25 路与 RRF 融合,见 05.6.8.2 章节。
参考来源
- Elasticsearch dense_vector 字段类型:https://www.elastic.co/docs/reference/elasticsearch/mapping-reference/dense-vector
- Elasticsearch kNN 检索指南:https://www.elastic.co/docs/solutions/search/vector/knn
- Elasticsearch kNN 查询 DSL:https://www.elastic.co/docs/reference/query-languages/query-dsl/query-dsl-knn-query
- OpenSearch k-NN 索引与字段类型:https://docs.opensearch.org/2.18/search-plugins/knn/knn-index/