罗罗编程学习记录
本页内容 展开查看

05.6.1.3 查询过滤、一致性与事务

所属:全栈开发面试题库 / 05 数据库与存储 / 05.6 向量数据库与语义检索 / 05.6.1 Milvus

覆盖范围

  • 标量过滤表达式语法、运算符、可过滤字段类型与下推位置
  • 过滤选择率、表达式顺序、Partition 与 partition key 裁剪
  • 主键点查、query 与 search 分工、range search、迭代器分页、group by
  • 稀疏向量、内置全文检索、混合检索请求组织与 ranker
  • 一致性等级的请求级语义、可见性窗口、TTL 能力边界
  • 删除标记与 compaction、并发写入语义、无跨行事务下的幂等补偿
  • 数组与 JSON 字段过滤、时间过滤与时区、租户与权限过滤、offset 分页限制

检索链路主线

查询向量 + 标量表达式 expr
   ↓ 分区裁剪(partition key / 指定分区)
过滤求值(标量索引 / 顺序扫描)→ ANN 候选召回 → 融合排序
   ↓
TopK / 分组结果 / 迭代器分批返回
可见性受一致性等级与段加载状态约束

高频题速览

编号 题目 难度 频率
05.6.1.3-001 05.6.1.3-001 基础 ★★★☆☆
05.6.1.3-007 05.6.1.3-007 进阶 ★★★★★
05.6.1.3-015 05.6.1.3-015 进阶 ★★★★★
05.6.1.3-023 05.6.1.3-023 进阶 ★★★★★
05.6.1.3-025 05.6.1.3-025 进阶 ★★★★★
05.6.1.3-029 05.6.1.3-029 高级 ★★★★★
05.6.1.3-036 05.6.1.3-036 高级 ★★★★★
05.6.1.3-037 05.6.1.3-037 高级 ★★★★★
05.6.1.3-038 05.6.1.3-038 高级 ★★★☆☆
05.6.1.3-045 05.6.1.3-045 高级 ★★★★★
05.6.1.3-048 05.6.1.3-048 高级 ★★★★★

05.6.1.3-001 Milvus 标量过滤表达式的语法形态是什么?

频率 ★★★☆☆ | 难度 基础

一句话结论

过滤条件以字符串表达式 expr 形式随检索或查询请求下发,由字段名、运算符、字面值与逻辑连接符组成,服务端求值后决定候选子集。

概念解释

  • 形态:字段名 + 比较运算符 + 字面值,多条件用 AND/OR/NOT 连接。
  • 下发位置:search 与 query 请求的过滤参数中,与向量检索参数并列。
  • 求值位置:服务端在检索链路中执行,客户端只负责组装表达式。

原理流程

业务条件 → 组装 expr 字符串 → 随 search/query 下发 → 服务端求值 → 候选子集交 ANN

代码 / 命令

# 形态示例(具体语法以对应版本文档为准)
# expr: 'tenant_id == "t1" AND status == "online" AND age >= 18'

常见误区

  • 误区:过滤条件拼在向量里。正解:标量条件走 expr,与向量字段分开。
  • 误区:expr 由服务端做参数化预编译。正解:表达式字符串由客户端组装,需自行防注入。

追问

  • 问:表达式里能调用函数吗?答:支持的函数与运算符以版本文档为准,复杂逻辑应在入库前落成标量字段。
  • 问:字段名写错会怎样?答:请求校验阶段报错,不会静默忽略条件。

05.6.1.3-002 过滤表达式支持哪些运算符?

频率 ★★★☆☆ | 难度 基础

一句话结论

常见包括等值/不等值、大小比较、IN/NOT IN、LIKE 通配与 AND/OR/NOT 逻辑组合;完整可用清单随版本变化,必须以官方表达式文档为准。

概念解释

  • 比较类:等于、不等于、大于、小于、大于等于、小于等于。
  • 集合类:IN、NOT IN,匹配枚举或主键列表。
  • 模式类:LIKE 通配匹配字符串字段。
  • 逻辑类:AND、OR、NOT 组合多个条件。

原理流程

条件拆解 → 逐字段比较/集合匹配 → 逻辑组合 → 得到满足条件的主键集合

代码 / 命令

# 待确认:当前版本运算符全集、LIKE 通配规则与空值处理
# 验证:官方文档布尔表达式章节,实例上用小集合试写

常见误区

  • 误区:所有 SQL 运算符都支持。正解:表达式能力是子集,复杂集合运算需在业务侧预处理。
  • 误区:LIKE 可高效走索引。正解:前缀/通配位置不同,扫描成本差异大。

追问

  • 问:IN 列表很长有什么风险?答:表达式变长、求值与传输开销上升,需评估批量拆分。
  • 问:字符串比较区分大小写吗?答:按实现与字段类型为准,不确定时入库前统一规范化。

05.6.1.3-003 哪些标量字段类型可以用于过滤?

频率 ★★★☆☆ | 难度 基础

一句话结论

整型、浮点、字符串、布尔、数组与 JSON 等标量类型可参与过滤;向量字段本身不参与标量比较,具体类型支持矩阵以版本文档为准。

概念解释

  • 标量字段:schema 中声明的非向量字段,承载过滤与展示信息。
  • 向量字段:只用于近邻检索,不写进 expr 做比较。
  • 类型约束:部分运算符只适用于特定类型,如大小比较不用于布尔。

原理流程

schema 声明标量字段 → 写入时落库 → 查询 expr 引用字段 → 类型匹配后求值

代码 / 命令

# 设计要点:高频过滤条件在建模时落成独立标量字段,避免运行时从 JSON 解析

常见误区

  • 误区:向量字段也能在 expr 里比较。正解:向量走 ANN 检索,标量比较不适用。
  • 误区:所有标量类型过滤性能一致。正解:基数、类型与是否有标量索引差异很大。

追问

  • 问:枚举值存字符串还是整型?答:整型存储与比较更省,字符串可读性好,按团队规范权衡。
  • 问:字段类型建错能改吗?答:通常需要重建集合或迁移数据,建模阶段就要定准。

05.6.1.3-004 过滤条件在哪一层执行,能否下推?

频率 ★★★☆☆ | 难度 进阶

一句话结论

过滤在服务端检索链路中求值,可利用标量索引加速;是否在 ANN 之前下推缩小子集,取决于实现版本与过滤选择率,不能假设所有条件都先过滤。

概念解释

  • 执行位置:Proxy 校验后,由查询执行链路在节点侧完成表达式求值。
  • 加速手段:高频过滤字段建标量索引,减少顺序扫描。
  • 顺序边界:预过滤与后过滤的组合策略随版本演进,需实测确认。

原理流程

expr 下发 → 标量索引/扫描求满足集合 → 与 ANN 候选取交集或补位 → 归并 TopK

代码 / 命令

# 待确认:当前版本过滤与 ANN 的执行顺序、标量索引支持的字段类型
# 验证:官方过滤检索章节,实例对比不同选择率下扫描量与延迟

常见误区

  • 误区:过滤一定在向量检索之前。正解:执行顺序由实现与选择率决定。
  • 误区:客户端过滤一遍再传向量更安全。正解:全量拉取到客户端成本不可接受,应在服务端过滤。

追问

  • 问:怎么判断过滤是否生效?答:对比加/不加条件时的扫描量、候选数与延迟。
  • 问:过滤慢先查什么?答:字段基数、是否有标量索引、表达式是否高选择率。

05.6.1.3-005 预过滤与后过滤在 Milvus 中的行为边界是什么?

频率 ★★★☆☆ | 难度 进阶

一句话结论

预过滤先按标量条件缩小子集再做 ANN,后过滤先取 ANN 候选再剔除不满足者;Milvus 具体采用哪种或如何组合,需结合版本实现验证,低选择率场景后过滤要扩大候选补位。

概念解释

  • 预过滤:过滤集 → 子集内向量检索,适合高选择率条件。
  • 后过滤:ANN 扩展候选 → 过滤条件 → 不足 K 条时补位。
  • 风险:后过滤丢弃候选后,TopK 可能凑不满,需放大召回量。

原理流程

高选择率 → 预过滤子集内 ANN
低选择率 → ANN 大候选 → 过滤 → 补位到 K 条

代码 / 命令

# 待确认:版本是否支持预过滤下推、候选补位策略
# 验证:实例上对比两类选择率的候选数、命中数与 P99

常见误区

  • 误区:带过滤的查询一定走预过滤。正解:顺序取决于实现与选择率。
  • 误区:后过滤取 TopK 就够。正解:过滤会丢候选,需扩大召回量再补位。

追问

  • 问:过滤后子集很小怎么优化?答:确认执行顺序,必要时用分区/集合隔离该子集。
  • 问:后过滤结果偏少怎么排查?答:看 ANN 原始候选量是否被过滤条件大量丢弃。

05.6.1.3-006 Partition 是什么,查询如何指定分区?

频率 ★★★☆☆ | 难度 基础

一句话结论

Partition 是集合内的数据物理划分单元,查询可通过指定分区把扫描范围限定到子集;不指定分区时查询覆盖集合全部分区。

概念解释

  • 作用:按时间、租户等维度切分数据,降低单次扫描范围。
  • 指定方式:检索/查询请求中带分区名列表,路由到对应分区。
  • 裁剪前提:查询条件与分区划分维度一致,否则裁剪不生效。

原理流程

集合 → 拆分为多个分区 → 查询指定 partition_names → 只加载/扫描目标分区

代码 / 命令

# 形态:search/query 请求中传分区名列表(参数名以 SDK 为准)
# 注意:分区名与 partition key 自动分区是两种机制

常见误区

  • 误区:建了分区查询就自动裁剪。正解:请求需显式指定分区,或由 partition key 路由。
  • 误区:分区越多越好。正解:分区过多增加元数据与调度开销。

追问

  • 问:跨分区查询代价是什么?答:要扫描多分区并归并候选,延迟与资源上升。
  • 问:分区数据能迁移吗?答:按分区导出重建到目标集合/分区,保留映射关系。

05.6.1.3-007 partition key 字段与手动分区有什么区别?

频率 ★★★★★ | 难度 进阶

一句话结论

partition key 由系统按字段值自动路由与维护分区,查询带该字段条件时自动裁剪;手动分区需要显式创建分区并在请求中指定,适合分区规则固定、数量可控的场景。

概念解释

  • partition key:schema 指定一个字段作为分区键,写入按值落分区,查询按键值裁剪。
  • 手动分区:显式创建分区名,写入与查询都要指定分区。
  • 取舍:自动分区省运维但键值基数要可控;手动分区灵活但管理成本高。

原理流程

partition key:写入按键值路由 → 查询带键值条件 → 自动定位分区
手动分区:创建分区 → 写入指定分区 → 查询指定分区名列表

代码 / 命令

# 待确认:当前版本 partition key 字段类型、基数限制与自动分区行为
# 验证:官方分区键文档,实例建集合后观察分区生成

常见误区

  • 误区:partition key 就是普通标量字段加索引。正解:它承担数据路由与分区裁剪职责。
  • 误区:键值基数越大越好。正解:基数过大会产生海量分区,反而加重元数据负担。

追问

  • 问:租户隔离用 partition key 合适吗?答:租户数可控时可行,超大租户仍建议独立集合或集群。
  • 问:查询没带分区键条件会怎样?答:退化为扫描全部分区,裁剪不生效。

05.6.1.3-008 主键点查走什么接口,与 ANN 检索有何区别?

频率 ★★★☆☆ | 难度 基础

一句话结论

按主键精确取值走点查/query 类接口,直接定位主键对应记录,不经过 ANN 索引;ANN 检索是按相似度返回 TopK,两者路径与返回语义不同。

概念解释

  • 点查:主键等值匹配,返回指定字段,用于对账、补全详情。
  • ANN:查询向量参与距离计算,返回相似度排序结果。
  • 组合:先 ANN 拿到主键与标量,再点查补全字段是常见链路。

原理流程

主键列表 → 点查接口 → 主键定位 → 返回 output_fields
向量 → ANN 检索 → TopK(含主键与标量)→ 按需点查补全

代码 / 命令

# 形态:query 接口按主键或 expr 取值;search 接口返回向量近邻
# 具体接口名与参数以对应版本 SDK 为准

常见误区

  • 误区:点查也走向量索引。正解:主键定位不经过 ANN 结构。
  • 误区:点查返回全部字段。正解:按需指定 output_fields,减少传输。

追问

  • 问:点查不到记录说明什么?答:主键不存在、已删除标记、或可见性等级尚未加载。
  • 问:批量点查与逐条点查?答:批量传主键列表一次取回,避免多次往返。

05.6.1.3-009 query 接口与 search 接口的分工是什么?

频率 ★★★☆☆ | 难度 基础

一句话结论

search 面向向量近邻检索,输入查询向量返回相似度 TopK;query 面向标量条件查询,按 expr 与主键取值,不参与向量距离计算。

概念解释

  • search:ann_field、查询向量、topK、度量与搜索参数。
  • query:expr、output_fields、limit/offset,返回满足条件的记录。
  • 配合:search 出候选后,必要时用 query 按主键补全或二次过滤。

原理流程

search:向量 → ANN → 相似度 TopK
query:expr/主键 → 定位记录 → 返回标量字段

代码 / 命令

# 选型:按语义找相似内容用 search;按条件列记录用 query

常见误区

  • 误区:query 也能传向量做相似度。正解:相似度检索必须走 search。
  • 误区:search 不能带标量条件。正解:search 可携带 expr 做过滤检索。

追问

  • 问:只想按状态列一批记录怎么做?答:用 query 加 expr,不必走向量检索。
  • 问:search 结果能分页吗?答:大结果集走迭代器,不要依赖深 offset。

05.6.1.3-010 一致性等级如何在检索请求中指定?

频率 ★★★☆☆ | 难度 进阶

一句话结论

一致性等级可在客户端检索/查询请求中按请求指定,覆盖集合默认配置;不同等级决定读侧等待可见性的强度,越强延迟代价越大。

概念解释

  • 请求级覆盖:单次 search/query 可传一致性等级参数。
  • 等级取舍:强一致保证写后立即可见,弱一致延迟更低。
  • 适用分级:审核等写后即查链路用强等级,离线批量与普通检索用中间或弱等级。

原理流程

请求携带 consistency_level → 读侧按等级判断可见段 → 返回结果

代码 / 命令

# 待确认:当前版本请求级一致性参数名与可选值
# 验证:官方一致性文档,实例对比不同等级下写后读可见性延迟

常见误区

  • 误区:全局统一最强等级最稳妥。正解:强一致拉高写入吞吐代价,应按场景分级。
  • 误区:等级设了就不需要处理可见性延迟。正解:仍需业务侧容忍窗口或重试确认。

追问

  • 问:一个集合不同接口能用不同等级吗?答:可按请求指定,核心链路与普通链路分别定档。
  • 问:等级调低后读到旧数据怎么办?答:业务侧按主键确认或接受秒级窗口,不要全局提强一致。

05.6.1.3-011 删除接口按什么条件删除,删除后立即可见吗?

频率 ★★★★★ | 难度 基础

一句话结论

删除按主键列表或过滤条件提交,先写删除标记;被删记录在检索中跳过,物理空间需 compaction 清理,删除结果对后续查询的可见性仍受一致性等级约束。

概念解释

  • 删除粒度:按主键精确删除,或按 expr 条件批量删除。
  • 标记机制:删除以墓碑形式记录,检索阶段跳过命中标记的记录。
  • 物理清理:compaction 阶段才真正移除数据并回收空间。

原理流程

提交删除(主键/expr)→ 写删除标记 → 检索跳过 → compaction 物理清理

代码 / 命令

# 风险点:条件删除范围要先 dry-run 核对,避免误删
# 观察:删除标记占比、compaction 任务积压、剩余命中数

常见误区

  • 误区:删除返回成功空间就释放。正解:需 compaction 物理清理后才回收。
  • 误区:删除后立即可按强一致读到空。正解:可见性仍受等级与段加载状态约束。

追问

  • 问:批量删除大量数据要注意什么?答:先核对条件范围,控制批量大小,后续关注 compaction 压力。
  • 问:怎么验证删除彻底?答:抽样按主键点查确认不可检索,统计剩余命中数。

05.6.1.3-012 Milvus 有没有跨行 ACID 事务?

频率 ★★★☆☆ | 难度 高级

一句话结论

Milvus 不提供跨多行的传统 ACID 事务,不保证一批写入要么全成功要么全回滚;写入、更新、删除按主键幂等与业务侧对账来保证最终一致。

概念解释

  • 边界:向量库面向检索负载,不实现关系型数据库的事务提交/回滚语义。
  • 部分失败:批量写入中部分条目失败时,已成功条目不会自动回滚。
  • 补偿手段:按主键幂等重试失败条目,定时对账差异并修复。

原理流程

批量提交 → 部分成功/部分失败 → 按主键识别失败 → 幂等重试 → 对账补齐

代码 / 命令

# 设计:写入带业务主键、记录批次状态、失败重试队列、定时对账任务

常见误区

  • 误区:把 Milvus 当事务型主库用。正解:业务状态与事务约束由关系型库承担,Milvus 存检索数据。
  • 误区:批量接口失败就整体重来。正解:按主键甄别成功与失败,避免重复插入。

追问

  • 问:跨集合操作怎么保证一致?答:业务侧编排 + 幂等 + 对账补偿,依赖最终一致。
  • 问:upsert 是事务吗?答:它是覆盖写入语义,不构成跨行事务保证。

05.6.1.3-013 upsert(更新)的语义是什么?

频率 ★★★☆☆ | 难度 基础

一句话结论

upsert 按主键存在性决定插入或覆盖:主键不存在则插入,已存在则用新值覆盖旧记录;本质是删除旧值加写入新值的组合语义,不提供事务原子性保证。

概念解释

  • 主键匹配:以主键为唯一判据,重复主键触发覆盖。
  • 向量更新:内容变更需重新 Embedding 后写入新向量。
  • 元数据变更:仅标量字段改动通常不需重算向量。

原理流程

带主键 upsert → 存在则覆盖 / 不存在则插入 → 旧版本被标记 → compaction 清理

代码 / 命令

# 待确认:当前版本 upsert 接口形态与对删除标记的处理
# 验证:官方写入文档,实例验证重复主键的覆盖行为

常见误区

  • 误区:upsert 失败会自动回滚旧数据。正解:无跨行事务,需按幂等与对账处理。
  • 误区:只改标题也要重算向量。正解:文本语义未变时可只更新标量字段。

追问

  • 问:并发 upsert 同一主键结果如何?答:以最后写入为准的覆盖语义,冲突排查按写入时序与日志。
  • 问:upsert 会产生碎片吗?答:反复覆盖留下旧版本标记,积累后需 compaction 或重建。

05.6.1.3-014 数组字段如何过滤?

频率 ★★★☆☆ | 难度 基础

一句话结论

数组字段可按包含、元素匹配或长度等方式过滤,具体支持的操作符随版本不同;高频按数组元素检索的场景,需在建模时评估是否拆成独立标量字段。

概念解释

  • 存储形态:一个记录携带数组型标量字段。
  • 过滤方式:判断数组是否包含某元素、元素是否满足条件等。
  • 性能边界:数组遍历与高基数元素匹配的效率需实测。

原理流程

写入数组字段 → 查询 expr 对元素求值 → 命中记录进入候选

代码 / 命令

# 待确认:当前版本数组字段支持的操作符与语法
# 验证:官方表达式文档,实例小集合试写包含匹配

常见误区

  • 误区:数组过滤和单值字段性能一样。正解:数组遍历成本更高,高基数元素宜拆字段。
  • 误区:数组元素可以建独立标量索引。正解:支持情况以版本文档为准,不能假设。

追问

  • 问:标签类检索怎么建模更好?答:标签基数可控时拆独立字段或关联表,避免大数组包含扫描。
  • 问:数组字段能用于 group by 吗?答:按版本能力为准,分组字段通常是单值标量。

05.6.1.3-015 模板化过滤怎么写,如何防注入?

频率 ★★★★★ | 难度 进阶

一句话结论

过滤条件应走参数占位或白名单拼接,字段名与枚举值走白名单校验,用户输入只作为字面值绑定;禁止把用户输入直接字符串拼进 expr。

概念解释

  • 风险:直接拼接用户输入可能改变表达式结构,绕过过滤条件。
  • 安全做法:字段名、运算符来自代码白名单,值按类型转义后绑定。
  • 分层:业务权限条件由服务端注入,不接受前端传入的过滤表达式。

原理流程

白名单字段/运算符 → 占位绑定用户值 → 服务端追加权限条件 → 组装 expr → 下发

代码 / 命令

# 禁止:expr = "tag == '" + user_input + "'"
# 做法:值按字符串类型转义,字段名从枚举映射取,非法值直接拒绝

常见误区

  • 误区:前端传什么过滤条件就用什么。正解:权限与租户条件必须服务端强制注入。
  • 误区:转义一次就够。正解:还要限制字段范围与值类型,避免表达式注入。

追问

  • 问:动态选字段怎么安全实现?答:后端维护字段白名单映射,用户传键名而非字段表达式。
  • 问:IN 列表来自用户怎么处理?答:逐项类型校验后绑定,限制列表长度。

05.6.1.3-016 过滤选择率如何影响索引利用?

频率 ★★★☆☆ | 难度 进阶

一句话结论

高选择率条件先过滤能大幅缩小 ANN 扫描范围;低选择率条件过滤掉的数据少,索引收益有限,过度依赖过滤反而增加求值开销。

概念解释

  • 选择率:满足条件记录占全量比例。
  • 高选择率:子集小,预过滤后 ANN 成本低。
  • 低选择率:子集接近全量,过滤求值成为额外负担。

原理流程

统计各字段选择率 → 高选择率前置 → 评估过滤与 ANN 执行路径 → 压测延迟

代码 / 命令

# 观察:加条件前后候选数、扫描量、P99 变化

常见误区

  • 误区:条件越多检索越快。正解:低选择率条件只增加求值成本,不一定提速。
  • 误区:所有过滤字段都该建标量索引。正解:按选择率与查询频率权衡。

追问

  • 问:怎么估算选择率?答:按业务分布统计满足条件的占比,必要时采样计数。
  • 问:低选择率条件拖慢查询怎么办?答:确认执行顺序,考虑拆集合或调整索引策略。

05.6.1.3-017 多条件表达式的顺序如何安排?

频率 ★★★☆☆ | 难度 进阶

一句话结论

表达式应把高选择率、低成本的条件放前面,先缩小候选集再求值复杂条件;字段顺序影响实际扫描量,但最终执行顺序仍以服务端实现为准。

概念解释

  • 排序原则:等值/枚举类高选择率条件优先,范围与 LIKE 类后置。
  • 成本差异:标量索引命中快,数组/JSON 遍历成本高。
  • 实测校验:表达式顺序收益需结合服务侧扫描量确认。

原理流程

拆解条件 → 按选择率与成本排序 → 组装 AND 条件 → 压测核对候选数与延迟

代码 / 命令

# 模板:tenant/status 等高选择率等值条件在前,时间范围、模糊匹配在后

常见误区

  • 误区:写在前面的条件一定先执行。正解:执行顺序由服务端优化器决定,表达式顺序只是建议。
  • 误区:把 LIKE 条件放最前提速。正解:通配扫描成本高,通常应后置。

追问

  • 问:条件互相矛盾导致空集怎么办?答:尽早识别返回空结果,避免无效 ANN 计算。
  • 问:OR 条件怎么优化?答:OR 两侧选择率分别评估,必要时拆分多次检索合并。

05.6.1.3-018 partition key 自动分区如何实现查询裁剪?

频率 ★★★☆☆ | 难度 进阶

一句话结论

查询表达式命中分区键等值条件时,系统据此定位对应分区,只加载与扫描该分区;条件未命中分区键时无法裁剪,覆盖全部分区。

概念解释

  • 路由依据:分区键值与分区的映射由系统维护。
  • 裁剪触发:expr 中含分区键等值(或 IN)条件。
  • 失效场景:条件缺失、键值不在已知映射、跨键值 OR 查询。

原理流程

expr 提取分区键条件 → 映射到目标分区 → 裁剪扫描范围 → 分区内检索

代码 / 命令

# 检查:慢查询是否带分区键条件;跨分区请求占比

常见误区

  • 误区:建了分区键就自动跨请求裁剪。正解:请求必须带键值条件才触发。
  • 误区:范围条件也能裁剪分区键。正解:通常等值/IN 路由,范围匹配需以实现为准。

追问

  • 问:分区键条件被 OR 打散怎么办?答:退化为全分区扫描,需改写查询或拆集合。
  • 问:怎么确认裁剪生效?答:对比带/不带键条件时的分区数与扫描量。

05.6.1.3-019 未指定分区时查询的扫描范围如何确定?

频率 ★★★☆☆ | 难度 进阶

一句话结论

未指定分区、也没有 partition key 条件时,查询覆盖集合全部已加载分区,候选归并到全局 TopK;分区越多、数据越散,归并与调度开销越大。

概念解释

  • 全量扫描:所有可服务分区参与检索。
  • 归并成本:各局部 TopK 汇总排序,随分区数增长。
  • 热点风险:分区分布不均时个别节点承担更多扫描。

原理流程

无分区条件 → 列出全部分区 → 各分区局部检索 → 全局归并 TopK

代码 / 命令

# 观察:查询涉及分区数、各分区候选量、归并阶段耗时

常见误区

  • 误区:未指定分区只扫最近分区。正解:默认覆盖全部分区。
  • 误区:分区裁剪由客户端隐式完成。正解:必须有分区键条件或显式指定分区。

追问

  • 问:全分区查询慢怎么优化?答:加分区键条件、拆集合、或改善分区分布。
  • 问:新增分区对历史查询有影响吗?答:查询自动覆盖新分区,数据增长后成本上升。

05.6.1.3-020 时间范围过滤怎么写,时区如何约定?

频率 ★★★☆☆ | 难度 进阶

一句话结论

时间字段用范围比较过滤;入库与查询统一时区口径(建议统一存 UTC 时间戳),避免跨时区边界导致漏召或误召。

概念解释

  • 字段类型:时间以整型时间戳或日期类型存储,按版本支持为准。
  • 口径统一:写入侧转换为统一时区,查询侧按同一口径构造范围。
  • 边界处理:开闭区间与毫秒/秒粒度要与业务约定一致。

原理流程

业务时间 → 转统一时区时间戳入库 → 查询构造范围 expr → 按区间过滤

代码 / 命令

# 待确认:当前版本时间字段类型与范围表达式写法
# 验证:官方文档字段类型章节,实例验证边界值命中行为

常见误区

  • 误区:本地时间直接入库查询。正解:时区混杂会造成日期边界错误。
  • 误区:时间戳用字符串存储便于过滤。正解:数值类型比较更可靠,字符串排序易出错。

追问

  • 问:按天/月归档怎么配分区?答:时间字段同时作分区维度,查询带时间范围触发裁剪。
  • 问:跨夏令时地区怎么办?答:存 UTC 时间戳,展示层再转本地时区。

05.6.1.3-021 JSON 字段如何做路径过滤?

频率 ★★★☆☆ | 难度 高级

一句话结论

JSON 字段可按嵌套路径访问内部值过滤,具体路径语法与支持深度随版本不同;高频过滤的 JSON 内部字段建议在建模时拆为独立标量字段以获得稳定性能。

概念解释

  • 访问方式:通过路径表达式定位 JSON 子字段再比较。
  • 性能边界:JSON 解析与嵌套遍历成本高于独立标量字段。
  • 建模建议:高频检索字段冗余为顶层标量,JSON 只存补充属性。

原理流程

JSON 写入 → expr 按路径取值 → 比较过滤 → 命中候选

代码 / 命令

# 待确认:当前版本 JSON 路径语法、支持的嵌套层级与标量索引能力
# 验证:官方 JSON 字段文档,实例构造嵌套记录试查

常见误区

  • 误区:JSON 字段天然走索引。正解:嵌套解析通常需遍历,性能需实测。
  • 误区:什么属性都塞 JSON 最灵活。正解:高频过滤字段应拆出,避免运行时解析。

追问

  • 问:JSON 里存标签数组怎么检索?答:评估拆独立字段或数组字段,实测包含匹配性能。
  • 问:JSON 结构能事后演进吗?答:字段可扩展,但查询路径要兼容历史结构,注意空值处理。

05.6.1.3-022 range search(半径检索)是什么,适用什么场景?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

range search 在给定距离半径内返回所有相似记录,而不是固定 TopK;适合需要穷尽某相似度范围内候选的场景,返回数量随数据分布波动。

概念解释

  • 触发参数:距离半径阈值,而非 topK 数量。
  • 返回特征:命中条数不固定,密集区域结果多。
  • 适用:去重候选圈定、相似实体归集、离线候选挖掘。

原理流程

查询向量 + 半径 → 距离 ≤ 阈值的记录全部返回 → 按距离排序输出

代码 / 命令

# 待确认:当前版本 range search 接口形态、半径参数与度量方向约定
# 验证:官方检索文档,实例验证不同度量下阈值含义

常见误区

  • 误区:range search 结果条数固定。正解:由半径内数据密度决定。
  • 误区:半径越小越好控制返回量。正解:过小可能空结果,需按分布标定阈值。

追问

  • 问:在线接口适合用 range search 吗?答:返回量不可控,在线多取 TopK,半径检索用于离线或辅助。
  • 问:半径阈值怎么定?答:在标注集上按距离分布标定,平衡召回与返回量。

05.6.1.3-023 Search iterator 解决什么分页问题,与 offset/limit 有何区别?

频率 ★★★★★ | 难度 进阶

一句话结论

Search iterator 以流式游标分批拉取 ANN 候选,避免深 offset 反复跳过已排序结果带来的重复扫描与不稳定;大结果集遍历应优先用迭代器而非 offset 分页。

概念解释

  • 问题:offset 越深,跳过的候选越多,扫描与归并成本越高,且写入删除下结果可能漂移。
  • 迭代器:服务端维持游标,按批推进,逐批返回候选。
  • 适用:全量遍历、批量导出、大候选集消费。

原理流程

创建 search iterator → 逐批 next → 游标推进 → 消费完关闭
对比:offset/limit 每批重新检索并跳过前 N 条

代码 / 命令

# 待确认:当前版本 search iterator 接口名、批大小参数与生命周期
# 验证:官方迭代器文档,实例遍历大集合验证稳定性

常见误区

  • 误区:深分页加大 offset 就行。正解:深 offset 成本高且结果可能不稳定。
  • 误区:迭代器能替代 TopK 在线检索。正解:迭代器面向批量遍历,在线单页结果用 topK。

追问

  • 问:迭代器遍历期间数据变更影响结果吗?答:取决于一致性快照语义,需按版本确认遍历稳定性。
  • 问:迭代器要手动关闭吗?答:用完释放游标资源,具体方式以 SDK 为准。

05.6.1.3-024 Query iterator 与 Search iterator 的分工是什么?

频率 ★★★☆☆ | 难度 基础

一句话结论

Query iterator 面向标量条件记录的分批遍历,Search iterator 面向向量近邻候选的流式拉取;前者按 expr 取值,后者围绕相似度候选推进。

概念解释

  • Query iterator:配合 query 接口,按条件分批读取记录。
  • Search iterator:配合 search 接口,分批消费 ANN 候选。
  • 选择:按条件列记录用前者,按相似遍历候选用后者。

原理流程

标量遍历 → Query iterator 分批
相似遍历 → Search iterator 分批

代码 / 命令

# 待确认:两类迭代器在各语言 SDK 中的接口与批大小配置

常见误区

  • 误区:两类迭代器可互换。正解:一个走标量路径,一个走向量路径。
  • 误区:迭代器返回全部字段。正解:同样按 output_fields 限定返回。

追问

  • 问:导出全量数据用哪个?答:按条件遍历记录用 Query iterator 分批导出。
  • 问:迭代器批大小怎么定?答:平衡单次传输量与往返次数,压测确定。

05.6.1.3-025 group_by_field 分组检索如何取每组代表结果?

频率 ★★★★★ | 难度 进阶

一句话结论

分组检索在 ANN 召回后按指定标量字段分组,每组保留相似度最高的代表记录,适合同一文档多切块、多版本内容去重后返回的场景。

概念解释

  • 分组字段:通常是文档 id、会话 id 等聚合维度。
  • 代表记录:组内距离最近的一条进入结果。
  • 前提:分组字段需在集合中作为标量字段存在。

原理流程

ANN 召回候选 → 按 group_by 字段分组 → 每组取 Top1 代表 → 输出分组结果

代码 / 命令

# 待确认:当前版本分组检索参数名、每组条数限制与返回结构
# 验证:官方检索文档,实例验证同组多条候选的归并行为

常见误区

  • 误区:分组检索替代业务聚合统计。正解:它只做检索结果内分组取代表,不做聚合计算。
  • 误区:分组字段可以是向量字段。正解:分组基于标量字段。

追问

  • 问:每组想返回多条怎么办?答:按版本能力核对每组返回上限,否则取回后业务侧再分组。
  • 问:分组字段基数过大有何影响?答:分组归并开销上升,结果集膨胀。

05.6.1.3-026 分组检索在什么情况下会退化为大范围扫描?

频率 ★★★☆☆ | 难度 高级

一句话结论

当分组字段基数高、候选分散或过滤条件不足时,分组归并需要考察大量候选,逼近大范围扫描;分组前应先通过过滤与分区裁剪缩小候选。

概念解释

  • 退化原因:组内代表需要比较更多候选才能确定。
  • 放大因素:高基数字段、稀疏分布、宽 topK 候选。
  • 缓解:前置高选择率过滤、分区裁剪、控制候选规模。

原理流程

候选不足 → 扩大召回 → 分组归并考察更多记录 → 扫描量与延迟上升

代码 / 命令

# 观察:分组前后候选数、归并耗时、组内平均候选条数

常见误区

  • 误区:分组检索总是轻量。正解:高基数分组可能成为重查询。
  • 误区:加大 topK 一定能改善分组结果。正解:候选扩大同时放大归并成本。

追问

  • 问:分组效果差怎么排查?答:看分组字段分布、候选覆盖度与组内代表相关性。
  • 问:替代方案有哪些?答:业务侧先按文档聚合,或拆集合按文档组织。

05.6.1.3-027 稀疏向量字段与 dense 字段共存时如何检索?

频率 ★★★☆☆ | 难度 基础

一句话结论

同集合内 dense 与 sparse 字段各自独立召回,检索时分别组织为一路请求,再由融合层合并排序;两类向量的度量与索引参数互不影响。

概念解释

  • 字段分工:dense 负责语义相似,sparse 负责关键词权重匹配。
  • 召回路径:两路 ANN 各自取候选。
  • 融合位置:混合检索请求的 ranker 统一排序。

原理流程

dense 查询路 + sparse 查询路 → 各自 TopK 候选 → Ranker 融合 → 最终 TopK

代码 / 命令

# 待确认:当前版本 sparse 向量类型、度量与索引支持
# 验证:官方稀疏向量与混合检索章节

常见误区

  • 误区:sparse 套稠密图索引参数。正解:稀疏检索机制不同,需独立配置。
  • 误区:两路结果分数直接相加。正解:量纲不同,应走 ranker 按位次或归一化融合。

追问

  • 问:sparse 向量怎么生成?答:由 BM25 类函数或稀疏编码产出,内置能力以版本为准。
  • 问:只建 dense 能后补 sparse 吗?答:需要补字段、生成稀疏向量并重建对应索引。

05.6.1.3-028 Milvus 内置全文检索 / BM25 能力的边界是什么?

频率 ★★★☆☆ | 难度 高级

一句话结论

部分版本提供内置分词与 BM25 稀疏检索能力,可直接对文本字段生成稀疏向量;具体内置程度、支持语言与 analyzer 配置随版本演进,必须以目标版本文档核实。

概念解释

  • 能力定位:文本字段经内置函数产出稀疏向量,参与稀疏召回。
  • 版本边界:分词器、语言支持、函数接口在不同版本差异较大。
  • 替代路径:无内置能力时,由应用侧生成 sparse 向量入库。

原理流程

文本字段 → 内置分词/权重函数 → 稀疏向量 → 稀疏检索召回 → 混合融合

代码 / 命令

# 待确认:当前版本是否内置 BM25 函数、分词器种类与文本字段配置
# 验证:官方全文检索/BM25 文档,实例建字段验证函数可用

常见误区

  • 误区:Milvus 内置全文检索等同专业倒排引擎。正解:能力边界有限,复杂词法与同义词仍需外部配合。
  • 误区:所有版本都支持同一种分词配置。正解:版本差异需逐项核对。

追问

  • 问:中文分词效果怎么验证?答:用真实业务文本测试切词与召回 bad case。
  • 问:内置能力不足怎么办?答:应用侧接分词/BM25 服务生成稀疏向量入库。

05.6.1.3-029 混合检索请求如何组织?

频率 ★★★★★ | 难度 高级

一句话结论

混合检索把多路向量召回各自封装为检索请求项,统一提交后由 ranker 融合排序;每路独立配置字段、topK 与参数,最终输出融合后的 TopK。

概念解释

  • 多路请求:dense 一路、sparse 一路,分别声明字段与查询向量。
  • 融合器:Ranker 对多路候选按位次或权重合并。
  • 结果:融合排序后截取最终 topK。

原理流程

组装多路 AnnSearchRequest → 指定 Ranker → 提交混合检索 → 各路召回 → 融合排序 → TopK

代码 / 命令

# 待确认:当前版本混合检索请求结构与 Ranker 类型
# 验证:官方混合检索文档,实例对比单路与混合结果差异

常见误区

  • 误区:混合检索自动平衡两路权重。正解:候选数量与 ranker 策略需显式配置。
  • 误区:两路可以共用一个向量字段。正解:不同向量类型分属不同字段。

追问

  • 问:每路候选数怎么定?答:按目标召回放大,融合后再截最终 topK。
  • 问:混合检索延迟怎么评估?答:看各路召回耗时与融合归并,取最慢一路加融合开销。

05.6.1.3-030 RRF 与加权 ranker 如何选择?

频率 ★★★☆☆ | 难度 进阶

一句话结论

两路分数量纲不同时优先 RRF 按位次融合,规避分数不可比;需要向某一路倾斜时用加权 ranker,前提是分数已可归一化。

概念解释

  • RRF:按排名位次融合,不依赖原始分数绝对值。
  • 加权:按路权重合并归一化分数,可调倾向性。
  • 选择:分数口径不一致用 RRF;可控倾斜且可归一化用加权。

原理流程

多路 TopK → 位次融合(RRF)或加权归一化 → 合并排序 → 最终 TopK

代码 / 命令

# 待确认:当前版本 Ranker 类型、参数与默认值
# 验证:官方混合检索文档,标注集对比两种融合的相关性

常见误区

  • 误区:BM25 分与向量分直接相加。正解:量纲不同,直接加权需先归一化。
  • 误区:RRF 权重可以精细控制。正解:RRF 按位次,倾斜能力弱于加权。

追问

  • 问:权重怎么调?答:在标注集上对比不同权重的下游相关性,而非凭感觉。
  • 问:融合后仍有噪声怎么办?答:加大各路候选、接重排模型提纯,而非只调 ranker。

05.6.1.3-031 Bounded 一致性的时间上界如何理解?

频率 ★★★☆☆ | 难度 进阶

一句话结论

Bounded 等级保证写入在一个有界时间窗口后可见,读侧不要求立即看到最新写入;上界是配置或实现约定的延迟区间,超出窗口后数据应可见。

概念解释

  • 语义:可见性有时间上界,而非写后立即可见。
  • 适用:可容忍秒级延迟的在线检索,平衡吞吐与一致性。
  • 观测:度量写入时间到首次可检索时间的差值分布,验证是否在边界内。

原理流程

写入 → 日志流/flush/加载 → 上界内可见
读侧按 Bounded 等待策略 → 返回当前可见结果

代码 / 命令

# 待确认:Bounded 上界配置项与默认值
# 验证:官方一致性文档,实例埋点统计可见性延迟分布

常见误区

  • 误区:Bounded 等于随机读到旧数据。正解:有明确上界,窗口外不应再读旧版本。
  • 误区:上界可以无限放大。正解:上界过长失去一致性意义,需与业务 SLA 匹配。

追问

  • 问:上界内读到旧数据算故障吗?答:属于等级内行为,业务需容忍或改强等级。
  • 问:怎么验证上界达标?答:统计写后首次可检索延迟的分位数与超时比例。

05.6.1.3-032 Session 一致性在多客户端或重连后是否成立?

频率 ★★★☆☆ | 难度 高级

一句话结论

Session 等级保证同一会话内读到自己写入的数据;会话边界如何界定、跨连接或重连后是否延续,取决于具体实现,不能假设跨客户端共享写后可见性。

概念解释

  • 会话范围:绑定到客户端会话上下文,而非全局。
  • 失效场景:新连接、会话过期、多副本写入路由到不同节点。
  • 核实方式:以官方一致性文档对 Session 语义的定义为准。

原理流程

会话内写入 → 同会话读 → 可见性保留
跨会话/重连 → 按对应等级语义处理

代码 / 命令

# 待确认:Session 会话绑定粒度、重连后可见性保持行为
# 验证:官方一致性文档,实例模拟断开重连后写后读

常见误区

  • 误区:Session 保证所有客户端读到同一最新值。正解:它是会话内语义,不跨会话。
  • 误区:重连后会话状态自动延续。正解:需按实现确认,关键链路不要依赖该假设。

追问

  • 问:写后即查该选什么等级?答:强等级或写后按主键点查确认,不依赖 Session 隐式保证。
  • 问:多实例应用共享写入呢?答:不同连接属于不同会话,按 Bounded/Strong 评估。

05.6.1.3-033 Milvus 的 TTL / 数据过期能力边界是什么?

频率 ★★★☆☆ | 难度 进阶

一句话结论

Milvus 不以传统业务 TTL 作为核心过期机制;数据留存通常靠时间字段过滤、定时删除与 compaction 控制,是否提供集合级或记录级 TTL 配置需按版本核实。

概念解释

  • 常见做法:写入时间戳字段,查询按时间范围裁剪,定时任务删除过期记录。
  • 能力边界:原生 TTL 支持程度随版本不同,不能假设自动过期清理。
  • 合规:删除仍需经历标记与 compaction 物理清理闭环。

原理流程

写入带时间戳 → 到期定时任务按时间 expr 删除 → compaction 清理 → 备份副本另行处理

代码 / 命令

# 待确认:当前版本是否提供 TTL 配置项及其作用层级
# 验证:官方集合属性/数据过期文档,实例核实行为

常见误区

  • 误区:设了 TTL 到期自动物理删除。正解:需先确认版本支持,否则靠定时删除流程。
  • 误区:过期数据不影响检索。正解:未删除前仍参与扫描,占用资源。

追问

  • 问:冷数据怎么下线?答:按时间分区归档或导出后删除,保留可追溯映射。
  • 问:删除过期数据批量怎么做?答:分批按时间条件删除,控制 compaction 压力。

05.6.1.3-034 删除标记积累到什么程度需要关注 compaction?

频率 ★★★☆☆ | 难度 高级

一句话结论

删除标记占比持续上升、查询扫描无效记录增多或空间回收缓慢时,需要关注 compaction 是否跟上;定期统计墓碑占比并设置阈值触发清理。

概念解释

  • 观测指标:删除标记占段内比例、段数量趋势、空间回收幅度。
  • 异常信号:召回下降、扫描量增大、内存占用不随删除回落。
  • 处置:确认 compaction 任务积压,必要时主动触发或评估重建。

原理流程

统计墓碑占比 → 对比 compaction 进度 → 超阈值触发清理 → 验证空间与召回回升

代码 / 命令

# 观察:删除标记比例、compaction 任务积压、段大小分布、查询扫描量

常见误区

  • 误区:删除后空间立即下降。正解:compaction 物理清理后才回收。
  • 误区:compaction 自动运行无需监控。正解:积压时会持续恶化检索效率。

追问

  • 问:大量删除后召回变差?答:碎片降低候选密度,compaction 或重建后复测。
  • 问:compaction 影响在线吗?答:有 IO/CPU 竞争,建议错峰并限速。

05.6.1.3-035 并发写入同一主键的语义是什么?

频率 ★★★☆☆ | 难度 基础

一句话结论

并发写同一主键按覆盖语义处理,最终保留某一版本,不提供比较并冲突合并;业务侧需幂等设计,冲突排查依赖写入时序与日志。

概念解释

  • 冲突处理:后写入覆盖先写入,无乐观锁或版本合并机制。
  • 幂等前提:重试与重复提交按主键可安全重复执行。
  • 风险:并发覆盖可能丢失中间版本,关键状态应由业务库裁决。

原理流程

并发 upsert 同主键 → 各自覆盖 → 最终版本以写入时序为准 → 检索返回最新可见版本

代码 / 命令

# 设计:业务库持有权威状态,向量库按主键同步;重试幂等,记录批次与版本

常见误区

  • 误区:并发写会报主键冲突错误。正解:默认覆盖语义,不阻断后写入。
  • 误区:向量库能做冲突检测。正解:无事务与版本校验,需业务侧控制并发。

追问

  • 问:需要版本号防覆盖怎么做?答:业务侧先比较版本再决定是否写入,向量库不判冲突。
  • 问:重复写入产生碎片怎么办?答:反复覆盖积累旧版本标记,靠 compaction 回收。

05.6.1.3-036 租户隔离字段设计在检索路径上有什么差异?

频率 ★★★★★ | 难度 高级

一句话结论

隔离强度从弱到强是共享集合加租户字段过滤、独立分区、独立集合、独立集群;字段过滤成本最低但隔离性弱,独立集合/集群隔离强但成本高,按租户规模与 SLA 分级。

概念解释

  • 字段过滤:所有租户共表,expr 强制带租户条件,大租户会拖累共享集合。
  • 分区隔离:按租户分区,查询可裁剪,仍是共享存储与计算。
  • 集合/集群隔离:schema 与资源独立,隔离最强、运维成本最高。

原理流程

评估租户数量与规模 → 定隔离级别 → 路由与配额设计 → 观测租户级指标

代码 / 命令

# 关键:任何级别都要有租户级限流与指标,否则无法定位问题租户

常见误区

  • 误区:只靠 where tenant_id 就够。正解:大租户在共享集合会挤占其他租户资源。
  • 误区:每租户一个集群最稳。正解:运维与成本不可承受,应分级处理。

追问

  • 问:超大租户怎么单独处理?答:独立集合或集群,按收入与 SLA 分级迁移。
  • 问:租户隔离怎么防漏条件?答:服务端注入租户条件,客户端不可改;审计越权查询。

05.6.1.3-037 带权限过滤的检索如何与向量检索叠加?

频率 ★★★★★ | 难度 高级

一句话结论

把文档可见性条件转成标量表达式(主体、角色、权限标签),与 ANN 检索在同一次请求中叠加;权限条件由服务端依据身份注入,不能由前端控制。

概念解释

  • 建模:文档记录可见主体、角色或权限标签字段。
  • 叠加:search 请求 expr 携带权限条件,限定可检索子集。
  • 注入位置:鉴权在服务端完成,条件随请求强制下推。

原理流程

身份鉴权 → 生成权限 expr → 与租户/时间条件合并 → 带权限过滤的 ANN 检索 → TopK

代码 / 命令

# 检查:权限字段覆盖完整、expr 服务端注入、越权访问有审计记录

常见误区

  • 误区:先全量检索再在应用层过滤权限。正解:全量候选泄露风险高,应服务端过滤。
  • 误区:权限标签变更无需更新向量库。正解:标签字段变更要同步 upsert 记录。

追问

  • 问:权限条件选择率低怎么办?答:可见范围大时评估分组或集合隔离,避免大候选过滤。
  • 问:权限变更后旧结果还会命中吗?答:依赖标签字段更新与可见性,需同步刷新。

05.6.1.3-038 offset 深分页有什么限制,替代方案是什么?

频率 ★★★☆☆ | 难度 高级

一句话结论

offset 越深跳过候选越多,扫描与归并成本越高,结果还可能在写入删除下漂移;大结果集分页应改用迭代器游标,在线场景避免深分页需求。

概念解释

  • 成本机制:每批重新检索并跳过前 N 条,深度越大重复工作越多。
  • 稳定性问题:数据变更后分页边界可能移动,出现重复或遗漏。
  • 替代:search/query iterator 流式分批,或按业务键做游标分页。

原理流程

offset 分页:第 N 批跳过 N×limit 条 → 重复排序归并
迭代器:游标推进 → 逐批拉取 → 无重复跳过成本

代码 / 命令

# 待确认:当前版本 offset/limit 上限与迭代器接口
# 验证:官方检索文档,实例对比深分页与迭代器延迟

常见误区

  • 误区:分页只是传个 offset。正解:深 offset 是重查询,成本随深度上升。
  • 误区:迭代器适合在线翻页。正解:迭代器面向遍历导出,在线翻页应控制结果集规模。

追问

  • 问:前端无限滚动怎么接?答:控制总候选规模,必要时用游标键分页而非大 offset。
  • 问:分页结果重复怎么排查?答:先看数据是否在遍历期间变更,再看分页方式。

05.6.1.3-039 过滤场景下 topK 与候选量为什么要放大?

频率 ★★★☆☆ | 难度 进阶

一句话结论

后过滤会丢弃不满足条件的候选,固定 topK 可能凑不满;需要先召回更大候选集,过滤补位后再截取最终条数,否则结果偏少或相关性下降。

概念解释

  • 丢弃机制:ANN 原始候选经 expr 过滤后数量减少。
  • 补位策略:扩大召回候选,保证过滤后仍有足够代表记录。
  • 成本权衡:候选放大增加距离计算与归并开销。

原理流程

ANN 大候选 → 过滤剔除 → 补足 K 条 → 最终排序输出

代码 / 命令

# 观察:原始候选数、过滤后剩余数、最终返回条数比例

常见误区

  • 误区:topK 设多少就返回多少。正解:后过滤会折损候选,需放大召回量。
  • 误区:候选不足是索引召回差。正解:可能是过滤丢弃导致,先区分两者。

追问

  • 问:候选放大到多少合适?答:按过滤选择率估算损耗倍数,压测确定。
  • 问:过滤后结果仍偏少怎么办?答:放宽条件、检查子集规模,而非盲目加候选。

05.6.1.3-040 过滤后候选不足怎么排查与缓解?

频率 ★★★☆☆ | 难度 进阶

一句话结论

先区分是条件过严、子集本身过小还是执行路径问题:核对 expr 选择率、分区裁剪与候选补位,再决定放宽条件、调整集合组织或扩大候选。

概念解释

  • 条件侧:表达式过紧、类型不匹配、时区/格式错误导致空集。
  • 数据侧:满足条件的记录本就稀少。
  • 执行侧:过滤顺序、候选补位不足。

原理流程

点查核对条件命中量 → 对比 ANN 候选与过滤后数量 → 定位条件/数据/执行 → 缓解

代码 / 命令

# 排查:同一 expr 用 query 计数,对比 search 候选剩余与返回条数

常见误区

  • 误区:结果少就调大 topK。正解:先确认是条件空集还是候选补位不足。
  • 误区:过滤不足是向量质量问题。正解:标量条件命中量需先单独核对。

追问

  • 问:条件格式错误有哪些表现?答:类型不匹配、时间戳单位错、字符串转义问题导致空集。
  • 问:业务确实需要宽召回怎么办?答:拆分高/低选择率条件,分级返回结果。

05.6.1.3-041 LIKE 通配符匹配的性能边界在哪?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

前缀匹配成本相对可控,前导通配(如后缀包含)需要逐串扫描,成本高;高频模糊检索应评估独立分词、稀疏检索或外部搜索引擎。

概念解释

  • 通配位置:前缀固定可利用有序性,前导通配无法跳过。
  • 扫描成本:字符串逐字段比较,长文本与高基数下开销明显。
  • 替代:关键词匹配走稀疏/BM25,结构化枚举走等值条件。

原理流程

LIKE 条件 → 定位可利用有序性部分 → 否则逐串扫描 → 命中记录

代码 / 命令

# 待确认:当前版本 LIKE 支持的通配规则与索引利用情况

常见误区

  • 误区:LIKE 都能走标量索引。正解:取决于通配位置与实现,需实测。
  • 误区:模糊搜索放向量库最合适。正解:术语精确匹配更适合倒排/稀疏检索。

追问

  • 问:编号、型号类精确匹配怎么做?答:等值或 IN 条件,不要用宽 LIKE。
  • 问:中文模糊匹配需求怎么满足?答:接分词与稀疏检索,或外部搜索组件。

05.6.1.3-042 数组 / JSON 高基数过滤有标量索引支撑吗?

频率 ★★★☆☆ | 难度 高级

一句话结论

数组与 JSON 内部元素的高基数过滤是否有索引支撑取决于版本实现,不能假设;高频按元素检索的字段应建模为独立标量字段以获得稳定过滤性能。

概念解释

  • 索引边界:顶层标量字段的标量索引成熟,嵌套/数组元素索引能力需核实。
  • 性能风险:无索引时逐记录遍历数组或解析 JSON。
  • 建模建议:高频过滤维度冗余成顶层字段。

原理流程

识别高频过滤元素 → 评估是否可拆顶层字段 → 建标量索引 → 嵌套字段仅作补充

代码 / 命令

# 待确认:当前版本数组/JSON 字段的标量索引支持范围
# 验证:官方标量索引文档,实例对比有无索引时扫描量

常见误区

  • 误区:标量索引自动覆盖 JSON 内字段。正解:需逐版本核实,通常不覆盖嵌套路径。
  • 误区:嵌套查询慢是向量索引问题。正解:瓶颈常在标量表达式求值侧。

追问

  • 问:标签多对多怎么建模?答:高频标签拆独立字段或外部关联表,避免大数组包含扫描。
  • 问:折中方案是什么?答:顶层冗余常用标签字段,其余保留在 JSON。

05.6.1.3-043 写入与查询并发下的可见性窗口怎么度量?

频率 ★★★☆☆ | 难度 进阶

一句话结论

埋点记录每条写入时间与首次可检索时间,统计差值分布(P50/P99 与超时比例),量化可见性窗口是否符合所选一致性等级与业务 SLA。

概念解释

  • 埋点位置:写入成功时间戳、检索命中该主键时间戳。
  • 指标口径:延迟分位数、不可见超时占比、分等级对比。
  • 关联因素:flush 节奏、段加载、队列堆积、一致性等级。

原理流程

写入打时间戳 → 周期点查/检索确认可见 → 计算差值 → 统计分布与告警

代码 / 命令

# 记录:主键、写入时间、首次可见时间、一致性等级、所在段状态

常见误区

  • 误区:可见性问题只看接口成功率。正解:成功率不反映延迟窗口,需时间差分布。
  • 误区:窗口变长是查询参数问题。正解:先查 flush、加载与队列堆积。

追问

  • 问:窗口突增先查什么?答:消息队列堆积、Data Node flush、段加载状态。
  • 问:业务如何用这个指标?答:按 SLA 设可见性延迟告警,指导一致性等级选择。

05.6.1.3-044 弱一致性读到旧数据时业务侧如何兜底?

频率 ★★★☆☆ | 难度 高级

一句话结论

对可见性敏感的链路,业务侧按主键点查确认、有限重试或延迟容忍;不要把所有请求全局提强一致,兜底逻辑与一致性等级按场景分级。

概念解释

  • 兜底手段:写后按主键补查、短退避重试、关键结果二次确认。
  • 分级:审核/发布类链路走强一致,普通检索接受弱一致窗口。
  • 监控:记录读到旧版本的比例与重试成功率。

原理流程

弱一致返回 → 关键场景主键确认 → 未命中则有限重试/延迟 → 仍不可见按策略降级

代码 / 命令

# 设计:写后读链路标识、重试次数与退避、旧版本命中埋点

常见误区

  • 误区:读到旧数据直接报错给用户。正解:先区分等级内行为与异常,按业务容忍处理。
  • 误区:加全局强一致解决所有兜底问题。正解:吞吐代价高,应局部使用。

追问

  • 问:重试会放大压力吗?答:会,需退避与上限,配合服务端限流。
  • 问:哪些结果不能容忍旧版本?答:权限、状态变更、审核结论类,单独走强一致链路。

05.6.1.3-045 无跨行事务下,批量写入部分失败如何补偿?

频率 ★★★★★ | 难度 高级

一句话结论

按主键做幂等写入,失败条目单独识别重试;配合定时对账比对业务库与向量库差异,补偿缺失或多余记录,不依赖库内事务回滚。

概念解释

  • 幂等:同一主键重复写入结果一致,重试安全。
  • 失败隔离:批量结果逐条区分成功与失败,不整体重放。
  • 对账:定时按主键集合比对,修复漂移记录。

原理流程

批量提交 → 逐条核对结果 → 失败条目幂等重试 → 定时对账 → 差异补偿

代码 / 命令

# 记录:批次号、主键、状态、重试次数、对账差异与修复记录

常见误区

  • 误区:批量失败就整批重插。正解:按主键甄别,避免重复与覆盖。
  • 误区:对账只查缺失。正解:还要查多余与版本不一致记录。

追问

  • 问:业务库成功而向量库缺失怎么办?答:对账任务检出后补写,按主键幂等。
  • 问:向量库有而业务库已删怎么办?答:对账检出后按删除流程清理。

05.6.1.3-046 条件删除有哪些风险,如何防护?

频率 ★★★☆☆ | 难度 进阶

一句话结论

条件删除可能因表达式过宽、字段格式错误或权限不足误删大量记录;删除前 dry-run 核对范围、限制批量大小、保留审计与备份,高危操作走审批。

概念解释

  • 风险点:表达式范围失控、时区/单位错误、误连生产环境。
  • 防护手段:先计数核对、分批删除、操作审计、备份可恢复。
  • 闭环:删除后抽样核验与空间回收跟踪。

原理流程

构造 expr → dry-run 计数核对 → 分批删除 → 审计记录 → 抽样核验 → compaction 跟踪

代码 / 命令

# 检查:条件范围、批量上限、操作人、备份状态、核验记录

常见误区

  • 误区:条件删除接口返回成功即可。正解:范围核对与核验闭环才算完成。
  • 误区:删除不需要备份。正解:误删恢复依赖备份与导出快照。

追问

  • 问:误删后怎么恢复?答:从备份或导出快照重建集合,按主键补回。
  • 问:批量删除多大合适?答:以单批可观测、可重试为准,避免一次清空大段。

05.6.1.3-047 大结果集遍历导出怎么做才稳妥?

频率 ★★★☆☆ | 难度 进阶

一句话结论

用迭代器分批拉取,控制每批大小与并发,遍历期间注意快照一致性;导出后校验行数与抽样内容,避免深 offset 分页导致的重复遗漏。

概念解释

  • 遍历方式:query/search iterator 分批游标推进。
  • 一致性:遍历期间写入删除是否影响结果,按版本快照语义确认。
  • 校验:导出行数与集合计数对比,抽样核对字段完整性。

原理流程

创建迭代器 → 分批拉取 → 落导出文件 → 游标推进 → 结束校验行数与抽样

代码 / 命令

# 待确认:迭代器遍历的快照一致性语义与批大小参数
# 记录:导出范围、批大小、总条数、校验结果

常见误区

  • 误区:用深 offset 翻完所有数据。正解:重复跳过成本高且可能漂移。
  • 误区:导出完成不用校验。正解:行数与抽样必须核对,发现中断可续跑。

追问

  • 问:导出中途失败怎么续跑?答:按游标或业务键记录进度,断点续传。
  • 问:大导出影响在线怎么办?答:错峰执行、限速、必要时走只读副本。

05.6.1.3-048 设计一个带租户、权限、时间过滤的 RAG 检索链路?

频率 ★★★★★ | 难度 高级

一句话结论

链路按「身份鉴权 → 服务端合并租户/权限/时间 expr → 分区裁剪 → 带过滤的 ANN(必要时混合召回)→ 分组去重 → 重排返回」组织,条件全部服务端注入并留审计。

概念解释

  • 输入:用户身份与可见范围、问题向量、时间与租户约束。
  • 条件合并:租户键、权限标签、时间范围在服务端组装 expr。
  • 检索:分区裁剪后 ANN,必要时 dense+sparse 混合,分组去重文档切块。

原理流程

鉴权 → 生成权限/租户/时间 expr → 分区裁剪 → 过滤 ANN(可混合召回)
→ 分组取文档代表 → 重排 → TopK 返回 → 审计检索条件与结果范围

代码 / 命令

# 记录:身份、expr 条件、分区、各路候选、融合方式、返回条数、耗时
# 校验:越权条件无法注入、时间时区统一、删除与更新同步可见

常见误区

  • 误区:前端传过滤条件直接检索。正解:权限与租户条件必须服务端注入。
  • 误区:只做向量召回不叠加权限。正解:可见性过滤缺失会导致越权泄露。

追问

  • 问:权限可见范围很大怎么优化?答:评估集合隔离或分组策略,避免大候选过滤。
  • 问:如何验证链路安全?答:构造跨租户/越权用例检索,确认命中范围被正确限定并留审计。

参考来源