罗罗编程学习记录
本页内容 展开查看

05.6.2.3 查询过滤、事务与并发控制

所属:全栈开发面试题库 / 05 数据库与存储 / 05.6 向量数据库与语义检索 / 05.6.2 pgvector

覆盖范围

  • 近邻查询标准写法、索引命中条件与执行计划阅读
  • WHERE 标量过滤与 ANN 召回的相互影响、迭代式索引扫描
  • 部分索引、表达式索引、分区裁剪、多列过滤与 JOIN 路径
  • 索引构建锁、autovacuum、表膨胀、MVCC 快照与隔离级别
  • RLS 多租户、分页、只读副本、连接池与预处理语句、慢查询排查

查询主线

查询向量 + 标量过滤条件
   ↓ 优化器
索引扫描(算子匹配 + ORDER BY + LIMIT) 或 顺序扫描
   ↓ 过滤
迭代式扫描补足被过滤掉的候选 → 距离排序 → TopK
并发视角:MVCC 快照 + 索引构建锁 + vacuum 回收 + 连接池复用

高频题速览

编号 题目 难度 频率
05.6.2.3-001 近邻查询标准写法 基础 ★★★★★
05.6.2.3-005 标量过滤与向量排序的执行顺序 基础 ★★★★★
05.6.2.3-015 计划不走索引的原因清单 进阶 ★★★★★
05.6.2.3-016 过滤选择率低导致 ANN 召回不足 进阶 ★★★★★
05.6.2.3-026 索引构建锁与并发写入 进阶 ★★★★★
05.6.2.3-043 pgbouncer 事务模式与预处理语句冲突 高级 ★★★★★
05.6.2.3-046 慢向量查询排查清单 高级 ★★★★★
05.6.2.3-048 RAG 检索接口的事务过滤并发设计 高级 ★★★★★

05.6.2.3-001 向量近邻查询的标准写法是什么?

频率 ★★★★★ | 难度 基础

一句话结论

标准写法是 SELECT ... WHERE 过滤条件 ORDER BY 向量列 <距离算子> 查询向量 LIMIT k,距离算子直接作用于向量列,升序取最近的 k 条。

概念解释

  • 结构:标量过滤在 WHERE,距离排序在 ORDER BY,截断用 LIMIT。
  • 算子:<-> L2、<#> 负内积、<=> 余弦、<+> L1,bit 用 <~> / <%>。
  • 前提:查询向量维度与列一致,列已建对应 ops 索引。

原理流程

查询向量 + 业务过滤 → WHERE 筛选候选
   → ORDER BY 距离算子升序 → LIMIT k 返回 TopK

代码 / 命令

SELECT id, title, embedding <=> q AS distance
FROM doc_chunk
WHERE model_id = 123 AND status = 'ready'
ORDER BY embedding <=> '[0.1, ...]'
LIMIT 5;

常见误区

  • 误区:把距离计算包进表达式再排序。正解:ORDER BY 必须是距离算子直接作用于列,包裹表达式会导致索引不命中。
  • 误区:先 SELECT 全部再应用层排序。正解:数据库内完成距离排序与 LIMIT,避免回传全量。

追问

  • 问:查询向量参数怎么传入?答:用参数绑定传向量字面量或驱动适配类型,不要字符串拼接。
  • 问:距离值要不要返回?答:返回距离用于业务阈值过滤与结果展示,内积结果注意符号换算。

05.6.2.3-002 为什么查询必须带 LIMIT 才可能走向量索引?

频率 ★★★★☆ | 难度 基础

一句话结论

ANN 索引服务的是「最近邻 TopK」场景,索引扫描按距离递增取回少量元组;没有 LIMIT 时优化器需要返回全部行,顺序扫描通常更划算。

概念解释

  • 索引定位:向量索引的扫描路径与 TopK 截断绑定。
  • 代价估算:无 LIMIT 时全表返回,索引逐条取回的代价高于顺序扫描。
  • 例外:精确检索无索引时不依赖 LIMIT。

原理流程

带 LIMIT k → 优化器估算取 k 条 → 索引扫描划算
无 LIMIT → 需返回全表 → 顺序扫描 + 排序

代码 / 命令

-- 命中索引的形态:ORDER BY 距离 + LIMIT
SELECT * FROM items ORDER BY embedding <=> q LIMIT 10;

常见误区

  • 误区:只要建了索引,全表距离查询也会走索引。正解:无 LIMIT 的大结果集通常走顺序扫描。
  • 误区:LIMIT 越大越容易走索引。正解:LIMIT 很大时返回集接近全表,索引代价反而更高。

追问

  • 问:只要距离阈值不要 TopK 怎么写?答:距离过滤放在外层或物化 CTE 之后,具体见距离阈值过滤题。
  • 问:EXPLAIN 里怎么确认走了索引?答:看是否出现向量索引扫描节点及对应索引名。

05.6.2.3-003 为什么 ORDER BY 必须是距离算子的直接结果?

频率 ★★★☆☆ | 难度 基础

一句话结论

向量索引按算子对应的距离顺序组织邻接结构,ORDER BY 直接写算子表达式才能匹配索引;套一层函数、减法或 DESC 反转都会让索引无法使用。

概念解释

  • 直接匹配:embedding <=> q 是索引可识别的算子表达式。
  • 包裹失效:1 - (embedding <=> q)、-(embedding <#> q) 等改写改变了表达式形态。
  • 方向:索引沿距离升序扫描,需要升序排序。

原理流程

索引登记算子与 ops 类
   → 查询 ORDER BY 同一算子直接表达式 → 可匹配
   → 表达式被函数/算术包裹 → 匹配失败 → 顺序扫描

代码 / 命令

-- 可命中
ORDER BY embedding <=> q LIMIT 5;
-- 不可命中(表达式被包裹)
ORDER BY 1 - (embedding <=> q) DESC LIMIT 5;

常见误区

  • 误区:写成相似度降序更直观,索引也能跟上。正解:余弦相似度 1 - 距离 的包裹写法不走索引,应按距离升序。
  • 误区:DESC 与 ASC 对向量索引无差别。正解:索引扫描按升序组织,方向不匹配会退化。

追问

  • 问:想要相似度排序怎么办?答:按距离升序取回,应用层或外层换算相似度;必要时用物化 CTE 重排。
  • 问:算子两侧类型不一致怎么办?答:查询向量与列维度、类型一致,必要时显式转型并与索引表达式对齐。

05.6.2.3-004 怎么读 EXPLAIN ANALYZE 中的向量索引扫描节点?

频率 ★★★★☆ | 难度 基础

一句话结论

重点看扫描节点类型、命中的索引名、实际行数与估计行数偏差、距离排序是否在索引内完成,以及是否有额外过滤节点与回表。

概念解释

  • 节点类型:索引扫描 vs 顺序扫描,判断路径选择。
  • 行数偏差:估计与实际差距大说明统计信息过时。
  • 耗时拆分:节点 actual time、buffers 命中,定位慢在扫描还是过滤。

原理流程

EXPLAIN (ANALYZE, BUFFERS)
   → 找向量索引扫描节点 → 核对索引名与 ops
   → 对比估计/实际行数 → 看过滤节点与排序位置

代码 / 命令

EXPLAIN (ANALYZE, BUFFERS)
SELECT * FROM items ORDER BY embedding <=> q LIMIT 5;

常见误区

  • 误区:只看节点是否出现,不看实际行数与耗时。正解:节点命中但扫描大量无效行同样是问题。
  • 误区:计划每次都一样。正解:数据量、统计信息、参数变化后计划可能切换。

追问

  • 问:估计行数与实际行数差很多怎么办?答:ANALYZE 更新统计信息,再复核计划。
  • 问:怎么看索引是否服务正确度量?答:节点对应索引定义中的 ops 类,与查询算子核对。

05.6.2.3-005 WHERE 标量过滤与向量排序的执行顺序是怎样的?

频率 ★★★★★ | 难度 基础

一句话结论

优化器在「先过滤再向量排序」与「先向量取候选再过滤」之间按代价选择;ANN 索引取回的候选若被过滤条件大量剔除,就需要迭代式扫描补足。

概念解释

  • 先过滤:高选择性条件先缩小集合,再在子集内排序。
  • 先向量:索引取最近邻候选,再套用标量过滤。
  • 相互影响:过滤选择率越低,ANN 初始候选被剔除比例越高。

原理流程

路径 A:WHERE 过滤 → 子集内距离排序
路径 B:ANN 索引取候选 → WHERE 过滤 → 不足则迭代补扫
优化器按估计代价二选一

代码 / 命令

SELECT * FROM items
WHERE tenant_id = 7 AND category = 'doc'
ORDER BY embedding <=> q LIMIT 5;

常见误区

  • 误区:WHERE 一定先于向量排序执行。正解:顺序由优化器按代价决定,向量索引路径下常先取候选再过滤。
  • 误区:加了过滤条件索引就自动适配。正解:过滤列是否有普通索引、选择率高低都会影响计划。

追问

  • 问:过滤条件放哪里能帮助裁剪?答:高选择性、常用于隔离的列(tenant_id、model_id、状态)应作为过滤条件,并考虑部分索引。
  • 问:过滤后结果为空还走索引吗?答:优化器估算选择率后可能改走顺序扫描,以实际计划为准。

05.6.2.3-006 分区表与分区裁剪在向量查询中起什么作用?

频率 ★★★☆☆ | 难度 基础

一句话结论

查询携带分区键条件时,优化器排除无关分区,向量检索只在相关分区内进行;不带分区条件会扫描全部分区,放大扫描成本。

概念解释

  • 裁剪依据:WHERE 中的分区键范围或等值条件。
  • 向量索引:各分区独立维护向量索引。
  • 收益:缩小检索范围、隔离冷热数据、单分区 vacuum 与重建更轻。

原理流程

分区键(时间 / 租户)→ WHERE 携带条件
   → 裁剪到相关分区 → 分区内向量索引检索

代码 / 命令

SELECT * FROM doc_chunk
WHERE created_at >= '2026-01-01'
ORDER BY embedding <=> q LIMIT 5;

常见误区

  • 误区:分区本身提升向量召回。正解:分区只缩小范围,召回由向量索引参数决定。
  • 误区:父表查询自动只扫热分区。正解:不带分区键条件会遍历所有分区。

追问

  • 问:按租户分区还是按时间分区?答:租户隔离需求强按租户,冷热归档需求强按时间,也可组合分区。
  • 问:新分区索引何时就绪?答:分区创建后索引随定义建立,需确认新分区索引已参与检索。

05.6.2.3-007 RLS 行级安全在多租户向量表上写在哪里?

频率 ★★★☆☆ | 难度 基础

一句话结论

RLS 策略以 USING 条件形式附加在行访问上,等价于自动追加的 WHERE 过滤;向量检索在策略允许的行集合内进行,策略条件与普通过滤一样参与计划。

概念解释

  • 策略位置:表上启用 RLS,按角色定义 USING 表达式。
  • 生效方式:查询无需手写租户条件,策略自动约束可见行。
  • 与索引关系:策略表达式能否被索引利用,取决于表达式形式与普通索引/部分索引匹配。

原理流程

ALTER TABLE ... ENABLE ROW LEVEL SECURITY
   → CREATE POLICY ... USING (tenant_id = current_setting('app.tenant_id'))
   → 向量查询在策略可见行内排序检索

代码 / 命令

CREATE POLICY tenant_isolation ON doc_chunk
USING (tenant_id = current_setting('app.tenant_id')::bigint);

常见误区

  • 误区:RLS 会自动给向量列建索引。正解:策略只约束行可见性,索引仍需单独设计。
  • 误区:策略条件对计划无影响。正解:策略表达式参与代价估算与路径选择,写法不当会导致顺序扫描。

追问

  • 问:RLS 与手写 WHERE 哪个更好?答:RLS 防止漏写隔离条件,适合多租户;高频固定查询可配合部分索引。
  • 问:策略用函数取值会不会影响计划?答:不稳定函数可能阻碍条件下推与索引匹配,需在计划中验证。

05.6.2.3-008 MVCC 快照读下,一次向量查询看到哪个版本?

频率 ★★★☆☆ | 难度 基础

一句话结论

快照读按事务快照看到查询开始时刻已提交的行版本;检索结果基于该快照,查询期间其他事务提交的新向量不会出现在本次结果中。

概念解释

  • 快照语义:语句或事务开始时确定可见版本。
  • 向量检索:距离计算在可见行版本上进行,已删除或未提交的版本不参与。
  • 与索引关系:索引条目指向堆元组,可见性由快照判断。

原理流程

事务开始 → 确定快照可见版本
   → 向量扫描读取可见行 → 距离排序返回
   期间其他提交不影响本次快照

代码 / 命令

-- 检索链路通常用默认隔离级别快照读;写后读场景另作一致性设计
BEGIN;
SELECT ... ORDER BY embedding <=> q LIMIT 5;
COMMIT;

常见误区

  • 误区:查询执行期间新提交的行会实时出现在结果里。正解:快照读不随新提交更新。
  • 误区:向量索引直接存最终可见版本。正解:索引存条目,可见性在堆元组版本上判断。

追问

  • 问:当前读与快照读在向量场景有差别吗?答:向量检索基本是快照读;需要读最新版本时按语句隔离级别与时机确认。
  • 问:长事务为什么影响回收?答:旧快照阻止 vacuum 清理其后产生的死元组。

05.6.2.3-009 NULL 向量在索引检索中是什么表现?

频率 ★★★☆☆ | 难度 基础

一句话结论

NULL 向量不进入向量索引,近邻查询不会命中;余弦距离下零向量同样不被索引,未生成向量的行应在 WHERE 中显式排除。

概念解释

  • NULL:向量列未赋值,索引跳过该条目。
  • 零向量:余弦方向不可定义,官方明确不被余弦索引收录。
  • 业务处理:异步回填期间用 embedding IS NOT NULL 过滤待生成行。

原理流程

行入库 embedding NULL → 不进索引
   ↓ 检索
索引扫描跳过 NULL/零向量 → 结果不含该行
   ↓ 写入侧
回填完成后才参与检索

代码 / 命令

SELECT * FROM items
WHERE embedding IS NOT NULL
ORDER BY embedding <=> q LIMIT 5;

常见误区

  • 误区:NULL 向量距离按 0 参与排序。正解:NULL 比较结果为 NULL,不作为近邻命中。
  • 误区:零向量在所有距离下都被排除。正解:排除规则针对余弦距离;L2 下零向量只是普通坐标点。

追问

  • 问:回填期间怎么避免漏召?答:状态列标记 ready,检索只扫 ready 行。
  • 问:存量零向量怎么清理?答:扫描模长为零的行,重新生成或标记删除后评估重建索引。

05.6.2.3-010 用 OFFSET 分页翻向量检索结果有什么代价?

频率 ★★★☆☆ | 难度 基础

一句话结论

OFFSET n LIMIT k 需要跳过前 n 条排序结果,偏移越大扫描与排序成本越高;向量近邻分页应改用游标式续翻,而不是不断加大 OFFSET。

概念解释

  • 代价机制:OFFSET 不直接定位,仍需计算并丢弃前面的行。
  • 向量场景:距离排序结果随新增删除变化,深翻页还可能漏或重复。
  • 替代:按上一页最后的距离/主键游标续查。

原理流程

OFFSET n → 排序后丢弃 n 行 → 取 k 行
   偏移增大 → 扫描成本上升 + 结果不稳定

代码 / 命令

-- 不推荐深翻:ORDER BY distance LIMIT 50 OFFSET 1000
-- 游标思路:记录上一页最后距离与主键,下一页从游标之后续查

常见误区

  • 误区:OFFSET 分页对数据库成本恒定。正解:成本随偏移增长。
  • 误区:翻页期间数据不变可放心深翻。正解:增量写入删除会改变排序边界,深翻页出现重复/遗漏。

追问

  • 问:游标条件怎么写?答:带上一页最后的距离值与唯一主键,构造 (distance, id) 复合续查条件。
  • 问:业务只要前几页怎么办?答:浅分页 OFFSET 可接受,深翻页改为流式加载或缩小结果集。

05.6.2.3-011 距离阈值过滤(WHERE distance < x)有什么写法陷阱?

频率 ★★★☆☆ | 难度 基础

一句话结论

直接在 WHERE 中写距离阈值会让优化器先按阈值过滤再排序,ANN 候选可能不足;官方建议把近邻检索放物化 CTE,距离阈值条件放在外层。

概念解释

  • 执行顺序:阈值条件下推会改变索引扫描行为。
  • 推荐形态:CTE 内取最近邻,外层 WHERE distance < 阈值 再过滤。
  • 其他过滤:业务标量条件仍放 CTE 内部。

原理流程

WITH nearest AS MATERIALIZED (
  SELECT id, embedding <=> q AS distance
  FROM items ORDER BY distance LIMIT 50
)
SELECT * FROM nearest WHERE distance < 0.5 ORDER BY distance;

代码 / 命令

-- 阈值外包:CTE 内近邻,外层距离过滤
WITH nearest AS MATERIALIZED (
  SELECT id, embedding <=> q AS distance FROM items
  ORDER BY embedding <=> q LIMIT 50
)
SELECT * FROM nearest WHERE distance < 5 ORDER BY distance;

常见误区

  • 误区:阈值写在 WHERE 里索引一样快。正解:执行路径不同,大阈值下可能退化扫描。
  • 误区:外层过滤后还要重排。正解:relaxed 顺序结果可能乱序,外层需再按 distance 排序。

追问

  • 问:CTE 为什么要 MATERIALIZED?答:强制先完成近邻检索再外层过滤,避免执行器把条件下推改变路径。
  • 问:PG 17+ 重排要注意什么?答:部分版本对常量折叠有调整,重排表达式可能需要 + 0 类处理,以版本行为为准。

05.6.2.3-012 向量检索链路怎么选事务隔离级别?

频率 ★★★☆☆ | 难度 基础

一句话结论

检索是只读快照读,默认隔离级别通常即可;只有涉及「写入向量后必须立即在同一链路读到」的事务,才按业务需要评估更强隔离,不必全局升级。

概念解释

  • 检索侧:只读查询不受写写并发影响,默认级别满足快照读。
  • 写后读:同一事务内插入后查询,快照语义内可见;跨事务则受提交时机与快照限制。
  • 成本:更强隔离级别增加锁与冲突代价,检索链路无必要不升级。

原理流程

只读检索 → 默认隔离级别快照读
   ↓ 写后读需求
同事务内插入 + 查询 → 本事务快照可见
跨事务 → 等待提交 + 按快照/副本一致性判断

代码 / 命令

-- 检索接口一般不显式设置隔离级别,走会话默认
-- 写后读链路:必要时在同一事务内完成写入与校验查询

常见误区

  • 误区:向量检索必须用可串行化级别。正解:只读检索默认级别足够,强级别只在特定一致性需求下使用。
  • 误区:隔离级别能解决副本延迟。正解:副本读一致性是复制延迟问题,不是隔离级别范畴。

追问

  • 问:检索中读到旧数据怎么办?答:先判断是快照时点、副本延迟还是未提交,分别对应不同处置。
  • 问:长检索事务有什么风险?答:长时间持有快照,阻碍 vacuum 回收死元组。

05.6.2.3-013 autovacuum 与 HNSW 索引维护是什么关系?

频率 ★★★☆☆ | 难度 基础

一句话结论

autovacuum 回收死元组时需要同步处理向量索引条目;HNSW 图结构遍历较重,清理耗时偏长,残留越多 vacuum 压力越大。

概念解释

  • 清理对象:堆表死元组 + 对应索引条目。
  • HNSW 特点:索引条目随图结构组织,遍历清理成本高于普通 B-tree。
  • 监控:死元组比例、vacuum 时长、索引体积增长。

原理流程

更新/删除 → 产生死元组
   ↓ autovacuum
回收堆元组 → 遍历索引清理条目
   ↓ HNSW
图遍历较重 → vacuum 耗时较长

代码 / 命令

-- 观察死元组与 vacuum 状态(系统视图名以 PG 版本为准)
SELECT relname, n_live_tup, n_dead_tup, last_vacuum FROM pg_stat_user_tables;

常见误区

  • 误区:vacuum 只清理堆表,不碰索引。正解:索引条目必须同步回收。
  • 误区:关掉 autovacuum 检索更快。正解:死元组累积会让扫描与索引维护越来越慢。

追问

  • 问:HNSW vacuum 慢怎么加速?答:官方建议可先 REINDEX 整理结构再 vacuum,减少遍历负担。
  • 问:批量删除后要手动 vacuum 吗?答:大表批量变更后可低峰手动 VACUUM ANALYZE,避免 autovacuum 追赶不及。

05.6.2.3-014 连接池复用连接,对 SET 的向量查询参数有什么影响?

频率 ★★★☆☆ | 难度 基础

一句话结论

会话级 SET 的参数随连接残留,连接被复用到下一个请求时会沿用旧值;向量参数应优先用 SET LOCAL 限定事务,或在请求结束显式重置。

概念解释

  • 残留机制:会话 GUC 在连接存续期间有效,池化复用不自动还原。
  • 风险:上一个请求调大的 ef_search/probes 影响后续请求。
  • 安全做法:事务内 SET LOCAL,结束自动恢复。

原理流程

请求 A:SET hnsw.ef_search = 100(会话级)
   → 连接归还池 → 请求 B 复用 → 仍带 100
改用 SET LOCAL → 事务结束自动恢复默认

代码 / 命令

BEGIN;
SET LOCAL hnsw.ef_search = 100;
SELECT ... ORDER BY embedding <=> q LIMIT 5;
COMMIT;

常见误区

  • 误区:池化连接每次请求都是干净会话。正解:会话参数与临时设置会跨请求残留。
  • 误区:参数只在自己代码里设置就安全。正解:需确认复用连接上是否有历史会话设置。

追问

  • 问:怎么查当前连接参数值?答:SHOW hnsw.ef_search; 等 SHOW 命令读取会话生效值。
  • 问:连接池配置能初始化参数吗?答:可在角色默认设置或连接初始化语句中配置,具体按池与驱动文档。

05.6.2.3-015 计划不走向量索引的常见原因有哪些?

频率 ★★★★★ | 难度 进阶

一句话结论

常见原因包括:算子与 ops 类不匹配、ORDER BY 不是算子直接结果、缺 LIMIT、过滤后结果集过大、统计信息过时、表达式索引写法不一致、类型维度不符。

概念解释

  • 语法层:算子—ops 匹配、排序表达式形态、LIMIT。
  • 代价层:估计结果集大小、选择率、统计信息。
  • 结构层:表达式/部分索引条件未被查询复用。

原理流程

EXPLAIN 看节点是否为索引扫描
   → 核对算子/ops、ORDER BY、LIMIT
   → 核对表达式与索引一致、统计信息
   → 检查过滤选择率与类型维度

代码 / 命令

-- 排查顺序:
-- 1) 索引定义 ops 与查询算子一致  2) ORDER BY 直接算子 + LIMIT
-- 3) 表达式/部分索引条件复用      4) ANALYZE 更新统计
-- 5) 结果集大小与选择率评估

常见误区

  • 误区:不走索引就是索引坏了。正解:多数是写法、匹配或代价估算问题。
  • 误区:强制走索引能解决所有慢查询。正解:先确认索引路径是否真的更优。

追问

  • 问:怎么快速区分写法问题还是代价问题?答:写法核对计划中索引表达式;代价问题看估计行数与选择率。
  • 问:类型转型导致不走索引怎么改?答:让查询表达式与索引表达式逐字一致,或调整列类型。

05.6.2.3-016 过滤选择率低为什么会导致 ANN 召回不足?

频率 ★★★★★ | 难度 进阶

一句话结论

ANN 先取一批最近邻候选,再套用过滤条件;当过滤条件选择率很低时,初始候选中的有效行被大量剔除,真实近邻可能还没被扫到就已截断,表现为结果偏少或相关性下降。

概念解释

  • 候选剔除:索引按距离取候选,过滤后存活比例低。
  • 召回缺口:未被扫到的更远处近邻满足过滤条件,却不在初始候选内。
  • 缓解:迭代式索引扫描继续扩大扫描范围补足候选。

原理流程

ANN 取 TopN 候选 → WHERE 过滤
   存活比例低 → 满足条件的近邻不足
   → 迭代扫描扩大访问元组范围 → 补足候选再排序

代码 / 命令

-- 低选择率过滤下,结果行数少于预期时检查是否需要迭代扫描
SELECT * FROM items WHERE category_id = 123
ORDER BY embedding <=> q LIMIT 5;

常见误区

  • 误区:召回不足一定是 ef_search/probes 太小。正解:先看过滤剔除比例,候选不足与参数过小是两类问题。
  • 误区:加了普通索引就不影响 ANN。正解:普通过滤索引与向量索引是两条路径,计划选择取决于代价。

追问

  • 问:高选择性过滤怎么帮助向量检索?答:先把集合缩到小范围,再在子集内排序,ANN 候选被剔除比例低。
  • 问:怎么量化剔除比例?答:对比索引取回候选数与过滤后存活数,差值占比高说明选择率问题。

05.6.2.3-017 迭代式索引扫描解决什么问题?

频率 ★★★★☆ | 难度 进阶

一句话结论

迭代式索引扫描在被过滤条件剔除候选后,继续扩大索引扫描范围补足满足条件的近邻,缓解「先取候选再过滤」导致的召回不足。

概念解释

  • 触发:初始候选被过滤后不足 TopK。
  • 行为:按迭代策略继续访问更多元组,直到凑够结果或触达终止上限。
  • 适用:带标量过滤的 ANN 查询,单轮候选容易被剔除的场景。

原理流程

首轮索引扫描 → 过滤后不足 k
   → 继续迭代扩大扫描 → 补足满足条件的近邻
   → 达到终止条件(元组数/内存/probes 上限)停止

代码 / 命令

-- 迭代扫描相关 GUC 以版本文档为准,验证方式:SHOW hnsw.iterative_scan
SET hnsw.iterative_scan = relaxed_order;

常见误区

  • 误区:开启迭代扫描就不损失召回。正解:它扩大候选范围,但仍受终止上限与索引质量约束。
  • 误区:迭代扫描只对 HNSW 有效。正解:IVFFlat 也有对应迭代扫描配置,具体以官方说明为准。

追问

  • 问:迭代扫描会不会拖慢查询?答:会增加扫描量,需在召回与 P99 之间权衡,配合终止参数控制。
  • 问:怎么确认迭代扫描生效?答:查询计划与参数设置核对,结合结果行数对比开启前后差异。

05.6.2.3-018 strict_order 与 relaxed_order 有什么区别?

频率 ★★★★☆ | 难度 进阶

一句话结论

strict_order 保持按距离严格有序,relaxed_order 允许结果顺序略微偏离距离但换取更好的召回;需要严格排序时可用物化 CTE 对外层结果重排。

概念解释

  • strict:距离顺序优先,召回可能受限。
  • relaxed:召回优先,顺序可能轻微乱序。
  • 重排:relaxed 结果经物化 CTE 后按 distance 再排序得到严格顺序。

原理流程

iterative_scan = strict_order  → 严格距离序
iterative_scan = relaxed_order → 召回优先,可能乱序
   → 外层 ORDER BY distance 重排

代码 / 命令

SET hnsw.iterative_scan = strict_order;
SET hnsw.iterative_scan = relaxed_order;
-- relaxed 后用物化 CTE 重排
WITH r AS MATERIALIZED (SELECT id, embedding <=> q AS distance FROM items ...)
SELECT * FROM r ORDER BY distance;

常见误区

  • 误区:relaxed 结果可以直接按距离展示。正解:顺序不保证,需要外层重排。
  • 误区:strict 模式召回一定更好。正解:strict 优先顺序,候选范围可能更保守。

追问

  • 问:什么场景选 relaxed?答:过滤后候选易不足、优先保证召回数量,外层可接受一次重排。
  • 问:重排表达式有版本注意点吗?答:PG 17+ 对表达式折叠有调整,必要时按文档加 + 0 处理。

05.6.2.3-019 迭代扫描有哪些终止参数,各自控制什么?

频率 ★★★☆☆ | 难度 进阶

一句话结论

HNSW 有最大访问元组数与扫描内存倍数等终止参数,IVFFlat 有最大 probes 上限;参数控制迭代何时停止,避免补扫失控。

概念解释

  • HNSW:最大访问元组数上限、扫描内存相对 work_mem 的倍数。
  • IVFFlat:最大 probes 上限,低于当前 probes 时以 probes 为准。
  • 权衡:上限放宽召回更好,但查询更慢、内存更高。

原理流程

迭代补扫 → 触及元组数/内存/probes 上限 → 停止
   召回不足 → 适当上调上限;延迟过高 → 下调

代码 / 命令

SET hnsw.max_scan_tuples = 20000;   -- 默认值以官方文档为准
SET hnsw.scan_mem_multiplier = 2;
SET ivfflat.max_probes = 100;

常见误区

  • 误区:终止参数越大越好。正解:超过收益点后只增加扫描成本。
  • 误区:参数名在所有版本一致。正解:个别 GUC 随版本调整,用 SHOW 与官方文档核对。

追问

  • 问:怎么判断上限卡住了召回?答:结果不足且日志/计划显示触达终止条件,再对比上调后的召回变化。
  • 问:内存倍数参数作用对象是什么?答:扫描内存以 work_mem 的倍数计算,具体语义以版本文档为准。

05.6.2.3-020 relaxed_order 下结果乱序,怎么用物化 CTE 重排?

频率 ★★★★☆ | 难度 进阶

一句话结论

把近邻检索包进 MATERIALIZED CTE 得到候选集合,外层再按 distance 排序;物化先固定候选,避免执行器把排序或过滤下推打乱路径。

概念解释

  • 物化作用:强制 CTE 先执行完检索,再处理外层条件。
  • 重排位置:外层 ORDER BY distance 恢复严格距离序。
  • 兼容:部分 PG 版本重排表达式需要额外处理,以版本行为为准。

原理流程

WITH cte AS MATERIALIZED (
  SELECT id, embedding <=> q AS distance FROM items
  ORDER BY distance LIMIT 50
)
SELECT * FROM cte ORDER BY distance;

代码 / 命令

WITH relaxed_results AS MATERIALIZED (
  SELECT id, embedding <-> '[1,2,3]' AS distance
  FROM items WHERE category_id = 123
  ORDER BY distance LIMIT 5
)
SELECT * FROM relaxed_results ORDER BY distance + 0;
-- + 0 用于 PG 17+ 表达式折叠场景,低版本按实际计划验证

常见误区

  • 误区:普通 CTE 与物化 CTE 行为相同。正解:非物化 CTE 可能被内联下推,改变执行路径。
  • 误区:外层重排能补回丢失的候选。正解:重排只整理顺序,候选不足仍要靠迭代扫描。

追问

  • 问:其他业务过滤放 CTE 内还是外?答:标量过滤条件放 CTE 内部,距离阈值过滤放外层。
  • 问:重排后距离值会变吗?答:距离值在 CTE 内算定,外层只排序不重算。

05.6.2.3-021 部分索引怎么按租户、模型或时间裁剪?

频率 ★★★★☆ | 难度 进阶

一句话结论

部分索引在 WHERE 子句中固定裁剪条件,只为满足条件的行建索引;查询携带相同条件时才能命中,适合按租户/模型/状态/时间分组检索。

概念解释

  • 定义条件:索引级 WHERE,缩小索引覆盖范围。
  • 命中要求:查询条件与索引部分条件一致或被其蕴含。
  • 收益:索引更小、构建维护更轻,分组隔离更清晰。

原理流程

CREATE INDEX ... USING hnsw (embedding vector_cosine_ops)
WHERE model_id = 123 AND status = 'ready';
   → 查询必须带相同条件才命中

代码 / 命令

CREATE INDEX idx_chunk_model123 ON doc_chunk
USING hnsw (embedding vector_cosine_ops)
WHERE model_id = 123;

常见误区

  • 误区:部分索引能被任意查询使用。正解:条件不匹配时索引不可用。
  • 误区:部分索引条件写越宽越好。正解:过宽失去裁剪与体积收益。

追问

  • 问:多模型要建多少部分索引?答:按高频模型分组,低频模型共享全量索引或合并分组。
  • 问:条件列变更后索引怎么办?答:部分条件固定在索引定义,数据不再满足条件的行不被索引收录。

05.6.2.3-022 表达式索引为什么要求查询表达式完全一致?

频率 ★★★★☆ | 难度 进阶

一句话结论

表达式索引按表达式结果建条目,优化器只有在查询出现同一表达式(函数、转型、维度参数逐字一致)时才能匹配索引;写法不同即退化为扫描。

概念解释

  • 匹配粒度:函数名、类型转型、字面量参数全部一致。
  • 常见偏差:halfvec 转型维度不同、量化函数写法差异、子向量参数不同。
  • 验证:EXPLAIN 核对查询表达式与索引定义。

原理流程

索引表达式 E(embedding)
   → 查询出现 E(embedding) → 命中
   → 查询写原始列或另一表达式 → 不命中

代码 / 命令

CREATE INDEX ON items USING hnsw (
  (embedding::halfvec(1536)) halfvec_l2_ops
);
-- 查询:embedding::halfvec(1536) 必须与定义一致

常见误区

  • 误区:类型相同就能复用索引。正解:转型表达式与维度参数也要一致。
  • 误区:优化器会自动等价改写表达式。正解:多数向量表达式不做这种等价推导。

追问

  • 问:表达式不一致又想走索引怎么办?答:改查询表达式对齐索引,或按查询写法另建索引。
  • 问:模型维度变了表达式索引要改吗?答:需要重建为新维度表达式索引。

05.6.2.3-023 多列组合过滤怎么安排顺序与索引配合?

频率 ★★★☆☆ | 难度 进阶

一句话结论

先按高选择性、强隔离列(租户、模型、状态)过滤缩小集合,再做向量近邻;这些列可建普通索引或并入部分索引条件,避免低选择性条件先放大候选集。

概念解释

  • 选择率排序:等值隔离列选择性高,模糊/范围条件选择性低。
  • 索引配合:普通 B-tree 服务标量过滤,向量索引服务近邻排序。
  • 计划:优化器在两者间组合,必要时部分索引固化高频过滤组合。

原理流程

tenant_id / model_id / status 高选择性过滤
   → 缩小候选集 → 向量距离排序 TopK
   普通索引 + 向量索引 组合参与计划

代码 / 命令

SELECT * FROM items
WHERE tenant_id = 7 AND model_id = 123 AND status = 'ready'
ORDER BY embedding <=> q LIMIT 5;

常见误区

  • 误区:所有过滤列都要建向量索引。正解:标量过滤走普通索引,向量列只服务距离排序。
  • 误区:过滤条件顺序手写决定执行顺序。正解:实际顺序由优化器按代价决定。

追问

  • 问:组合过滤频繁变化怎么办?答:把稳定的隔离条件放部分索引,动态条件留在 WHERE。
  • 问:过滤列没有索引会怎样?答:先顺序扫描过滤再向量排序,大表成本高,需补普通索引。

05.6.2.3-024 JOIN 之后再做向量排序,执行路径是怎样的?

频率 ★★★★☆ | 难度 进阶

一句话结论

向量列所在表先参与 JOIN,优化器决定先 JOIN 过滤再向量排序,还是先取向量候选再回表 JOIN;关联条件与索引决定哪条路径更优。

概念解释

  • 两种路径:先关联缩小集合再排序;先向量取候选再按主键回表关联。
  • 回表成本:向量索引通常先取主键,再 JOIN 业务表取字段。
  • 过滤位置:关联表的过滤条件下推能力影响候选规模。

原理流程

路径 A:JOIN 过滤 → 子集内向量排序
路径 B:向量索引取候选 → 主键回表 JOIN 业务字段

代码 / 命令

SELECT c.id, d.title, c.embedding <=> q AS distance
FROM doc_chunk c JOIN doc d ON d.id = c.doc_id
WHERE d.category = 'doc'
ORDER BY c.embedding <=> q LIMIT 5;

常见误区

  • 误区:JOIN 后向量索引一定失效。正解:取决于路径选择与关联索引,需 EXPLAIN 验证。
  • 误区:业务字段放在向量表就免 JOIN。正解:反范式存放可减少关联,但要承担冗余与更新成本。

追问

  • 问:回表 JOIN 慢怎么优化?答:关联键索引齐全,高频字段冗余到向量表,或先在向量表过滤再回表。
  • 问:一对多 chunk 怎么聚合回文档?答:先检索 chunk 候选,再按 doc_id 去重聚合,控制返回文档数。

05.6.2.3-025 时间范围过滤怎么配合分区或部分索引?

频率 ★★★☆☆ | 难度 进阶

一句话结论

时间范围是天然的分区键与部分索引条件:按时间分区可裁剪冷分区,按近期时间建部分索引可为热数据提供更小更快的向量索引。

概念解释

  • 分区裁剪:WHERE 带 created_at 范围,排除历史分区。
  • 部分索引:只索引近期或活跃数据,冷数据走压缩/归档方案。
  • 组合:分区解决存储与裁剪,部分索引解决热数据检索性能。

原理流程

created_at 范围条件
   → 分区裁剪到热分区
   → 热分区部分向量索引检索

代码 / 命令

SELECT * FROM doc_chunk
WHERE created_at >= now() - interval '30 days'
ORDER BY embedding <=> q LIMIT 5;

常见误区

  • 误区:时间过滤只影响业务字段。正解:它同时决定分区裁剪与部分索引命中。
  • 误区:所有历史数据都要建同等向量索引。正解:冷数据可降级索引或归档,按访问频率分级。

追问

  • 问:跨长时间范围检索怎么办?答:裁剪收益下降,需扫描更多分区,评估是否拆分检索接口。
  • 问:部分索引时间条件过期怎么办?答:滚动重建部分索引覆盖当前热窗口,旧索引按需保留。

05.6.2.3-026 索引构建期间的锁模式如何影响并发写入?

频率 ★★★★★ | 难度 进阶

一句话结论

普通建索引持有阻塞写入的锁,大表构建期间 INSERT/UPDATE/DELETE 会等待;生产应使用 CREATE INDEX CONCURRENTLY 在线构建,避免长时间阻塞业务写入。

概念解释

  • 普通构建:锁级别高,读取可进行,写入阻塞等待。
  • 并发构建:后台扫描构建,允许读写并行,收尾短暂锁替换。
  • 失败残留:并发构建失败可能留下无效索引,需清理重试。

原理流程

CREATE INDEX → 阻塞写入直到构建完成
CREATE INDEX CONCURRENTLY → 允许并发写入 → 后台构建 → 替换

代码 / 命令

CREATE INDEX CONCURRENTLY idx_items_hnsw
ON items USING hnsw (embedding vector_cosine_ops);

常见误区

  • 误区:CONCURRENTLY 完全不加任何锁。正解:收尾替换仍有短暂锁,只是不长期阻塞写入。
  • 误区:在线小表也必须并发构建。正解:小表普通构建快、阻塞短,按表规模选择。

追问

  • 问:并发构建期间长事务有什么影响?答:会推迟索引就绪,构建需等待旧快照释放。
  • 问:并发构建失败怎么排查?答:检查残留无效索引、报错信息与表上唯一约束/数据冲突,清理后重试。

05.6.2.3-027 表膨胀对向量检索延迟和召回有什么影响?

频率 ★★★★☆ | 难度 进阶

一句话结论

死元组与索引残留让扫描跳过无效行、回表增多,延迟上升;膨胀严重时候选中无效条目占比高,等效有效候选减少,召回质量随之下降。

概念解释

  • 延迟路径:扫描更多无效元组、回表与排序成本增加。
  • 召回路径:无效条目占用候选位置,真实近邻被挤出候选集。
  • 表现:P99 升高、结果偏少、索引体积异常增长。

原理流程

频繁更新/删除 → 死元组 + 索引残留
   → 扫描跳过无效行 → 延迟 ↑
   → 有效候选占比 ↓ → 召回 ↓

代码 / 命令

-- 对比活元组/死元组与索引大小
SELECT relname, n_live_tup, n_dead_tup FROM pg_stat_user_tables;
SELECT pg_size_pretty(pg_relation_size('idx_items_hnsw'));

常见误区

  • 误区:膨胀只浪费磁盘,不影响检索。正解:扫描与回表成本直接体现在延迟与召回上。
  • 误区:重建索引就能消除堆表膨胀。正解:索引重建整理索引侧,堆表死元组仍需 vacuum 回收。

追问

  • 问:怎么区分堆表膨胀与索引膨胀?答:对比表大小/死元组与索引大小,分别处置 vacuum 与 reindex。
  • 问:高频更新向量列怎么控膨胀?答:降低更新频率、批量合并变更、必要时拆分向量表。

05.6.2.3-028 VACUUM 与 ANALYZE 分别解决什么问题?

频率 ★★★☆☆ | 难度 进阶

一句话结论

VACUUM 回收死元组与索引条目、更新可见性统计;ANALYZE 采集列统计信息供优化器估算代价,两者解决膨胀回收与计划质量两类不同问题。

概念解释

  • VACUUM:清理不可见版本,回收空间与索引条目,防事务 ID 回卷。
  • ANALYZE:收集行数、选择率、相关性等统计,影响计划选择。
  • 配合:大批量变更后通常 VACUUM ANALYZE 一起执行。

原理流程

变更累积 → VACUUM 回收死元组/索引条目
        → ANALYZE 更新统计信息 → 优化器重新估算代价

代码 / 命令

VACUUM ANALYZE items;

常见误区

  • 误区:ANALYZE 能回收空间。正解:它只更新统计信息,不清理死元组。
  • 误区:VACUUM 会更新列统计。正解:vacuum 与 analyze 分工不同,需分别触发或合并执行。

追问

  • 问:autovacuum 包含分析吗?答:autovacuum 触发时会做清理与分析,大批量手动变更后仍建议手动 ANALYZE。
  • 问:VACUUM 会锁表吗?答:常规 vacuum 不阻塞读写,整表 VACUUM 与并发构建行为不同,以文档为准。

05.6.2.3-029 HNSW 索引 vacuum 耗时偏长的成因是什么?

频率 ★★★☆☆ | 难度 进阶

一句话结论

HNSW 图结构中每个索引条目需要按邻接关系遍历清理,残留节点越多遍历越重;相比普通索引,HNSW 的索引侧清理成本更高,表现为 vacuum 阶段拉长。

概念解释

  • 结构差异:图邻接关系使条目清理不能按简单顺序扫描完成。
  • 残留放大:大量删除/更新后无效条目累积,遍历范围扩大。
  • 缓解:先 REINDEX 整理图结构,减少待清理残留,再 vacuum。

原理流程

死元组产生 → HNSW 索引定位对应条目
   → 按图邻接遍历清理 → 残留越多耗时越长
   → REINDEX 重建图 → 再 VACUUM 降低遍历负担

代码 / 命令

REINDEX INDEX CONCURRENTLY idx_items_hnsw;
VACUUM ANALYZE items;

常见误区

  • 误区:vacuum 慢是磁盘 IO alone 问题。正解:图结构遍历的 CPU 与条目定位也是成本来源。
  • 误区:HNSW vacuum 慢属于正常无需处理。正解:残留持续增长会让 vacuum 越来越长,需监控并定期重建。

追问

  • 问:怎么判断 vacuum 卡在索引清理?答:结合 vacuum 阶段、索引大小变化与等待事件定位。
  • 问:批量删除后怎么缩短 vacuum?答:低峰分批删除、及时 vacuum,必要时重建索引。

05.6.2.3-030 写入后立即检索搜不到,是什么一致性问题?

频率 ★★★★☆ | 难度 进阶

一句话结论

刚插入的向量搜不到,可能是快照读尚未看到新版本、写入在副本上未回放、向量还在异步回填,或索引尚未纳入该行;需按链路逐段定位可见性。

概念解释

  • 快照时点:检索事务早于提交,看不到新行。
  • 复制延迟:读副本尚未回放 WAL。
  • 回填/索引:向量列 NULL 待回填,或新行索引条目尚未生效。

原理流程

插入提交 → 主库快照可见性
   → WAL 回放副本 → 副本可见
   → 向量回填完成 → 索引收录
逐段核对哪一环节尚未就绪

代码 / 命令

-- 按主键点查确认行与向量是否存在、是否为 NULL
SELECT id, embedding IS NOT NULL AS has_vec, status
FROM items WHERE id = ?;

常见误区

  • 误区:写入返回成功就一定能被 ANN 搜到。正解:可见性、回填与索引收录是独立环节。
  • 误区:搜不到就是索引损坏。正解:先排查快照、副本延迟与 NULL 回填等常见原因。

追问

  • 问:写后必须立即可见怎么设计?答:同事务写入并校验、主库读、同步等待回填完成,业务链路明确强一致需求。
  • 问:副本延迟怎么度量?答:对比主库最新 WAL 位点与副本回放位点,记录可见性延迟分布。

05.6.2.3-031 隔离级别在 RAG 检索链路中的实际表现是什么?

频率 ★★★☆☆ | 难度 进阶

一句话结论

RAG 检索是只读链路,默认隔离级别下按快照返回候选 chunk;不需要为检索提升级别,只有「写入知识库后立刻召回校验」这类环节才需要控制事务与读时点。

概念解释

  • 检索读:只读、可重复读快照,对并发写入不敏感。
  • 写后校验:同一文档入库后立即检索,需保证写入提交且向量回填完成。
  • 跨副本:检索走副本时受复制延迟影响,与隔离级别无关。

原理流程

知识库写入 → 向量化回填 → 提交
   ↓ 检索链路(只读快照读)
取 chunk 候选 → 拼接上下文 → 生成回答

代码 / 命令

-- 检索接口不显式设置隔离级别
-- 入库校验接口:同一事务或写后点查确认 has_vec = true

常见误区

  • 误区:RAG 要可串行化隔离防止读到脏 chunk。正解:检索只读,脏读风险来自未提交数据,默认快照已排除。
  • 误区:提升隔离级别能降低副本延迟。正解:两者属于不同机制。

追问

  • 问:检索期间知识库在更新怎么办?答:快照读返回检索时点版本,上下文一致性由业务是否接受短暂窗口决定。
  • 问:长检索事务有何风险?答:持有旧快照阻碍 vacuum,检索接口应保持短事务。

05.6.2.3-032 统计信息缺失为什么会让计划退回顺序扫描?

频率 ★★★☆☆ | 难度 进阶

一句话结论

优化器依赖统计信息估计过滤后行数与索引代价;批量导入或大量增删后统计过时,估计偏差可能让顺序扫描代价看起来更低,从而放弃向量索引。

概念解释

  • 统计输入:行数、列选择率、相关性。
  • 失真后果:索引代价被高估或扫描代价被低估。
  • 处置:ANALYZE 后复核计划与实际行数偏差。

原理流程

批量写入 → 统计过期
   → 代价估算偏差 → 选顺序扫描
   → ANALYZE items → 重新估算 → 计划回归索引

代码 / 命令

ANALYZE items;
EXPLAIN (ANALYZE, BUFFERS) SELECT ... ORDER BY embedding <=> q LIMIT 5;

常见误区

  • 误区:新建索引会自动刷新统计。正解:索引与统计信息相互独立。
  • 误区:计划走错是索引参数问题。正解:先排除统计信息过时,再看索引与参数。

追问

  • 问:怎么判断统计失真?答:计划估计行数与 ANALYZE 后实际行数差距显著。
  • 问:autovacuum 分析不及时怎么办?答:大批量变更后手动 ANALYZE,或调整自动分析阈值(以配置文档为准)。

05.6.2.3-033 预处理语句与向量参数绑定要注意什么?

频率 ★★★☆☆ | 难度 进阶

一句话结论

向量值应以参数形式绑定,避免每次拼接字面量;预处理语句缓存执行计划,但在事务模式连接池下可能与服务端预处理机制冲突,需按驱动与池配置核对。

概念解释

  • 参数绑定:查询向量作为占位符参数传入,类型由驱动适配。
  • 计划缓存:预处理语句复用计划,减少重复解析。
  • 冲突点:事务级连接池复用连接时,服务端预处理语句的生命周期可能不匹配。

原理流程

SQL 带占位符 → 驱动绑定向量参数
   → 预处理/简单协议按池模式选择
   → 计划缓存复用

代码 / 命令

-- 参数形态(具体 API 按驱动文档)
SELECT id, embedding <=> $1 AS distance FROM items ORDER BY embedding <=> $1 LIMIT 5;

常见误区

  • 误区:向量字面量拼进 SQL 最省事。正解:拼接带来转义、注入与计划复用问题。
  • 误区:预处理语句在任何池模式下都安全。正解:事务模式下需核对语句生命周期与冲突表现。

追问

  • 问:驱动怎么传向量类型?答:多数驱动提供向量适配或接受数组/字面量字符串,具体以驱动版本文档为准。
  • 问:计划缓存出错怎么排查?答:检查池模式、预处理语句配置与驱动报错,必要时切换简单协议。

05.6.2.3-034 高选择性过滤加向量近邻,计划怎么优选?

频率 ★★★★☆ | 难度 高级

一句话结论

高选择性条件先把集合缩到很小,优化器倾向先过滤再在子集内向量排序;若过滤列有普通索引、子集规模小,向量索引甚至可能不必参与,评估时以实际计划与行数为准。

概念解释

  • 先过滤收益:候选集小,距离计算总量低。
  • 索引配合:普通索引服务过滤,向量索引服务子集内排序。
  • 边界:子集仍很大时,ANN 索引路径才有收益。

原理流程

高选择性 WHERE → 小候选集
   → 子集内距离排序(小集合可精确计算)
   子集大 → 向量索引 ANN 路径

代码 / 命令

SELECT * FROM items
WHERE tenant_id = 7 AND doc_id = 1001
ORDER BY embedding <=> q LIMIT 5;

常见误区

  • 误区:只要有向量索引就一定先扫索引。正解:高选择性过滤后小集合精确排序可能更便宜。
  • 误区:过滤列索引可有可无。正解:缺索引会先顺序扫描全表再过滤,计划与延迟都变差。

追问

  • 问:怎么判断子集大小合适精确计算?答:看过滤后估计行数与实际行数,结合维度与 CPU 实测距离耗时。
  • 问:过滤条件经常变化怎么建索引?答:稳定隔离列建普通索引,高频组合评估部分向量索引。

05.6.2.3-035 大表无索引精确检索的并行怎么设置?

频率 ★★★☆☆ | 难度 高级

一句话结论

无索引的精确扫描可通过并行 gather worker 提速,相关并行度参数控制参与扫描的 worker 数量;这只是缓解手段,大表长期仍应建向量索引。

概念解释

  • 并行扫描:多个 worker 分段扫描表,gather 合并结果。
  • 参数:每查询并行 worker 上限等配置,具体名称与默认值以 PG 文档为准。
  • 适用:临时精确对照、小表评估,不作为在线检索常态路径。

原理流程

顺序扫描 → 并行 worker 分段计算距离
   → gather 合并排序 → 返回 TopK

代码 / 命令

-- 并行度参数以 PG 版本配置文档为准,验证方式:SHOW max_parallel_workers_per_gather
EXPLAIN ANALYZE SELECT * FROM items ORDER BY embedding <=> q LIMIT 5;

常见误区

  • 误区:并行扫描能替代 ANN 索引。正解:并行只加快全表计算,规模增长后延迟仍不可接受。
  • 误区:worker 越多越好。正解:受 CPU 核数与 IO 约束,存在拐点且会抢占在线资源。

追问

  • 问:精确扫描用于什么场景?答:离线评估 ground truth、小表查询、索引不可用时兜底。
  • 问:并行扫描影响在线查询吗?答:会占用 CPU,大表并行任务建议低峰或在副本上跑。

05.6.2.3-036 RLS 策略下,向量索引能否被有效利用?

频率 ★★★★☆ | 难度 高级

一句话结论

RLS 策略条件等价于追加的 WHERE,能否走向量或普通索引取决于策略表达式是否稳定、可下推并与索引条件匹配;函数式或不稳定写法可能阻碍索引利用。

概念解释

  • 下推条件:策略 USING 表达式进入查询计划,参与代价估算。
  • 匹配要求:策略列有普通索引,或部分索引条件蕴含策略表达式。
  • 风险:不稳定函数、子查询策略让条件难以匹配索引。

原理流程

查询 → RLS 策略条件追加到 WHERE
   → 优化器匹配普通/部分/向量索引
   表达式不稳定 → 下推受限 → 顺序扫描

代码 / 命令

CREATE POLICY tenant_isolation ON doc_chunk
USING (tenant_id = current_setting('app.tenant_id')::bigint);

常见误区

  • 误区:启用 RLS 后数据库自动优化多租户检索。正解:策略写法与索引设计仍需单独规划。
  • 误区:RLS 策略不影响执行计划。正解:策略表达式直接进入计划,错误写法会导致全表扫描。

追问

  • 问:大租户 RLS 下怎么提速?答:按租户分区或独立表,配合租户部分索引,避免共享大表顺序扫描。
  • 问:策略用会话变量安全吗?答:需确保变量在连接初始化时可靠设置,防止复用连接串值。

05.6.2.3-037 深翻页的游标式方案怎么实现?

频率 ★★★☆☆ | 难度 高级

一句话结论

用「上一页最后的距离值 + 唯一主键」作为游标,下一页检索距离更远或相等但主键更大的行,避免 OFFSET 丢弃前序结果的成本与不稳定问题。

概念解释

  • 游标要素:距离(排序键)+ 主键(唯一打破平局)。
  • 续查条件:复合比较 (distance, id) 落在游标之后。
  • 稳定性:相比 OFFSET,游标分页对增量增删的重复/遗漏更可控。

原理流程

第 1 页:ORDER BY distance, id LIMIT k
   记录末行 (distance_last, id_last)
第 2 页:WHERE (distance, id) > (distance_last, id_last) ORDER BY distance, id LIMIT k

代码 / 命令

-- 游标续查形态(具体复合比较写法按 PG 语法与索引情况调整)
SELECT * FROM items
WHERE (distance, id) > (:last_distance, :last_id)
ORDER BY distance, id LIMIT 5;

常见误区

  • 误区:只按距离游标即可。正解:距离可能平局,必须带唯一主键打破平局。
  • 误区:游标分页完全不受数据变更影响。正解:新增近邻仍会改变边界,只是比 OFFSET 稳定。

追问

  • 问:向量结果距离是实时算的,游标怎么存?答:存上一页返回的距离值与主键,下一页用复合条件续查。
  • 问:跳转到指定页码怎么办?答:深跳转仍需 OFFSET 或定位锚点,业务上限制可翻页数更现实。

05.6.2.3-038 距离阈值过滤为什么要外包到物化 CTE?

频率 ★★★☆☆ | 难度 高级

一句话结论

执行器可能把 WHERE 中的距离条件下推,改变索引扫描行为;把近邻检索固定在物化 CTE 内、阈值条件放外层,可保证先走近邻路径再做阈值裁剪。

概念解释

  • 下推风险:阈值条件进入扫描节点,限制候选范围。
  • 物化隔离:CTE 先完成检索,外层再过滤,路径可控。
  • 配套:其他标量过滤放 CTE 内部,距离阈值放外部。

原理流程

WITH nearest AS MATERIALIZED (
  近邻检索 + 内部标量过滤
)
SELECT * FROM nearest WHERE distance < 阈值 ORDER BY distance;

代码 / 命令

WITH nearest AS MATERIALIZED (
  SELECT id, embedding <=> q AS distance FROM items
  WHERE model_id = 123
  ORDER BY embedding <=> q LIMIT 50
)
SELECT * FROM nearest WHERE distance < 0.5 ORDER BY distance;

常见误区

  • 误区:阈值写 WHERE 里优化器自然选最优。正解:当前执行器行为下推会影响路径,官方建议外包。
  • 误区:物化 CTE 总能提升性能。正解:它主要保证路径与顺序,性能仍取决于候选规模与索引。

追问

  • 问:CTE 内 LIMIT 取多少?答:大于最终 TopK,给外层阈值过滤留候选余量。
  • 问:非物化 CTE 有何不同?答:可能被内联下推,失去隔离效果。

05.6.2.3-039 长事务导致死元组无法回收,怎么排查?

频率 ★★★☆☆ | 难度 高级

一句话结论

长事务持有旧快照,vacuum 无法清理其后产生的死元组;排查从最长事务与快照年龄入手,定位闲置或慢事务并终止,再观察死元组回落。

概念解释

  • 阻塞机制:快照之后的死元组对长事务仍可见,不能回收。
  • 排查对象:空闲事务、长查询、未关闭的会话连接。
  • 后果:表与索引膨胀持续增长。

原理流程

查最长事务/快照年龄 → 定位阻塞 vacuum 的会话
   → 确认业务归属 → 终止或修复
   → 观察 n_dead_tup 与表体积回落

代码 / 命令

-- 系统视图与字段名以 PG 版本为准
SELECT pid, state, xact_start, query FROM pg_stat_activity
WHERE state = 'idle in transaction' ORDER BY xact_start;

常见误区

  • 误区:死元组多是写入太频繁。正解:写入频繁是诱因,长事务阻止回收才是堆积根因之一。
  • 误区:手动 VACUUM 能绕过长事务限制。正解:快照可见性约束下,长事务之后的死元组仍不能回收。

追问

  • 问:应用连接为什么留 idle in transaction?答:事务开启后未提交/回滚,连接被池化复用导致事务挂起。
  • 问:检索接口怎么避免长事务?答:保持短事务,只读检索不开显式事务或及时结束。

05.6.2.3-040 并发大批量 upsert 对索引和膨胀有什么冲击?

频率 ★★★★☆ | 难度 高级

一句话结论

大批量 upsert 等价于删除旧向量再加新向量,频繁维护 HNSW 图并产生死元组;单批过大会长事务锁竞争,批过小则往返与索引维护次数增多,需要控制批次节奏。

概念解释

  • 双重维护:更新触发旧条目删除与新条目插入。
  • 膨胀来源:旧版本死元组与索引残留累积。
  • 批次权衡:大批长事务阻塞重,小批往返多。

原理流程

批量 upsert → 逐行删旧插新 → 索引图维护 + 死元组
   → 分批提交 → vacuum 跟进回收
   批次大小按锁竞争与吞吐压测确定

代码 / 命令

-- 按主键分批 upsert,每批独立事务;避免单条长事务覆盖全表
-- 观察:写入吞吐、锁等待、死元组增长、索引体积

常见误区

  • 误区:upsert 只改向量值不产生旧版本。正解:行更新产生新版本,旧版本成为死元组。
  • 误区:批量越大吞吐越高。正解:长事务锁与膨胀成本上升,存在最优批次。

追问

  • 问:向量低频变更怎么降低冲击?答:合并更新请求、定时批量回填,避免同一向量反复改写。
  • 问:upsert 后膨胀明显怎么办?答:低峰 vacuum,残留严重时评估并发重建索引。

05.6.2.3-041 怎么评估索引膨胀程度?

频率 ★★★☆☆ | 难度 高级

一句话结论

结合索引物理大小、活/死元组数量、索引扫描效率与重建后体积对比判断;单看索引大小不够,要与基线和表膨胀一起评估。

概念解释

  • 体积指标:pg_relation_size 读索引字节数。
  • 元组指标:活元组与死元组比例。
  • 效率指标:扫描候选数、无效条目占比、vacuum 时长。

原理流程

记录基线索引大小与行数
   → 周期对比体积增长 vs 行数增长
   → 结合死元组与 vacuum 状态 → 判断是否需要 REINDEX

代码 / 命令

SELECT c.relname, pg_size_pretty(pg_relation_size(i.indexrelid))
FROM pg_index i JOIN pg_class c ON i.indexrelid = c.oid;
SELECT relname, n_live_tup, n_dead_tup FROM pg_stat_user_tables;

常见误区

  • 误区:索引比向量列大就是膨胀。正解:索引结构本有放大,需对照基线与重建后体积。
  • 误区:索引膨胀只能重建解决。正解:先 vacuum 回收死元组,残留结构问题再重建。

追问

  • 问:重建后体积对比怎么记录?答:REINDEX 前后分别读索引大小,差值即为残留膨胀量级。
  • 问:哪些视图看索引使用情况?答:pg_stat_user_indexes 提供扫描次数等统计,具体字段以版本为准。

05.6.2.3-042 只读副本上检索的一致性怎么保证?

频率 ★★★☆☆ | 难度 高级

一句话结论

副本通过 WAL 回放追平主库,存在复制延迟;走副本的检索可能读到稍旧版本,写后读场景应读主库或等待位点追平,不能假设副本实时一致。

概念解释

  • 复制机制:主库 WAL 发送,副本回放,延迟受网络与回放负载影响。
  • 可见性窗口:刚提交的数据副本尚未回放时检索不到。
  • 路由策略:强一致读主,普通检索可分担到副本。

原理流程

主库提交 → WAL → 副本回放
   ↓ 延迟窗口
副本检索可能缺最新行
   写后读 → 路由主库或确认位点

代码 / 命令

-- 位点与延迟监控对照主库最新 WAL 位置与副本回放位置
-- 待确认:具体视图与字段名以 PG 复制文档为准

常见误区

  • 误区:副本检索与主库实时一致。正解:异步复制存在延迟窗口。
  • 误区:隔离级别可以消除副本延迟。正解:延迟是复制机制问题,与事务隔离级别无关。

追问

  • 问:怎么度量复制延迟?答:对比主备 WAL 位点或时间差,记录延迟分布与 P99。
  • 问:检索流量怎么分流?答:普通只读检索走副本,写后校验与强一致请求走主库。

05.6.2.3-043 pgbouncer 事务模式下,预处理语句为什么会冲突?

频率 ★★★★★ | 难度 高级

一句话结论

事务模式下连接在事务结束后归还并可能切换到其他会话,服务端预处理语句绑定在连接上,跨事务复用会找不到语句或计划错位;需按池模式调整驱动的预处理/缓存策略。

概念解释

  • 语句生命周期:服务端预处理语句属于连接,事务模式下连接被复用。
  • 冲突表现:报错语句不存在、计划复用异常、类型推断错误。
  • 对策:关闭服务端预处理走简单协议,或配置驱动语句缓存与池模式匹配。

原理流程

会话 A 事务结束 → 连接归还 pgbouncer
   → 会话 B 复用连接 → 引用 A 的预处理语句
   → 语句/计划不匹配 → 报错或异常

代码 / 命令

-- 常见处置(具体配置名按驱动与 pgbouncer 版本核对):
-- 驱动侧关闭服务端预处理 / 禁用语句缓存,或使用会话级池模式
-- 验证:压测下观察预处理相关报错与计划缓存命中

常见误区

  • 误区:连接池只影响连接数,不影响语句。正解:事务模式复用连接会冲击预处理语句生命周期。
  • 误区:所有驱动默认行为相同。正解:各驱动预处理与缓存策略不同,需逐一核对。

追问

  • 问:SQLAlchemy/psycopg 怎么配?答:按驱动版本选择预处理方式与语句缓存大小,具体参数名查驱动文档,不要凭记忆写配置。
  • 问:会话模式池化有没有这个问题?答:会话模式连接绑定会话,语句生命周期匹配,冲突较少,但复用度低。

05.6.2.3-044 查询超时、锁等待与大扫描怎么做保护?

频率 ★★★☆☆ | 难度 高级

一句话结论

为向量检索设置语句超时与资源上限,避免单个大扫描拖垮实例;锁等待有超时阈值兜底,慢查询及时中断并进入监控,而不是无限占用连接。

概念解释

  • 语句超时:单条查询最长执行时间,超时中止。
  • 锁等待:DDL 或批量变更与检索冲突时的等待上限。
  • 资源保护:连接数、并发 worker、扫描上限配合限流。

原理流程

检索请求 → 语句超时兜底
   ↓ 命中锁等待 → 锁等待超时中止
   大扫描触达迭代/元组上限 → 停止并记录慢查询

代码 / 命令

-- 超时相关 GUC 名称与默认值以 PG 文档为准,验证:SHOW statement_timeout
-- 应用层配合:连接池超时、请求限流与重试退避

常见误区

  • 误区:向量查询快不需要超时。正解:计划走错或过滤失效时大扫描会长期占用资源。
  • 误区:超时后直接重试即可。正解:重试需退避并定位慢因,避免放大压力。

追问

  • 问:语句超时设多长?答:按接口 P99 目标与 SLA 设定,检索类查询应明显短于事务写链路。
  • 问:怎么区分超时是计划问题还是数据问题?答:EXPLAIN ANALYZE 看扫描规模与节点耗时,对照基线判断。

05.6.2.3-045 多租户大租户隔离,分表、分区、部分索引怎么决策?

频率 ★★★★☆ | 难度 高级

一句话结论

小租户共享表加租户过滤与部分索引;大租户单独分区或独立表,避免大租户扫描拖累同表其他租户;隔离强度随租户规模与 SLA 逐级提升。

概念解释

  • 共享表 + 过滤:成本最低,受限于共享索引与扫描竞争。
  • 分区:按租户裁剪,独立维护索引与 vacuum。
  • 独立表/库:最强隔离,成本最高,适合头部大租户。

原理流程

评估租户数量、单租户数据量与 SLA
   → 小租户:共享表 + 租户过滤 + 部分索引
   → 大租户:分区或独立表
   → 头部租户:独立存储与配额

代码 / 命令

-- 共享表部分索引示例
CREATE INDEX ... USING hnsw (embedding vector_cosine_ops)
WHERE tenant_id = ?;
-- 大租户评估独立分区表,检索强制带租户条件

常见误区

  • 误区:只靠 WHERE tenant_id 就能隔离性能。正解:大租户在共享表仍会放大扫描与索引竞争。
  • 误区:每个租户一张表最稳。正解:租户数量多时表与索引碎片化,运维成本不可承受。

追问

  • 问:租户迁移怎么做?答:按租户维度导出向量与业务数据,双写对账后在新结构重建。
  • 问:租户级限流在哪里做?答:应用层或数据库角色配额配合,防止单租户打满共享资源。

05.6.2.3-046 慢向量查询的排查清单是什么?

频率 ★★★★★ | 难度 高级

一句话结论

按「计划路径 → 过滤选择率 → 索引参数 → 统计信息 → 资源与膨胀」逐层排查:先看是否走索引,再看候选被剔除比例,核对参数与统计,最后检查资源饱和与表膨胀。

概念解释

  • 计划层:索引扫描还是顺序扫描,命中哪个索引。
  • 数据层:过滤选择率、候选规模、死元组与膨胀。
  • 参数层:ef_search/probes、迭代扫描上限。
  • 资源层:CPU/IO/内存、锁等待、连接排队。

原理流程

EXPLAIN ANALYZE 读计划与行数偏差
   → 检查过滤条件与选择率
   → 核对算子/ops/表达式一致与统计信息
   → 检查索引参数、膨胀与资源指标
   → 定位瓶颈段 → 对症优化并回归

代码 / 命令

-- 排查顺序:
-- 1) 计划节点与索引命中  2) 估计/实际行数偏差
-- 3) 候选剔除比例        4) 索引参数与迭代上限
-- 5) 死元组/索引膨胀    6) CPU/IO/锁等待

常见误区

  • 误区:慢查询一律调大 ef_search/probes。正解:方向常常相反,先定位瓶颈段。
  • 误区:只看平均耗时。正解:P99 与尾部慢查询才反映真实体验。

追问

  • 问:计划走索引但仍然慢?答:看扫描候选规模、过滤回表与索引膨胀,而非只看节点类型。
  • 问:怎么验证优化生效?答:固定查询集对比优化前后 P99、召回与资源占用。

05.6.2.3-047 数据持续变更下,召回质量怎么监控与触发重索引?

频率 ★★★☆☆ | 难度 高级

一句话结论

用固定查询集周期跑 recall@k 对比 ground truth,结合索引体积、死元组与 vacuum 时长设定阈值;召回下滑或膨胀触达阈值时安排并发重建索引。

概念解释

  • 召回监控:周期抽样查询集对比 ANN 与精确结果。
  • 膨胀监控:索引大小、死元组比例、vacuum 趋势。
  • 触发条件:召回低于阈值、体积异常增长、vacuum 持续变长。

原理流程

周期跑查询集 → recall@k 趋势
   + 索引/表膨胀指标
   → 触达阈值 → 低峰并发重建索引
   → 重建后回归召回与延迟

代码 / 命令

-- 监控项:recall@k、索引大小、n_dead_tup、vacuum 时长、P99
-- 触发动作:REINDEX INDEX CONCURRENTLY,重建前后对比基线

常见误区

  • 误区:索引建完召回就固定不变。正解:数据增删与分布漂移会持续影响质量。
  • 误区:只监控延迟不监控召回。正解:召回下降不一定表现为慢查询,需主动抽样评估。

追问

  • 问:召回多久评估一次?答:按写入节奏与业务重要性定,高频变更库周期更短。
  • 问:重建索引期间怎么保可用?答:并发构建旧索引继续服务,新索引就绪后替换。

05.6.2.3-048 设计一个 RAG 检索接口的事务、过滤与并发方案,要点有哪些?

频率 ★★★★★ | 难度 高级

一句话结论

检索接口走只读短事务快照读,强制携带租户/模型/状态过滤,向量索引与部分索引配合;连接池与超时兜底,写后读走主库并校验回填,配套召回与膨胀监控。

概念解释

  • 事务:只读短事务,不长时间持有快照。
  • 过滤:租户、模型、状态、时间范围条件下推,隔离高选择性列。
  • 并发:连接池复用注意参数残留与预处理语句冲突,语句超时与限流保护。
  • 一致性:写后读主库、等回填;普通检索可走副本。

原理流程

请求进入 → 会话变量设置租户/模型上下文
   → 只读检索:WHERE 隔离条件 + ORDER BY 距离 LIMIT k
   → 超时/限流兜底 → 返回 chunk 候选
   写后读链路:主库点查 has_vec → 再检索
监控:召回、P99、膨胀、复制延迟

代码 / 命令

SELECT c.id, c.doc_id, c.embedding <=> $1 AS distance
FROM doc_chunk c
WHERE c.tenant_id = $2 AND c.model_id = $3 AND c.status = 'ready'
ORDER BY c.embedding <=> $1 LIMIT $4;

常见误区

  • 误区:检索接口开长事务保证一致。正解:长事务阻碍 vacuum,只读检索应短事务。
  • 误区:所有检索都走副本。正解:写后读与强一致请求需路由主库。

追问

  • 问:过滤条件漏写怎么防?答:RLS 策略兜底隔离,代码层封装检索方法强制注入上下文条件。
  • 问:容量与并发怎么扩展?答:监控连接数与 P99,副本分担只读流量,规模触顶再评估独立向量库。

参考来源