罗罗编程学习记录
本页内容 展开查看

05.6.2.2 HNSW 与 IVFFlat 参数调优

所属:全栈开发面试题库 / 05 数据库与存储 / 05.6 向量数据库与语义检索 / 05.6.2 pgvector

覆盖范围

  • HNSW 与 IVFFlat 在 pgvector 中的建索引语法、结构差异与构建成本
  • m、ef_construction、ef_search、lists、probes 等参数的作用域与权衡
  • maintenance_work_mem、并行构建、构建进度与索引体积
  • 增量写入对两种索引的影响、删除膨胀、REINDEX 与 CONCURRENTLY
  • 召回评估 SQL、参数验证方法、数据量阈值与选型策略

参数主线

HNSW:建索引参数 m / ef_construction  →  查询参数 hnsw.ef_search
IVFFlat:建索引参数 lists              →  查询参数 ivfflat.probes
构建成本:maintenance_work_mem + max_parallel_maintenance_workers
调优闭环:固定查询集 → 测 recall@k 与 P99 → 调参回归 → 固化参数

高频题速览

编号 题目 难度 频率
05.6.2.2-002 HNSW 索引怎么建 基础 ★★★★★
05.6.2.2-003 IVFFlat 索引怎么建 基础 ★★★★★
05.6.2.2-006 ef_search 参数与设置 基础 ★★★★★
05.6.2.2-010 算子与 ops 类匹配 基础 ★★★★★
05.6.2.2-017 lists 与数据量的经验关系 进阶 ★★★★★
05.6.2.2-021 ef_search 调大的代价 进阶 ★★★★★
05.6.2.2-024 IVFFlat 增量写入后聚类失配 进阶 ★★★★★
05.6.2.2-028 CONCURRENTLY 与普通建索引锁差别 进阶 ★★★★★
05.6.2.2-031 用暴力扫描做召回 ground truth 进阶 ★★★★★
05.6.2.2-048 百万级表索引选型与参数定稿 高级 ★★★★★

05.6.2.2-001 不建向量索引时,pgvector 走什么检索?

频率 ★★★★☆ | 难度 基础

一句话结论

没有 ANN 索引时,pgvector 对全表逐行计算距离并排序,即精确最近邻检索,召回为 100%,代价是随行数与维度线性增长的扫描成本。

概念解释

  • 精确扫描:每行都与查询向量算距离,结果完整无近似损失。
  • 适用:小表、数据量未达阈值、或作为召回评估的 ground truth。
  • 加速手段:无索引时可通过并行 gather worker 提升扫描速度。

原理流程

查询向量 → 顺序扫描全表 → 逐行距离计算 → 排序 LIMIT k

代码 / 命令

-- 无索引路径:计划中出现 Seq Scan 与距离排序节点
EXPLAIN ANALYZE SELECT * FROM items
ORDER BY embedding <=> '[...]' LIMIT 5;

常见误区

  • 误区:没建索引就检索不了。正解:可以精确检索,只是大表下延迟不可接受。
  • 误区:精确扫描结果与 ANN 不一致是 bug。正解:ANN 为近似结果,精确扫描才是完整答案。

追问

  • 问:无索引大表扫描怎么提速?答:调整 max_parallel_workers_per_gather 增加并行度,或尽早建索引。
  • 问:什么时候精确扫描仍可接受?答:万级以下小表、离线分析场景,按实测延迟判断。

05.6.2.2-002 pgvector 中 HNSW 索引怎么建?

频率 ★★★★★ | 难度 基础

一句话结论

用 USING hnsw (列 ops 类) 建多层图索引,ops 类按距离度量选择,HNSW 无需先灌数据即可创建。

概念解释

  • 语法:CREATE INDEX ... USING hnsw (embedding vector_l2_ops)。
  • 度量匹配:L2、内积、余弦、L1 各有对应 ops 类。
  • 特点:构建慢、内存高,但速度—召回权衡优于 IVFFlat,支持空表先建。

原理流程

确定度量 → 选 ops 类 → CREATE INDEX USING hnsw
   → 图结构随插入增量维护 → 查询走图近邻扫描

代码 / 命令

CREATE INDEX idx_items_hnsw ON items
USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);

常见误区

  • 误区:HNSW 必须等数据灌满才能建。正解:HNSW 无训练步骤,空表也可建,后续插入增量维护。
  • 误区:ops 类可省略。正解:必须显式指定与度量对应的 ops 类。

追问

  • 问:HNSW 适合空表先建还是灌数据后建?答:大批量初始化时先灌数据再建索引通常更快;在线增量表则随数据维护。
  • 问:HNSW 支持哪些类型?答:vector、halfvec、bit、sparsevec,具体类型支持以官方索引章节为准。

05.6.2.2-003 pgvector 中 IVFFlat 索引怎么建?

频率 ★★★★★ | 难度 基础

一句话结论

用 USING ivfflat (列 ops 类) WITH (lists = N) 建倒排列表索引,先把向量聚成 N 个列表,查询只扫最接近的若干列表。

概念解释

  • 语法:CREATE INDEX ... USING ivfflat (embedding vector_l2_ops) WITH (lists = 100)。
  • 训练依赖:列表中心由现有数据 k-means 训练得到,因此要先有数据再建。
  • 特点:构建快、内存省,但速度—召回权衡弱于 HNSW。

原理流程

表内已有数据 → k-means 划分 lists 个聚类
   → 向量分配到列表 → 查询按 probes 取最近列表扫描

代码 / 命令

CREATE INDEX idx_items_ivf ON items
USING ivfflat (embedding vector_cosine_ops)
WITH (lists = 100);

常见误区

  • 误区:空表直接建 IVFFlat 索引效果一样。正解:无数据可训练聚类中心,索引质量差,需数据量起来后重建。
  • 误区:lists 越大召回越高。正解:lists 影响划分粒度,配合 probes 才决定扫描范围,需一起调。

追问

  • 问:IVFFlat 支持 bit 吗?答:支持 bit 的 Hamming 距离索引,具体以官方索引章节为准。
  • 问:IVFFlat 能建 halfvec 吗?答:较新版本支持,halfvec 对应 halfvec_ 前缀 ops 类,版本可用性需核对文档。

05.6.2.2-004 HNSW 的 m 参数是什么,调大调小影响什么?

频率 ★★★★☆ | 难度 基础

一句话结论

m 是图中每个节点每层的最大连接数,默认 16;调大提升图连通性与召回,但增大索引体积、构建时间与插入维护成本。

概念解释

  • 作用范围:建索引参数,写入图结构时固定,查询期不可改。
  • 权衡:m 大 → 邻接更密、召回更好;索引更大、每节点连接维护更贵。
  • 默认值:官方 README 标注 m 默认 16,以版本文档为准。

原理流程

建索引 WITH (m = M)
   → 每节点最多 M 条连接
   → 图密度 ↑ → 召回潜力 ↑,体积与写入成本 ↑

代码 / 命令

CREATE INDEX ... USING hnsw (embedding vector_l2_ops) WITH (m = 16);

常见误区

  • 误区:m 是查询时的候选数。正解:m 是建图参数;查询候选数由 ef_search 控制。
  • 误区:m 越大越好。正解:超过收益点后召回提升有限,体积与写入代价持续上升。

追问

  • 问:调 m 需要重建索引吗?答:需要,m 是索引构建期参数,改值只能重建索引。
  • 问:内存紧张时 m 怎么取?答:偏向默认或更小值,配合提高 ef_search 在查询侧补召回。

05.6.2.2-005 ef_construction 参数是什么?

频率 ★★★☆☆ | 难度 基础

一句话结论

ef_construction 是构建图时动态候选列表的大小,默认 64;越大构建出的图质量越好、召回越高,但构建时间更长。

概念解释

  • 作用范围:建索引参数,决定插入节点时考察多少候选邻居。
  • 权衡:值大 → 图结构更优;构建耗时与内存占用上升。
  • 与 m 区别:m 定连接上限,ef_construction 定建图时的搜索宽度。

原理流程

插入新节点 → 从候选列表(大小 ef_construction)中选邻居
   → 候选越多 → 图质量越高 → 构建越慢

代码 / 命令

CREATE INDEX ... USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);

常见误区

  • 误区:ef_construction 与 ef_search 是同一个参数。正解:前者管构建,后者管查询,作用阶段不同。
  • 误区:构建参数越大线上查询越快。正解:它只影响图质量,查询速度还受 ef_search 与数据分布影响。

追问

  • 问:线上低召回能靠调大 ef_construction 解决吗?答:需要重建索引才能生效;短期可先调 ef_search 缓解。
  • 问:默认值是多少?答:官方 README 标注 64,版本差异以文档为准。

05.6.2.2-006 ef_search 参数是什么,怎么设置?

频率 ★★★★★ | 难度 基础

一句话结论

ef_search 是 HNSW 查询时动态候选列表大小,默认 40;调大提升召回、降低速度,用 SET hnsw.ef_search 设置,可用 SET LOCAL 限定单事务。

概念解释

  • 作用范围:查询期 GUC 参数,不改索引结构。
  • 权衡:值大 → 考察候选多、召回好;单次查询 CPU 与耗时上升。
  • 生效方式:会话级 SET,事务级 SET LOCAL。

原理流程

SET hnsw.ef_search = 100
   → 查询沿图扩张时保留 100 个候选
   → 候选越多召回越全,扫描越慢

代码 / 命令

SET hnsw.ef_search = 100;
-- 单查询生效
BEGIN;
SET LOCAL hnsw.ef_search = 100;
SELECT * FROM items ORDER BY embedding <=> q LIMIT 5;
COMMIT;

常见误区

  • 误区:ef_search 改完要重建索引。正解:它是查询期参数,立即生效。
  • 误区:会话级 SET 会影响其他连接。正解:只作用于当前会话,连接池复用需注意重置。

追问

  • 问:ef_search 设多大合适?答:从默认值起步,按 recall@k 与 P99 权衡调整,没有通用最优值。
  • 问:SET LOCAL 与 SET 区别?答:LOCAL 仅在当前事务内有效,事务结束恢复;SET 持续到会话结束。

05.6.2.2-007 ivfflat.probes 参数是什么?

频率 ★★★★☆ | 难度 基础

一句话结论

probes 是一次查询扫描多少个倒排列表,默认 1;调大提升召回、增加扫描量,用 SET ivfflat.probes 设置。

概念解释

  • 作用范围:查询期参数,配合 lists 决定检索覆盖。
  • 权衡:probes 大 → 命中更多聚类、召回好;扫描行数与耗时上升。
  • 退化边界:probes 等于 lists 时退化为全列表精确扫描。

原理流程

查询向量 → 找最近 probes 个列表 → 扫描这些列表内向量
   → probes ↑ → 覆盖更广 → 召回 ↑ 速度 ↓

代码 / 命令

SET ivfflat.probes = 10;
BEGIN;
SET LOCAL ivfflat.probes = 10;
SELECT * FROM items ORDER BY embedding <=> q LIMIT 5;
COMMIT;

常见误区

  • 误区:probes 是建索引参数。正解:它是查询期 GUC,不改列表划分。
  • 误区:probes 越大索引质量越好。正解:索引质量由 lists 与训练数据决定,probes 只改查询扫描范围。

追问

  • 问:probes 与 lists 什么关系?答:lists 是建索引时的列表总数,probes 是查询时从中取几个;经验起步值为 sqrt(lists)。
  • 问:默认 probes 是多少?答:官方 README 标注 1,版本差异以文档为准。

05.6.2.2-008 IVFFlat 的 lists 参数是什么?

频率 ★★★★☆ | 难度 基础

一句话结论

lists 是聚类划分的列表数量,建索引时固定;决定每个列表的平均规模与索引粒度,需要与数据量匹配。

概念解释

  • 作用范围:建索引参数,k-means 训练出多少个中心。
  • 权衡:lists 多 → 单列表小、 probes 可控;划分过细则中心不稳定。
  • 数据依赖:列表中心由现有数据训练,数据变化后需重建。

原理流程

现有数据 → k-means 划分为 lists 个簇
   → 向量入簇 → 查询扫最近 probes 个簇

代码 / 命令

CREATE INDEX ... USING ivfflat (embedding vector_l2_ops)
WITH (lists = 100);

常见误区

  • 误区:lists 设成与行数相等。正解:列表数应远小于行数,保证每列表有足够样本。
  • 误区:lists 可以在线调大。正解:改 lists 需重建索引。

追问

  • 问:lists 怎么按数据量估算?答:百万行以内可从 rows/1000 起步,超百万行参考 sqrt(rows);均为经验值,需实测召回校准。
  • 问:lists 太小有什么表现?答:单列表过大, probes 少量列表就要扫大量向量,延迟高且召回受限于簇划分。

05.6.2.2-009 SET 与 SET LOCAL 在向量参数上的作用域有什么差别?

频率 ★★★★☆ | 难度 基础

一句话结论

SET 作用于整个会话,SET LOCAL 仅在当前事务内有效;向量查询参数推荐用 LOCAL,避免连接池复用把参数带到后续请求。

概念解释

  • 会话级:连接存续期间所有查询沿用该值。
  • 事务级:COMMIT/ROLLBACK 后恢复默认,适合单查询调参。
  • 连接池风险:长连接复用会话参数,可能污染下一个业务请求。

原理流程

SET hnsw.ef_search = 100        → 当前连接后续查询都生效
SET LOCAL hnsw.ef_search = 100  → 仅本事务内生效,结束自动恢复

代码 / 命令

BEGIN;
SET LOCAL ivfflat.probes = 10;
-- 本次检索使用 10 probes
COMMIT;

常见误区

  • 误区:用连接池时会话级 SET 不影响别人。正解:连接被复用后,上一个会话设置会残留到下一个请求。
  • 误区:SET LOCAL 需要手动恢复。正解:事务结束自动还原,无需额外 RESET。

追问

  • 问:参数能在连接串或框架配置里设默认值吗?答:可在数据库角色或会话初始化配置中设置默认 GUC,具体方式以 PG 配置文档为准。
  • 问:怎么确认当前参数值?答:SHOW hnsw.ef_search; 或 SHOW ivfflat.probes; 读取当前会话生效值。

05.6.2.2-010 距离算子与索引 ops 类怎么对应?

频率 ★★★★★ | 难度 基础

一句话结论

<-> 配 vector_l2_ops,<#> 配 vector_ip_ops,<=> 配 vector_cosine_ops,<+> 配 vector_l1_ops,bit 的 <~> / <%> 配 bit_hamming_ops / bit_jaccard_ops。

概念解释

  • 一一对应:索引按某一度量构建邻接结构,只能服务同名算子。
  • 类型前缀:halfvec、sparsevec 把前缀替换为对应类型名。
  • 不匹配时:计划退化为顺序扫描,索引不被使用。

原理流程

算子 → 度量 → ops 类
<-> L2 → vector_l2_ops
<#> 内积 → vector_ip_ops
<=> 余弦 → vector_cosine_ops

代码 / 命令

CREATE INDEX ... USING hnsw (embedding vector_ip_ops);
-- 查询必须用 <#> 才命中该索引
ORDER BY embedding <#> q LIMIT 5;

常见误区

  • 误区:余弦索引也能服务内积查询。正解:度量不同,邻接结构不可复用。
  • 误区:ops 类写错不影响建索引,只影响查询。正解:建索引时即确定度量,错配后查询无法命中。

追问

  • 问:怎么查现有索引用的哪个 ops?答:查索引定义中的 opclass 名称,对照算子表即可。
  • 问:halfvec 的 ops 怎么写?答:如 halfvec_cosine_ops,前缀按类型替换。

05.6.2.2-011 一张表上可以建多个向量索引吗?

频率 ★★★☆☆ | 难度 基础

一句话结论

可以,每个距离度量或每种粗筛类型各建一个索引;但索引越多,构建时间、写入维护与磁盘占用越高。

概念解释

  • 多索引场景:余弦主检索 + 内积召回 + bit 粗筛并存。
  • 成本叠加:每次插入都要维护全部索引。
  • 清理:长期零扫描的索引应下线。

原理流程

梳理线上真实度量 → 为每个使用中的度量建索引
   → 周期检查索引扫描统计 → 下线闲置索引

代码 / 命令

SELECT indexrelid::regclass, idx_scan
FROM pg_stat_user_indexes WHERE relname = 'items';

常见误区

  • 误区:多索引共享底层图。正解:HNSW 每个索引独立维护图结构。
  • 误区:索引建多了查询自动选最优。正解:优化器按代价选,冗余索引仍增加写入负担。

追问

  • 问:两个索引服务同一度量有意义吗?答:通常没有,重复索引应保留一个。
  • 问:多索引对插入延迟影响多大?答:与索引数量、类型和维度相关,需在写入压测中实测。

05.6.2.2-012 怎么查看索引大小?

频率 ★★★☆☆ | 难度 基础

一句话结论

用 pg_relation_size 查索引物理大小,pg_total_relation_size 看表加索引的整体占用。

概念解释

  • pg_relation_size(索引名):索引本身字节数。
  • pg_total_relation_size(表名):表、索引、TOAST 合计。
  • 用途:容量规划与量化压缩效果对比。

原理流程

定位索引名 → pg_relation_size 读字节 → pg_size_pretty 转可读单位

代码 / 命令

SELECT pg_size_pretty(pg_relation_size('idx_items_hnsw'));
SELECT pg_size_pretty(pg_total_relation_size('items'));

常见误区

  • 误区:索引大小等于向量列大小。正解:图结构/列表结构额外占用,索引常大于向量本体。
  • 误区:只看表大小忽略索引。正解:向量表的索引可能是磁盘占用大头。

追问

  • 问:halfvec 索引省多少?答:按半精度存储与图结构放大实测对比,不要只按向量本体估算。
  • 问:索引膨胀后大小会变化吗?答:删除与更新残留会让索引体积上升,需结合 vacuum 与 reindex 判断。

05.6.2.2-013 怎么查看索引构建进度?

频率 ★★★☆☆ | 难度 基础

一句话结论

查 pg_stat_progress_create_index 的 phase 与完成比例,HNSW 与 IVFFlat 的阶段划分不同。

概念解释

  • 进度视图:记录当前构建阶段与已处理块/元组。
  • HNSW 阶段:初始化、加载元组等。
  • IVFFlat 阶段:初始化、k-means、分配元组、加载元组;比例仅在加载阶段填充。

原理流程

SELECT phase, 完成比例 FROM pg_stat_progress_create_index
   → 观察阶段推进与卡点

代码 / 命令

SELECT phase, round(100.0 * blocks_done / nullif(blocks_total, 0), 1) AS "%"
FROM pg_stat_progress_create_index;

常见误区

  • 误区:IVFFlat 全程都有百分比。正解:百分比只在 loading tuples 阶段填充,k-means 阶段不显示比例。
  • 误区:进度停滞就是卡死。正解:大表 k-means 或加载阶段耗时较长,先结合 CPU/IO 判断。

追问

  • 问:构建卡住怎么排查?答:看进度视图阶段、会话等待事件、CPU 与 IO 占用,以及 maintenance_work_mem 是否不足。
  • 问:能中途取消构建吗?答:可终止对应构建会话,已建部分回滚,不影响原表数据。

05.6.2.2-014 为什么 IVFFlat 要先灌数据再建索引?

频率 ★★★★☆ | 难度 基础

一句话结论

IVFFlat 的列表中心由现有数据 k-means 训练得到,空表或极少数据训练出的中心不具代表性,索引召回差,应等数据量起来后再建或重建。

概念解释

  • 训练步骤:与 HNSW 不同,IVFFlat 必须先学习数据分布。
  • 早建后果:聚类中心漂移,新数据与旧列表不匹配,召回下降。
  • 处置:数据量增长后 drop 旧索引重建。

原理流程

少量数据建索引 → 中心不稳
   ↓ 数据持续写入
新向量落入不合适列表 → 召回变差 → DROP INDEX 后按新数据重建

代码 / 命令

-- 数据量不足时先不建 IVFFlat,待达到规模后:
DROP INDEX idx_items_ivf;
CREATE INDEX ... USING ivfflat (...) WITH (lists = ...);

常见误区

  • 误区:IVFFlat 索引建好后不用管。正解:数据分布变化后聚类中心会失配,需要评估重建。
  • 误区:增量写入会自动更新列表中心。正解:列表中心固定在构建时,增量不重新训练。

追问

  • 问:HNSW 也需要先灌数据吗?答:HNSW 无训练步骤,空表可建;但大批量初始化时先灌数据再建通常更快。
  • 问:怎么判断 IVFFlat 索引该重建?答:对比重建前后 recall@k,或观察增量写入占比与召回下降趋势。

05.6.2.2-015 HNSW 与 IVFFlat 的构建时间对比如何?

频率 ★★★★☆ | 难度 进阶

一句话结论

官方定位是 HNSW 构建更慢、内存更高,IVFFlat 构建更快、更省内存;代价反映在速度—召回权衡上,HNSW 的查询权衡更优。

概念解释

  • HNSW:逐层建图,插入节点要在候选列表中维护邻接,构建成本高。
  • IVFFlat:k-means 训练加分配列表,构建轻量。
  • 实测:构建时间随行数、维度、参数与并行度变化,应以真实数据压测为准。

原理流程

相同数据集与维度
   → HNSW:图构建,CPU/内存高,耗时较长
   → IVFFlat:聚类 + 分配,耗时较短

代码 / 命令

-- 对比方式:同表分别建两种索引,记录构建耗时与 pg_stat_progress 阶段
-- 待确认:具体耗时倍数随数据分布与硬件变化,不背固定数值

常见误区

  • 误区:构建快的索引线上查询也快。正解:构建成本与查询权衡是两个维度,IVFFlat 构建快但查询召回权衡弱。
  • 误区:HNSW 构建慢就不能用于在线表。正解:在线增量维护可接受,大批量初始化建议低峰或离线构建。

追问

  • 问:怎么缩短 HNSW 构建时间?答:提高 maintenance_work_mem 让图驻留内存、增加并行 worker、降低 m/ef_construction、用 halfvec 或 bit 压缩。
  • 问:IVFFlat 构建慢在哪一步?答:大表 k-means 训练与元组分配阶段,可通过并行 worker 提速。

05.6.2.2-016 两者在内存与索引体积上有什么差别?

频率 ★★★★☆ | 难度 进阶

一句话结论

HNSW 图结构带来更大的索引体积与构建期内存峰值;IVFFlat 列表结构更紧凑;半精度与二值量化可同时压缩两类索引。

概念解释

  • HNSW:邻接表按 m 条连接存储,结构放大明显。
  • IVFFlat:向量归属列表,额外结构较少。
  • 压缩手段:halfvec 降精度、bit 二值化、表达式索引。

原理流程

向量本体 → 索引结构放大
   HNSW 放大 > IVFFlat
   → halfvec/bit 压缩 → 再实测 pg_relation_size

代码 / 命令

SELECT c.relname, pg_size_pretty(pg_relation_size(i.indexrelid))
FROM pg_index i JOIN pg_class c ON i.indexrelid = c.oid
WHERE c.relname LIKE 'idx_items%';

常见误区

  • 误区:索引体积只由向量维度决定。正解:索引类型的结构放大系数差异很大。
  • 误区:IVFFlat 一定省到可以忽略内存。正解:向量本体仍在表内,索引省的是结构部分。

追问

  • 问:索引必须全部放进内存吗?答:不是,但驻留内存时性能更好;磁盘命中会增加延迟。
  • 问:压缩后召回怎么保?答:bit 粗筛配原始向量重打分,halfvec 用查询集对比召回。

05.6.2.2-017 lists 与数据量的经验关系怎么估?

频率 ★★★★★ | 难度 进阶

一句话结论

百万行以内可从 rows / 1000 起步,超百万行参考 sqrt(rows);这是经验起点而非最优解,必须用真实查询集的召回结果校准。

概念解释

  • 经验公式:小数据量按每千行一个列表,大数据量按行数平方根。
  • 前提:数据分布相对均匀;分布倾斜时公式偏差更大。
  • 校准:固定查询集对比不同 lists 下的 recall@k 与延迟。

原理流程

N 行 → N ≤ 1e6:lists ≈ N/1000
       N > 1e6:lists ≈ sqrt(N)
   → 建索引 → 测召回 → 微调 lists 与 probes

代码 / 命令

-- 经验起点(非精确最优值)
-- 10 万行 → lists ≈ 100;500 万行 → lists ≈ sqrt(5_000_000)

常见误区

  • 误区:经验公式算出来直接上线。正解:公式只是起点,数据分布不同要实测调整。
  • 误区:lists 越大越接近 HNSW 质量。正解:IVFFlat 的召回上限受簇划分限制,lists 无法弥补结构差距。

追问

  • 问:列表内平均多少样本合适?答:按总行数除以 lists 估算,单列表过大会拉高 probes 扫描成本。
  • 问:数据翻倍后 lists 要跟着改吗?答:分布显著变化时重建索引并重新评估 lists。

05.6.2.2-018 probes 与 lists 的经验关系怎么定?

频率 ★★★★☆ | 难度 进阶

一句话结论

probes 可从 sqrt(lists) 起步,召回不足再调大,速度压力大则调小;probes 达到 lists 即退化为全列表精确扫描。

概念解释

  • 经验起点:sqrt(lists) 是官方建议的起始值。
  • 权衡方向:probes 大召回好、延迟高;小则相反。
  • 退化点:probes = lists 时所有列表都被扫描,ANN 索引不再提供近似收益。

原理流程

lists = L → probes 起步 sqrt(L)
   → 测 recall@k / P99 → 沿权衡曲线调整
   probes = L → 精确扫描,优化器可能直接弃用索引

代码 / 命令

SET ivfflat.probes = 10;  -- 对应 lists ≈ 100 的经验起点

常见误区

  • 误区:probes 固定越大越好。正解:超过召回收益点后只增加扫描成本。
  • 误区:probes 可以替代合适的 lists。正解:列表划分差时,加大 probes 只是多扫低效列表。

追问

  • 问:不同查询能用不同 probes 吗?答:可以按事务 SET LOCAL,高重要查询用大 probes,普通查询用小值。
  • 问:probes 设成 lists 计划会怎样?答:退化为精确检索,优化器可能选择顺序扫描而非索引。

05.6.2.2-019 m 调大对召回、构建与写入分别有什么影响?

频率 ★★★★☆ | 难度 进阶

一句话结论

m 增大提升图连通性与潜在召回,但索引体积、构建时间和单条插入的邻接维护成本同步上升,属于建图期的结构性权衡。

概念解释

  • 召回:邻接更密,跨层搜索更不容易丢失近邻。
  • 构建:每节点维护更多连接,图构建耗时增加。
  • 写入:在线插入需更新更多邻接关系,单行写入更重。

原理流程

m ↑ → 连接数 ↑ → 召回潜力 ↑
                → 索引体积 ↑、构建时间 ↑、插入维护成本 ↑

代码 / 命令

-- 对比不同 m 的构建耗时、索引大小与 recall@k
WITH (m = 16)  -- 默认起步

常见误区

  • 误区:m 只影响索引大小,不影响写入。正解:在线表每次插入都要按 m 维护邻接。
  • 误区:召回不足就调 m。正解:先看 ef_search 是否到位,m 调整需重建索引,成本更高。

追问

  • 问:m 调小适合什么场景?答:内存与写入敏感、查询侧可用较大 ef_search 补召回的场景。
  • 问:m 有上限吗?答:具体上限以官方文档为准,过大的 m 会让图接近稠密图,失去 ANN 意义。

05.6.2.2-020 ef_construction 调大有什么代价?

频率 ★★★☆☆ | 难度 进阶

一句话结论

ef_construction 调大提升建图质量,但显著拉长构建时间并增加构建期内存占用,对线上查询速度没有直接改善。

概念解释

  • 代价集中在构建阶段:候选列表越大,插入节点时搜索邻居越贵。
  • 收益滞后:更好的图结构在查询时体现为更稳的召回。
  • 适用:离线重建索引、对召回要求高的场景。

原理流程

ef_construction ↑ → 建图考察候选 ↑
   → 图质量 ↑,构建时间与内存峰值 ↑

代码 / 命令

WITH (m = 16, ef_construction = 64)  -- 默认起步,按需上调

常见误区

  • 误区:ef_construction 大则 ef_search 可以更小。正解:两者独立,查询召回仍受 ef_search 约束。
  • 误区:在线高峰调大它加速查询。正解:它只在建索引时生效,不改变运行期行为。

追问

  • 问:构建内存不够怎么表现?答:图无法全部驻留 maintenance_work_mem,出现对应 NOTICE,构建明显变慢。
  • 问:默认值需要改吗?答:先用默认,召回验证不足再重建并上调,避免不必要的构建成本。

05.6.2.2-021 ef_search 调大的代价是什么,什么时候该回落?

频率 ★★★★★ | 难度 进阶

一句话结论

ef_search 调大以更多候选扫描换取召回,代价是单次查询 CPU 与延迟上升;当召回已达标或 P99 超限时应回落,按查询分级设置。

概念解释

  • 收益:候选列表更大,更容易覆盖真实近邻。
  • 代价:图扩张阶段考察更多节点,高维距离计算量增加。
  • 分级:核心查询用大值,普通检索用默认,按事务隔离。

原理流程

固定查询集 → 逐步调大 ef_search
   → 记录 recall@k 与 P99 曲线
   → 召回达标点停止上调;P99 超限则回落

代码 / 命令

BEGIN;
SET LOCAL hnsw.ef_search = 100;
-- 核心检索使用较大候选列表
COMMIT;

常见误区

  • 误区:ef_search 全局调最大最保险。正解:会抬高全部查询延迟,应按业务分级。
  • 误区:ef_search 能弥补结构糟糕的图。正解:图质量差时候选再大也受限,需重建索引。

追问

  • 问:怎么判断召回已达标?答:对比暴力扫描 ground truth 的 recall@k,达到业务阈值即可。
  • 问:高并发下 ef_search 过大有什么风险?答:CPU 饱和导致排队与 P99 恶化,需结合连接数压测。

05.6.2.2-022 maintenance_work_mem 怎么影响 HNSW 构建?

频率 ★★★★☆ | 难度 进阶

一句话结论

HNSW 图能放进 maintenance_work_mem 时构建明显更快;放不下时构建大幅变慢并出现对应 NOTICE,需上调该参数,但不能高到耗尽服务器内存。

概念解释

  • 作用对象:索引构建维护操作的内存上限。
  • 机制:图驻留内存时避免反复磁盘换入换出。
  • 风险:设置过高会与其他构建会话争抢内存,需结合并发构建数评估。

原理流程

建索引 → 图大小 vs maintenance_work_mem
   放得下 → 快速构建
   放不下 → NOTICE 提示,构建显著变慢 → 上调参数

代码 / 命令

SET maintenance_work_mem = '8GB';
CREATE INDEX ... USING hnsw (...);

常见误区

  • 误区:maintenance_work_mem 越大越好。正解:多会话并发构建时总量叠加,过高会耗尽内存。
  • 误区:它影响查询期内存。正解:它服务维护操作,查询期内存主要看 work_mem。

追问

  • 问:构建时的 NOTICE 长什么样?答:提示 hnsw graph no longer fits into maintenance_work_mem,并建议上调;具体文本以版本为准。
  • 问:怎么估算需要多少内存?答:用小批量数据建索引后读索引大小,按比例放大,留出余量。

05.6.2.2-023 并行构建由哪些参数控制?

频率 ★★★☆☆ | 难度 进阶

一句话结论

索引并行构建由 max_parallel_maintenance_workers 控制并行 worker 数(默认 2,含 leader 之外的 worker),worker 总数还受 max_parallel_workers 约束。

概念解释

  • 维护并行度:每个索引构建可启动的辅助 worker 数。
  • 总量上限:并行 worker 受全局 max_parallel_workers 限制。
  • 适用:大表建索引,CPU 核数充足时提速明显。

原理流程

SET max_parallel_maintenance_workers = 7;  -- 加 leader
必要时上调 max_parallel_workers
   → 构建任务并行扫描与构建

代码 / 命令

SET max_parallel_maintenance_workers = 7;
-- 待确认:默认值以 PG 版本配置文档为准

常见误区

  • 误区:worker 越多构建线性加速。正解:受 IO、CPU 与单任务依赖约束,存在拐点。
  • 误区:并行度只对 HNSW 有效。正解:IVFFlat 大表构建同样可利用并行 worker。

追问

  • 问:CPU 核数少要不要开并行?答:核数不足时并行反而增加调度开销,按压测结果决定。
  • 问:并行构建会影响在线查询吗?答:会占用 CPU 与 IO,大表构建建议低峰或控制并发。

05.6.2.2-024 IVFFlat 增量写入后为什么聚类中心会失配?

频率 ★★★★★ | 难度 进阶

一句话结论

IVFFlat 的列表中心在建索引时训练固定,后续新向量不参与重新聚类;当增量占比升高或数据分布漂移,新向量落入不合适的列表,召回逐步下降。

概念解释

  • 固定中心:构建后的列表划分不再更新。
  • 漂移来源:新业务主题、模型版本变化、时间分布变化。
  • 表现:同样 probes 下漏召增多,重建索引后恢复。

原理流程

建索引训练中心 → 增量写入不重训
   ↓ 增量占比上升
新向量与旧簇不匹配 → 近邻落入错误列表 → 召回下降
   → DROP INDEX 按新数据重建

代码 / 命令

-- 定期对比重建前后 recall@k;增量大时安排重建
DROP INDEX idx_items_ivf;
CREATE INDEX ... USING ivfflat (...) WITH (lists = ...);

常见误区

  • 误区:IVFFlat 像 HNSW 一样增量自维护。正解:它不更新聚类中心,增量累积后必须评估重建。
  • 误区:召回下降是 probes 太小。正解:先排除中心失配,再调 probes。

追问

  • 问:重建窗口怎么安排?答:在线表用 CONCURRENTLY 建索引,避免长时间阻塞写入。
  • 问:什么增量比例开始要警惕?答:结合召回监控判断,没有固定百分比;增量显著改变分布即评估重建。

05.6.2.2-025 HNSW 的增量写入与删除对图结构有什么影响?

频率 ★★★★☆ | 难度 进阶

一句话结论

HNSW 随插入增量维护邻接关系;删除以索引标记形式处理,图不会自动物理压缩,长期增删会产生残留并影响图质量与 vacuum 成本。

概念解释

  • 插入:新节点按 ef_construction 规则接入邻接层。
  • 删除:索引内保留删除标记,节点空间不一定立即回收。
  • 退化:大量增删后图中残留节点增多,查询需要跳过无效节点。

原理流程

插入 → 图增量扩展
删除 → 标记删除,残留保留
   ↓ 长期累积
残留增多 → 检索跳过量上升 → 评估 REINDEX 重建

代码 / 命令

-- 观察索引大小与扫描效率,残留严重时重建
REINDEX INDEX CONCURRENTLY idx_items_hnsw;

常见误区

  • 误区:HNSW 删除后图自动收紧。正解:残留需 vacuum 与重建配合回收。
  • 误区:频繁更新向量对 HNSW 无额外代价。正解:更新等价于删除旧向量再加新向量,两次维护图结构。

追问

  • 问:向量内容更新怎么处理?答:先删旧向量再插新向量,或按主键 upsert;高频更新会加速索引退化。
  • 问:怎么判断需要重建?答:索引体积异常增长、召回下降、vacuum 耗时变长时评估。

05.6.2.2-026 HNSW 删除导致的膨胀为什么会让 vacuum 变慢?

频率 ★★★★☆ | 难度 进阶

一句话结论

HNSW 索引需要为堆表中的删除元组维护对应索引条目,vacuum 清理时要遍历索引结构;残留多时 vacuum 耗时长,官方建议可先 REINDEX 再 vacuum 以加速。

概念解释

  • 索引与堆表对应:每个有效堆元组在索引中有条目。
  • 清理成本:vacuum 回收死元组时要同步处理索引条目,HNSW 图结构遍历较重。
  • 缓解:重建索引先整理结构,再 vacuum 减少遍历负担。

原理流程

大量删除 → 堆表死元组 + 索引残留
   ↓ autovacuum
遍历索引清理条目 → 耗时较长
   ↓ 官方建议
先 REINDEX 整理结构 → 再 VACUUM

代码 / 命令

REINDEX INDEX CONCURRENTLY idx_items_hnsw;
VACUUM ANALYZE items;

常见误区

  • 误区:vacuum 慢只是堆表膨胀。正解:向量索引的条目遍历也是耗时来源。
  • 误区:关掉 autovacuum 能避免变慢。正解:死元组累积会让后续清理更重,应调优而非关闭。

追问

  • 问:怎么看向量表 vacuum 压力?答:监控死元组比例、vacuum 时长与索引体积增长。
  • 问:批量删除后怎么快速回收?答:低峰重建索引并 vacuum,必要时按分区拆分删除。

05.6.2.2-027 什么情况下需要 REINDEX?

频率 ★★★☆☆ | 难度 进阶

一句话结论

索引膨胀、图质量退化、参数需要调整、统计或索引损坏,以及版本变更后索引结构不兼容时,通过 REINDEX 重建;在线表用 CONCURRENTLY 避免阻塞写入。

概念解释

  • 触发场景:体积异常增长、召回下降、参数变更、损坏修复。
  • 方式:普通 REINDEX 锁表,CONCURRENTLY 在线构建后替换。
  • 前置:先备份并确认磁盘空间足够双份索引。

原理流程

确认索引问题 → 评估是否可重建
   → CONCURRENTLY 构建新索引 → 替换旧索引
   → 校验召回与计划命中

代码 / 命令

REINDEX INDEX CONCURRENTLY idx_items_hnsw;
-- 或 drop 后并发创建
CREATE INDEX CONCURRENTLY idx_items_hnsw ON items USING hnsw (...);

常见误区

  • 误区:REINDEX 能优化器统计信息。正解:统计信息靠 ANALYZE,重建索引不替代统计更新。
  • 误区:重建索引不占额外磁盘。正解:新索引构建期间与旧索引并存,需要预留空间。

追问

  • 问:CONCURRENTLY 构建失败会留残留索引吗?答:失败时可能留下无效索引,需检查并清理后重试。
  • 问:重建期间查询走哪个索引?答:旧索引继续服务,新索引就绪替换后切到新结构。

05.6.2.2-028 CREATE INDEX CONCURRENTLY 与普通建索引在锁上有什么差别?

频率 ★★★★★ | 难度 进阶

一句话结论

普通建索引持有阻塞写入的锁,在线大表会长时间挡住 INSERT/UPDATE/DELETE;CONCURRENTLY 在线构建,不长期阻塞写入,但构建更慢且需要两次扫描。

概念解释

  • 普通构建:锁级别高,写入等待,构建快。
  • 并发构建:允许读写并行,后台构建后替换,耗时更长。
  • 限制:并发构建失败会残留无效索引,需清理重试。

原理流程

普通 CREATE INDEX → 锁表 → 阻塞写入 → 快速构建
CREATE INDEX CONCURRENTLY → 允许写入 → 后台扫描构建 → 校验 → 替换

代码 / 命令

CREATE INDEX CONCURRENTLY idx_items_hnsw
ON items USING hnsw (embedding vector_cosine_ops);

常见误区

  • 误区:CONCURRENTLY 完全不加锁。正解:构建收尾仍有短暂锁,只是不长期阻塞写入。
  • 误区:大表在线直接普通建索引。正解:会阻塞业务写入,生产应使用并发构建。

追问

  • 问:并发构建期间表上有长期事务怎么办?答:会延迟索引就绪,需先清理长事务。
  • 问:CONCURRENTLY 能在事务里跑吗?答:该语法不能在显式事务块中执行,具体以 PG 文档为准。

05.6.2.2-029 halfvec 与 bit 表达式索引怎么压缩索引体积?

频率 ★★★★☆ | 难度 进阶

一句话结论

把 vector 列通过转型为 halfvec 或 binary_quantize 量化为 bit,在表达式上建索引,索引按低精度类型存储,体积显著小于原始 float32 索引。

概念解释

  • halfvec 路径:每分量 2 字节,索引结构同步缩小。
  • bit 路径:每维 1 bit,体积最小,损失方向符号之外的信息。
  • 约束:查询表达式必须与索引表达式一致。

原理流程

原始 vector 列
   → 表达式:::halfvec(D) 或 binary_quantize(...)::bit(D)
   → 表达式建索引 → 查询复用同一表达式

代码 / 命令

CREATE INDEX ON items USING hnsw (
  (embedding::halfvec(1536)) halfvec_l2_ops
);
CREATE INDEX ON items USING hnsw (
  (binary_quantize(embedding)::bit(1536)) bit_hamming_ops
);

常见误区

  • 误区:压缩索引可以直接替代原始向量排序。正解:bit 粗筛后需原始向量重打分。
  • 误区:表达式索引自动适配查询写法。正解:表达式逐字不一致就无法命中。

追问

  • 问:halfvec 索引精度损失怎么评估?答:固定查询集对比 halfvec 与 vector 的 recall@k 与 top-k 重合度。
  • 问:量化函数在哪个版本可用?答:binary_quantize 等函数的版本可用性以官方类型参考为准。

05.6.2.2-030 二值量化加重打分的两级检索怎么落地?

频率 ★★★★☆ | 难度 进阶

一句话结论

先用 bit 索引按 Hamming 距离粗筛一批候选,再取回原始浮点向量按精确距离重打分排序,用小索引换取大规模下的检索效率与召回兜底。

概念解释

  • 粗筛层:bit 索引快而省,保留方向符号信息。
  • 重打分层:原始 vector/halfvec 列计算浮点距离,校正量化误差。
  • 候选数:粗筛取回数量要大于最终 topK,给重打分留余量。

原理流程

查询向量量化 → bit 索引取候选 N(N > k)
   → 回表取原始向量 → 浮点距离重排序 → 返回 TopK

代码 / 命令

WITH candidates AS (
  SELECT id, embedding FROM items
  ORDER BY binary_quantize(embedding)::bit(1536) <~> binary_quantize(q)
  LIMIT 50
)
SELECT id, embedding <=> q AS distance
FROM candidates ORDER BY embedding <=> q LIMIT 5;

常见误区

  • 误区:粗筛候选数等于最终 k。正解:候选太少会在粗筛阶段漏掉真实近邻。
  • 误区:二值量化不需要保留原始列。正解:没有原始向量就无法重打分。

追问

  • 问:候选数怎么定?答:从 k 的数倍起步,按召回曲线调整。
  • 问:重打分用哪种距离?答:与业务度量一致,通常用余弦或 L2。

05.6.2.2-031 怎么用暴力扫描构建召回评估的 ground truth?

频率 ★★★★★ | 难度 进阶

一句话结论

对固定查询集在无 ANN 索引(或 probes 覆盖全列表)下跑精确距离排序,得到每个查询的真实 TopK 作为 ground truth,再与 ANN 结果对比算召回。

概念解释

  • ground truth:精确检索的完整近邻集合,作为对照基准。
  • 查询集:覆盖业务典型提问,数量足够稳定评估。
  • 对照口径:同一查询、同一 TopK 规模、同一度量。

原理流程

准备查询向量集 Q
   → 精确扫描取每个 q 的 TopK 真值集
   → ANN 索引取候选集 → 交集大小 / 真值集大小 = recall@k

代码 / 命令

-- 精确真值:确保计划为顺序扫描;必要时临时禁用索引
SELECT id, embedding <=> q AS distance
FROM items ORDER BY embedding <=> q LIMIT 10;

常见误区

  • 误区:用 ANN 结果自己当基准算召回。正解:基准必须来自精确扫描,否则对照无意义。
  • 误区:随机查询集能代表线上。正解:查询分布要贴近真实业务,冷门与高频问题都要覆盖。

追问

  • 问:大表精确扫描太慢怎么办?答:抽样子集构建评估集,或在离线副本上跑 ground truth。
  • 问:召回按什么口径算?答:常用 recall@k = ANN 命中真值 TopK 的比例,按查询取平均。

05.6.2.2-032 recall@k 在 pgvector 里怎么计算?

频率 ★★★★☆ | 难度 进阶

一句话结论

对每个查询,取精确检索真值 TopK 与 ANN 返回 TopK 的交集数量除以 k,再在查询集上平均;SQL 上可按 id 集合对比实现。

概念解释

  • 单查询召回:交集数 / k。
  • 整体召回:查询集平均值。
  • 配套指标:同时记录 P99 延迟与索引大小,构成权衡曲线。

原理流程

真值集合 T_k(q),ANN 集合 A_k(q)
   recall@k = |T ∩ A| / k
   全集平均 = avg(recall@k(q))

代码 / 命令

-- 思路:分别存真值与 ANN 结果,按 query_id、item_id 做交集统计
-- 具体 SQL 按评估表结构编写,不要只凭接口成功率判断质量

常见误区

  • 误区:召回 100% 才合格。正解:按业务容忍度定阈值, ANN 本就用少量召回损失换速度。
  • 误区:只看平均召回。正解:低分查询的尾部表现也要看,避免个别类问题被平均掩盖。

追问

  • 问:除了召回还要看什么?答:延迟 P50/P99、候选数、索引体积与写入成本。
  • 问:召回下降怎么定位是索引还是数据问题?答:先对比 ground truth 与 ANN,再查过滤条件、ef_search/probes 与数据分布漂移。

05.6.2.2-033 参数调优的验证方法是什么?

频率 ★★★★☆ | 难度 进阶

一句话结论

用固定查询集与真实数据分布,控制变量逐个调整参数,同时记录 recall@k、P99 与资源占用,形成权衡曲线后再固化参数并回归。

概念解释

  • 控制变量:一次只调 m/ef_construction/ef_search/lists/probes 之一。
  • 数据真实:维度、行数、分布贴近线上,随机向量结论无效。
  • 回归:参数固化后跑全量查询集,确认无尾部劣化。

原理流程

准备数据集 + 查询集 + 基线指标
   → 单变量调参 → 记录召回/延迟/体积
   → 选定参数 → 全量回归 → 写入配置与文档

代码 / 命令

-- 压测记录:QPS、P50/P99、recall@k、索引大小、构建耗时
-- 每轮参数变更保留对照表,便于回退

常见误区

  • 误区:凭感觉调大参数。正解:每个调整都要有召回与延迟数据支撑。
  • 误区:开发环境调完直接上生产。正解:数据量与分布不同,需在接近生产的环境复核。

追问

  • 问:参数冲突怎么取舍?答:按业务优先级(召回优先还是延迟优先)确定权衡区间。
  • 问:调参后怎么防止回退?答:把关键参数写入部署配置与评审记录,变更时走压测复核。

05.6.2.2-034 数据量多大时选 HNSW、IVFFlat 还是精确扫描?

频率 ★★★★☆ | 难度 高级

一句话结论

小表精确扫描即可;中等规模可按构建成本与召回权衡选 IVFFlat;追求速度—召回权衡、数据持续增长的主流场景选 HNSW;最终阈值以自有压测为准。

概念解释

  • 精确扫描:万级以下或离线分析,召回完整。
  • IVFFlat:构建快、内存省,召回权衡弱,适合规模适中或成本敏感场景。
  • HNSW:权衡更优,构建与内存成本更高,主流在线检索首选。

原理流程

行数 / 维度 / QPS / 延迟目标
   → 小:精确扫描
   → 中且成本敏感:IVFFlat
   → 在线高要求:HNSW
   → 压测 recall@k 与 P99 定稿

代码 / 命令

-- 决策输入:向量数、维度、写入频率、过滤条件、P99 目标、内存预算
-- 待确认:具体行数阈值随硬件与分布变化,不背固定数字

常见误区

  • 误区:所有生产表都上 HNSW。正解:小表精确扫描更简单,IVFFlat 在成本敏感场景仍有价值。
  • 误区:选型只看行数。正解:维度、QPS、过滤复杂度与内存预算同样决定选择。

追问

  • 问:能不能一张表先 IVFFlat 后换 HNSW?答:可以,按数据增长重建为 HNSW 索引,双索引期间注意成本。
  • 问:混合检索场景怎么选?答:向量部分按上述决策,关键词走 PG 全文检索,结果在应用侧融合。

05.6.2.2-035 IVFFlat 索引什么时候需要重建,怎么重建?

频率 ★★★★☆ | 难度 高级

一句话结论

增量占比升高、分布漂移导致召回下降,或 lists 参数需要调整时重建;在线表先并发建新索引再替换旧索引,并在重建后做召回对比。

概念解释

  • 触发:召回监控下降、增量过大、模型或主题变化、参数调整。
  • 方式:DROP 旧索引或并发构建新索引替换。
  • 校验:重建前后跑同一查询集对比 recall@k 与延迟。

原理流程

确认失配 → 低峰窗口 → CONCURRENTLY 构建新 IVFFlat
   → 替换 → 召回校验 → 清理旧索引

代码 / 命令

CREATE INDEX CONCURRENTLY idx_items_ivf_new
ON items USING ivfflat (embedding vector_cosine_ops) WITH (lists = 100);
DROP INDEX idx_items_ivf;
ALTER INDEX idx_items_ivf_new RENAME TO idx_items_ivf;

常见误区

  • 误区:重建索引能自动更新列表中心到最优。正解:lists 与训练数据一起决定质量,需同步评估参数。
  • 误区:重建期间业务不可用。正解:并发构建期间旧索引继续服务。

追问

  • 问:重建频率怎么定?答:按召回监控与增量节奏设周期,而不是固定天数。
  • 问:重建失败残留怎么处理?答:检查无效索引并删除,修正问题后重试并发构建。

05.6.2.2-036 HNSW 图放不下 maintenance_work_mem 的 NOTICE 怎么处置?

频率 ★★★☆☆ | 难度 高级

一句话结论

出现图无法驻留维护内存的提示后,构建会显著变慢;处置是上调 maintenance_work_mem 到图大小以上,并确认并发构建总量不耗尽服务器内存。

概念解释

  • 提示含义:图体积超过当前维护内存上限,构建依赖磁盘换入换出。
  • 处置:按索引大小上调参数,留出余量。
  • 约束:多会话并发构建时内存叠加,不能只看单会话上限。

原理流程

观察 NOTICE → 读现有索引大小估算图体积
   → 上调 maintenance_work_mem
   → 评估并发构建数 × 上限 ≤ 可用内存
   → 重新构建

代码 / 命令

SET maintenance_work_mem = '8GB';
-- 验证:构建过程中不再出现 no longer fits 提示,阶段推进加快

常见误区

  • 误区:把参数调到物理内存最大值。正解:要给系统、连接与其他构建留余量。
  • 误区:NOTICE 只是提醒,不影响速度。正解:图不驻留时构建时间会显著拉长。

追问

  • 问:上调后仍放不下怎么办?答:用 halfvec/bit 压缩索引体积,或分批/分区构建,降低单索引规模。
  • 问:构建内存与查询内存怎么区分?答:维护操作看 maintenance_work_mem,查询排序与哈希看 work_mem。

05.6.2.2-037 构建期内存峰值由哪些参数决定?

频率 ★★★☆☆ | 难度 高级

一句话结论

构建峰值与向量规模、维度、索引类型、m/ef_construction、maintenance_work_mem 及并行 worker 数相关;并行会叠加各 worker 的内存占用。

概念解释

  • 数据侧:行数 × 维度 × 每维字节。
  • 索引侧:图或列表结构放大,参数越宽松结构越大。
  • 并发侧:多个并行 worker 与多个并发构建会话叠加。

原理流程

单构建内存 ≈ 向量数据 + 索引结构 + 维护工作内存
   × 并行 worker 数
   再 × 并发构建会话数

代码 / 命令

-- 上线前用真实数据小批构建,观测内存峰值曲线再放大估算
-- 待确认:各参数内存占用比例以实测为准

常见误区

  • 误区:maintenance_work_mem 就是构建总内存。正解:它是维护操作上限,向量与结构本身另有存储。
  • 误区:加并行 worker 不增加内存。正解:每个 worker 带独立工作内存,总量上升。

追问

  • 问:构建期 OOM 怎么预防?答:控制并发构建数与并行度,低峰构建,预留内存余量。
  • 问:怎么测峰值?答:构建过程监控实例内存曲线,记录最高水位。

05.6.2.2-038 多距离、多索引并存时构建内存怎么竞争?

频率 ★★☆☆☆ | 难度 高级

一句话结论

多个索引依次或并发构建时,维护内存与 CPU/IO 叠加;应错峰构建、控制并发数量,避免一次性建多个大索引打爆内存。

概念解释

  • 资源叠加:每个索引独立构建,各自占用维护内存与 worker。
  • 竞争点:内存、CPU、磁盘 IO。
  • 策略:串行构建大索引,小索引穿插进行。

原理流程

梳理待建索引清单 → 按大小排序
   → 串行或限并发构建 → 观察内存与进度 → 全部就绪后释放

代码 / 命令

-- 避免在同一窗口并发执行多个 CREATE INDEX
-- 大索引优先,构建完成后再建次级索引

常见误区

  • 误区:脚本里所有索引并行创建最快。正解:资源争抢下整体可能更慢且风险更高。
  • 误区:多索引构建不影响在线查询。正解:构建占用 CPU/IO,会与在线检索竞争。

追问

  • 问:批量初始化怎么安排索引?答:先灌数据,再按度量逐个建索引,必要时离线副本构建后导入。
  • 问:怎么监控构建资源?答:看进度视图、会话等待事件与实例内存/IO 曲线。

05.6.2.2-039 高并发写入下 HNSW 图质量会怎么退化,怎么维护?

频率 ★★★★☆ | 难度 高级

一句话结论

持续高并发插入与更新会让图邻接逐渐偏离最优结构,叠加删除残留导致召回下降与检索跳过量上升;维护手段是监控召回与索引体积,定期评估重建。

概念解释

  • 退化来源:增量接入的节点邻接不如批量构建理想,删除残留累积。
  • 观测:召回趋势、索引体积、vacuum 时长、单次检索跳过节点数。
  • 维护:低峰并发重建索引,必要时调整写入批处理节奏。

原理流程

高并发写入 → 图增量维护 → 残留与结构退化
   ↓ 监控
召回下降 / 体积膨胀 → 并发 REINDEX → 恢复图质量

代码 / 命令

-- 监控项:recall@k、索引大小、死元组比例、vacuum 时长
-- 维护动作:低峰 REINDEX INDEX CONCURRENTLY

常见误区

  • 误区:HNSW 图永不退化。正解:长期增删后结构质量需要定期复核。
  • 误区:重建索引能解决所有写入问题。正解:批量过大、锁竞争等写入侧问题要单独治理。

追问

  • 问:高频 upsert 向量怎么降低退化?答:控制更新频率,合并变更批次,避免同一向量反复改写。
  • 问:退化与 IVFFlat 失配有何不同?答:HNSW 是图结构与残留退化,IVFFlat 是聚类中心固定失配,处置都可能需要重建。

05.6.2.2-040 表达式索引在构建与查询侧有哪些约束?

频率 ★★★★☆ | 难度 高级

一句话结论

表达式索引的转型、函数、维度必须在查询侧逐字复用;表达式结果不稳定或类型不匹配时索引无法使用,模型变更后表达式索引需重建。

概念解释

  • 一致性:索引表达式 = 查询表达式,包括函数名、类型转型、维度参数。
  • 稳定性:表达式需对同一输入给出确定结果。
  • 版本绑定:模型维度或量化规则变化后,旧表达式索引失效。

原理流程

定义表达式 E → 建索引 on E
   → 查询 ORDER BY E <算子> q
   E 不一致 → 索引不被使用

代码 / 命令

CREATE INDEX ON items USING hnsw (
  (subvector(embedding, 1, 256)::vector(256)) vector_cosine_ops
);
-- 查询必须写 subvector(embedding,1,256)::vector(256)

常见误区

  • 误区:查询用原始列也能命中表达式索引。正解:表达式不同,计划走顺序扫描。
  • 误区:表达式索引随列自动更新。正解:表达式固定,上游模型变更后要重建。

追问

  • 问:表达式索引能建部分索引条件吗?答:可以叠加 WHERE 条件,形成部分表达式索引。
  • 问:函数不可用会怎样?答:索引创建或查询解析时报错,需先确认函数版本可用。

05.6.2.2-041 优化器什么时候选索引扫描,什么时候退顺序扫描?

频率 ★★★☆☆ | 难度 高级

一句话结论

优化器依据距离算子、ORDER BY + LIMIT、估计行数与代价选择索引;过滤选择率低、结果集大、统计信息过时或表达式不匹配时,会退化为顺序扫描。

概念解释

  • 命中条件:ORDER BY 是距离算子直接结果、升序、带 LIMIT。
  • 退化原因:结果集大到全表扫描更便宜、统计失真、ops 不匹配、表达式不一致。
  • 观测:EXPLAIN ANALYZE 中索引扫描节点是否出现。

原理流程

查询 → 校验算子/排序/LIMIT → 估算代价
   索引代价低 → 索引扫描
   顺序扫描代价低 → Seq Scan + 排序

代码 / 命令

EXPLAIN (ANALYZE, BUFFERS)
SELECT * FROM items ORDER BY embedding <=> q LIMIT 5;

常见误区

  • 误区:建了索引就一定走索引。正解:优化器按代价选择,大结果集下顺序扫描可能更优。
  • 误区:计划走索引就代表召回正常。正解:命中索引只说明路径选择,召回还要单独评估。

追问

  • 问:怎么判断统计信息过时?答:对比计划估计行数与实际行数,偏差大则 ANALYZE 更新统计。
  • 问:强制走索引可行吗?答:可调优计划参数,但根本上要让代价估算合理,不建议长期靠强制提示。

05.6.2.2-042 probes 设成 lists 时为什么退化为精确检索?

频率 ★★★☆☆ | 难度 高级

一句话结论

probes 等于 lists 意味着所有列表都被扫描,ANN 的近似筛选不再起作用;此时优化器可能直接选择顺序扫描,索引不再提供近似收益。

概念解释

  • 退化机制:扫描全部列表 ≈ 遍历全部向量。
  • 计划表现:索引扫描覆盖全量,或优化器弃用索引走 Seq Scan。
  • 用途:评估精确基准时可这样设置,线上检索不应长期如此。

原理流程

probes = lists → 全部列表参与扫描
   → 近似边界消失 → 召回回到精确水平,延迟回到全表扫描量级

代码 / 命令

SET ivfflat.probes = 100;  -- 若 lists = 100,则退化为全列表扫描

常见误区

  • 误区:probes 调到 lists 是最优召回配置。正解:这是精确扫描路径,失去 ANN 的速度收益。
  • 误区:退化后仍享受索引加速。正解:覆盖全量时索引结构帮助有限。

追问

  • 问:评估 ground truth 能用这个方式吗?答:可以作为精确对照,但大表更建议离线副本扫描。
  • 问:怎么确认计划已退化?答:EXPLAIN 看扫描节点与实际行数,接近全表即退化。

05.6.2.2-043 统计信息缺失为什么会导致索引不被选择?

频率 ★★★☆☆ | 难度 高级

一句话结论

优化器依赖统计信息估计过滤后行数与代价;ANALYZE 未跑或数据大幅变化后统计失真,可能低估/高估索引收益,导致选错路径。

概念解释

  • 输入:列相关性、行数、过滤选择率估算。
  • 失真场景:批量导入后未 ANALYZE、大量增删后统计过期。
  • 处置:ANALYZE 更新统计,再看计划是否稳定。

原理流程

批量写入 → 统计信息过期
   → 代价估算偏差 → 选错扫描路径
   → ANALYZE items → 重新估算 → 复核计划

代码 / 命令

ANALYZE items;
EXPLAIN (ANALYZE, BUFFERS) SELECT ... ORDER BY embedding <=> q LIMIT 5;

常见误区

  • 误区:建了索引统计信息自动最新。正解:索引与统计信息是两回事,需 ANALYZE 更新。
  • 误区:统计信息只影响普通字段。正解:过滤条件选择率估算同样影响向量检索计划。

追问

  • 问:autovacuum 会自动更新统计吗?答:autovacuum 触发时会做分析,但大批量变更后仍建议手动 ANALYZE。
  • 问:统计信息多大范围合适?答:默认统计目标对多数场景足够,选择性复杂的列可评估调高,以文档为准。

05.6.2.2-044 分区表上建向量索引要注意什么?

频率 ★★★★☆ | 难度 高级

一句话结论

分区表的向量索引需建在分区或父表对应规则上,查询必须带分区裁剪条件,否则会扫描所有分区;各分区独立维护索引与 vacuum。

概念解释

  • 索引位置:PG 分区索引按分区维护,父表索引定义传播到各分区。
  • 裁剪前提:WHERE 带分区键条件,优化器才能排除无关分区。
  • 成本:分区越多,索引数量与维护开销越大。

原理流程

按时间/租户分区 → 父表定义向量索引 → 各分区建索引
   → 查询带分区键过滤 → 裁剪到相关分区 → 分区内向量检索

代码 / 命令

CREATE INDEX ON doc_chunk PARTITION BY ...;  -- 按实际分区策略
-- 查询必须携带分区键条件,如 created_at 范围或 tenant_id

常见误区

  • 误区:父表建一个全局索引就能跨分区检索。正解:索引按分区维护,缺裁剪条件会逐分区扫描。
  • 误区:分区自动改善向量召回。正解:分区只缩小扫描范围,召回仍由索引参数决定。

追问

  • 问:按租户分区适合什么场景?答:大租户隔离、按租户归档与独立 vacuum 的场景;小租户过多则分区碎片化。
  • 问:新分区索引怎么建?答:新增分区时索引随父表定义创建,需确认索引在分区上就绪。

05.6.2.2-045 低召回需求场景用 IVFFlat 降本怎么权衡?

频率 ★★★☆☆ | 难度 高级

一句话结论

对召回要求宽松、规模大、成本敏感的场景,可用 IVFFlat 换更低的构建与内存成本;前提是业务接受近似质量,并用召回监控守住下限。

概念解释

  • 适用:粗排、候选召回、对精度不极端敏感的推荐类场景。
  • 代价:速度—召回权衡弱于 HNSW,分布漂移后需重建。
  • 底线:明确可接受的 recall 阈值并持续监控。

原理流程

评估召回容忍度 → IVFFlat 构建
   → 测 recall@k 达标 → 上线
   → 周期监控召回与增量 → 失配时重建

代码 / 命令

-- 成本对比项:构建耗时、索引体积、内存占用、P99
-- 质量底线:固定 recall@k 阈值,低于阈值告警

常见误区

  • 误区:IVFFlat 只是低配 HNSW,处处可用。正解:召回要求高的主检索链路仍应选 HNSW。
  • 误区:降本只看索引体积。正解:还要计入重建频率与召回劣化的业务成本。

追问

  • 问:IVFFlat 能兼顾在线高 QPS 吗?答:probes 小的时候单查询快,但召回受限;QPS 与召回需同时压测。
  • 问:后续想升级 HNSW 怎么做?答:并发构建 HNSW 索引,对比召回后切换,保留回滚窗口。

05.6.2.2-046 为什么索引参数变更必须重建索引?

频率 ★★★☆☆ | 难度 高级

一句话结论

m、ef_construction、lists 等是构建期参数,固化在索引结构中;在线参数(ef_search、probes)才可运行期调整,改构建参数只能重建索引生效。

概念解释

  • 构建期:决定图或列表结构,写入索引物理结构。
  • 查询期:只改变扫描行为,不改结构。
  • 区分:改哪个参数决定是否需要重建。

原理流程

改 m / ef_construction / lists
   → 结构参数 → 必须 DROP/CREATE 或 REINDEX
改 ef_search / probes
   → 查询参数 → SET 立即生效

代码 / 命令

-- 构建参数变更示例
REINDEX INDEX CONCURRENTLY idx_items_hnsw;
-- 查询参数变更无需重建
SET hnsw.ef_search = 100;

常见误区

  • 误区:更新参数配置文件后旧索引自动生效。正解:结构参数需重建索引。
  • 误区:REINDEX 会沿用旧参数。正解:重建时按当前索引定义与参数重新构建,参数需在定义中指定。

追问

  • 问:重建期间要改参数怎么写?答:新索引定义中带新参数,并发构建后替换。
  • 问:怎么区分两类参数?答:看参数是建索引 WITH 子句,还是查询期 GUC。

05.6.2.2-047 线上调参的安全流程是什么?

频率 ★★★☆☆ | 难度 高级

一句话结论

先在预发用真实数据压测定参,在线上按事务或灰度会话小范围验证,观察召回与 P99 后再固化配置,保留回退参数与重建预案。

概念解释

  • 预发验证:数据集与查询集贴近生产,测出权衡曲线。
  • 灰度:先单会话/单接口用新参数,不全局铺开。
  • 回退:记录旧参数,异常时快速还原。

原理流程

预发压测定参 → 线上灰度会话 SET LOCAL 验证
   → 监控召回/P99/资源 → 固化到配置
   → 异常则回退旧参数

代码 / 命令

-- 灰度:核心接口事务内 SET LOCAL,观察一个业务周期
-- 固化:写入部署配置与索引定义,变更走评审

常见误区

  • 误区:直接全局调大参数观察效果。正解:可能瞬间抬高延迟,应先小范围验证。
  • 误区:调参后不记录基线。正解:没有旧值对照就无法判断改善或回退。

追问

  • 问:构建参数上线前要做什么?答:磁盘空间、并发构建窗口、召回回归与回滚索引方案确认。
  • 问:怎么确认参数生效?答:SHOW 当前会话值,EXPLAIN 核对扫描路径与候选行为。

05.6.2.2-048 给一个百万级向量表,怎么定稿索引选型与参数?

频率 ★★★★★ | 难度 高级

一句话结论

按「规模与维度估成本 → 选索引类型 → 定构建参数 → 查询参数沿召回—延迟曲线调 → 压测回归 → 固化监控」给出方案,所有阈值以自有数据压测为准。

概念解释

  • 输入:向量数、维度、日增量、QPS、P99 目标、过滤维度、内存预算。
  • 决策:类型(HNSW/IVFFlat/精确)、精度类型(vector/halfvec/bit)、构建与查询参数。
  • 交付:索引定义、参数取值、召回与延迟基线、重建与扩容触发条件。

原理流程

1) 估算行数×维度×字节与索引放大
2) 对比 HNSW / IVFFlat 在真实数据上的 recall@k 与 P99
3) 定 m、ef_construction、lists;查询侧定 ef_search / probes
4) 评估 halfvec/bit 压缩与重打分
5) 压测写入吞吐与并发检索 → 固化参数与监控告警

代码 / 命令

-- 定稿清单:索引类型、ops 类、m/ef_construction/lists
-- 查询参数、精度类型、重建策略、容量基线、召回监控阈值

常见误区

  • 误区:直接套用其他项目的参数值。正解:分布与硬件不同,参数必须自有压测校准。
  • 误区:只优化检索不评估写入。正解:索引数量与参数同时影响写入吞吐和膨胀。

追问

  • 问:内存装不下全量索引怎么办?答:halfvec/bit 压缩、冷热分层、分区拆分,或评估独立向量库。
  • 问:上线后怎么持续验证?答:周期跑固定查询集召回对比,监控索引体积与 vacuum,触达阈值安排重建。

参考来源