罗罗编程学习记录
本页内容 展开查看

12.3.1.4 向量库与混合检索存储

所属:全栈开发面试题库 / 12 待归类与新技术观察 / 12.3 新数据库与新存储 / 12.3.1 新数据库与新存储

观察口径:截至 2026 年,向量产品版本、索引能力与生态以官方文档为准;本页做机制与场景横比,不固化召回率数字与性能基准,标注「待确认」处采用前核实。

12.3.1.4-001 向量检索解决什么问题?

一句话结论

向量检索把文本/图像等内容转为嵌入向量,按语义相似度找最近邻,支撑 RAG、推荐、相似去重等场景;它补的是关键词匹配覆盖不到的语义相似性。

概念解释

  • 嵌入向量:内容的数值表示。
  • 最近邻:相似度排序。
  • 语义相似:非字面匹配。

原理流程

  1. 内容经嵌入模型向量化。
  2. 向量入库建索引。
  3. 查询向量检索最近邻。

代码 / 图示

内容 → 嵌入模型 → 向量入库 → 查询向量 → 相似度最近邻

常见误区

  • 误区:向量检索替代关键词搜索;正解:两者互补,混合检索见 12.3.1.4-008。
  • 误区:向量相似度等于事实正确;正解:只表示语义相近,答案准确性由后续流程保证。

追问

  • Q:RAG 链路位置? A:见 12.3.1.4-009。
  • Q:嵌入模型见哪分册? A:10 分册 LLM/RAG 章节。

12.3.1.4-002 向量库的定位是什么?

一句话结论

向量库存储向量与元数据,提供相似度索引、过滤与检索接口;可专用产品,也可在现有关系库中扩展向量类型;选型按规模、过滤需求与运维能力判断。

概念解释

  • 向量存储:向量 + 元数据。
  • 索引:加速最近邻。
  • 检索接口:查询与过滤。

原理流程

  1. 写入向量与元数据。
  2. 构建相似度索引。
  3. 按查询返回近邻。

代码 / 图示

向量 + 元数据 → 索引构建 → 相似度检索 + 过滤

常见误区

  • 误区:向量库是大模型本身;正解:它是存储检索层,模型负责生成嵌入。
  • 误区:所有向量场景都需专用库;正解:小规模可复用现有库扩展。

追问

  • Q:可观察类别? A:Milvus、Qdrant、pgvector 类,具体以文档为准。
  • Q:pgvector 定位见哪条? A:12.3.1.4-006。

12.3.1.4-003 相似度度量有哪些口径?

一句话结论

常见度量:余弦相似度(方向)、内积(方向+模长)、欧氏距离(空间距离);度量需与嵌入模型训练口径一致,选错度量会降低召回;具体支持按产品核实。

概念解释

  • 余弦:夹角相似,忽略模长。
  • 内积:综合方向与模长。
  • 欧氏:向量空间距离。

原理流程

  1. 确认嵌入模型口径。
  2. 选匹配度量。
  3. 检索按度量排序。

代码 / 图示

余弦 / 内积 / 欧氏;与模型训练口径一致 → 相似度排序

常见误区

  • 误区:度量可随意替换;正解:模型向量空间特性决定适用度量。
  • 误区:距离越小一定越好;正解:按度量方向解释结果。

追问

  • Q:归一化后余弦与内积关系? A:向量归一化后两者排序等价,具体按实现。
  • Q:度量在哪配置? A:建索引/集合时指定,变更需重建。

12.3.1.4-004 向量索引有哪些类型?

一句话结论

方向:暴力全量扫描(小数据量)、基于图的近邻索引(HNSW 类)、倒排聚类索引(IVF 类);各有召回率、内存与构建/查询权衡;具体索引参数按产品文档核实(待确认)。

概念解释

  • 暴力:全量计算,准确但慢。
  • 图索引:近邻图导航。
  • 聚类索引:先分桶再桶内搜。

原理流程

  1. 按数据规模选索引。
  2. 权衡召回与内存/速度。
  3. 调参验证召回质量。

代码 / 图示

暴力扫描 / HNSW 类图索引 / IVF 类聚类索引;召回 × 内存 × 速度

常见误区

  • 误区:索引类型对结果无影响;正解:近似索引牺牲部分召回换性能。
  • 误区:参数一次固定;正解:需按数据量与召回要求调参。

追问

  • Q:近似最近邻是什么? A:不保证返回绝对最近,平衡速度与召回。
  • Q:召回与内存怎么权衡? A:图索引层级/连接参数影响两者。

12.3.1.4-005 元数据过滤怎么配合向量检索?

一句话结论

向量常带标量元数据(分类、时间、权限等),检索时先过滤再向量排序,或向量检索后过滤;过滤顺序影响性能与召回;需确认产品支持的过滤方式与索引配合。

概念解释

  • 标量过滤:元数据条件。
  • 前置/后置过滤:过滤时机。
  • 权限过滤:按访问范围检索。

原理流程

  1. 写入向量附带元数据。
  2. 查询带过滤条件。
  3. 过滤与向量排序配合。

代码 / 图示

向量 + 元数据 → 过滤条件 → 前置/后置向量排序

常见误区

  • 误区:向量检索天然带权限隔离;正解:需在过滤条件中实现权限约束。
  • 误区:后置过滤不影响结果;正解:候选不足时后置过滤会减少命中。

追问

  • Q:权限场景怎么做? A:元数据带归属/权限标签,检索强制过滤。
  • Q:过滤与索引配合? A:按产品支持核对是否有标量索引优化。

12.3.1.4-006 pgvector 的定位与局限是什么?

一句话结论

pgvector 在 PostgreSQL 内提供向量类型与索引,复用现有关系库栈与运维;局限在大规模召回、索引内存与专用优化能力;中小规模或已用 PG 的场景优先评估。

概念解释

  • 库内扩展:复用 PG 生态。
  • 规模局限:大规模向量召回/内存压力。
  • 复用优先:避免新增存储。

原理流程

  1. 现有 PG 加装扩展。
  2. 向量列 + 索引。
  3. 规模增长后评估专用化。

代码 / 图示

PG + pgvector:向量列/索引;中小规模复用;大规模召回/内存受限

常见误区

  • 误区:pgvector 可无限扩容到大规模;正解:召回与内存边界需实测。
  • 误区:加了向量列就具备向量库能力;正解:专用过滤/索引/批量能力可能不足。

追问

  • Q:什么时候从 pgvector 迁出? A:召回质量/吞吐/内存触顶,见 12.3.1.5。
  • Q:优势? A:事务、SQL 与现有运维复用。

12.3.1.4-007 专用向量库有哪些观察类别?

一句话结论

专用向量库类别:Milvus、Qdrant 等方向,侧重向量索引扩展、过滤、分布式部署与批量写入;各产品在规模、部署形态与生态上有差异,版本能力以官方文档为准(待确认)。

概念解释

  • 专用优化:向量索引与扩展。
  • 部署形态:单机/分布式。
  • 生态:SDK 与集成。

原理流程

  1. 核对规模与过滤需求。
  2. 评估部署与运维。
  3. PoC 验证召回与吞吐。

代码 / 图示

专用向量库类别 → 索引/过滤/部署核对 → PoC 验证

常见误区

  • 误区:专用库一定比 pgvector 好;正解:小规模复用现有栈更省成本。
  • 误区:产品列表代表当前能力;正解:以官方当前版本文档为准。

追问

  • Q:专用库额外提供什么? A:分布式扩展、批量写入、过滤索引等,按产品核实。
  • Q:待确认什么? A:最新版本特性与生产案例。

12.3.1.4-008 混合检索是什么?

一句话结论

混合检索结合向量语义召回与关键词/标量条件召回,再融合排序;兼顾语义相似与字面精确匹配;融合策略(加权/排序合并)与实现按场景设计,具体支持按产品核实。

概念解释

  • 多路召回:向量 + 关键词。
  • 融合排序:合并各路结果。
  • 互补:语义 + 精确匹配。

原理流程

  1. 向量路召回近邻。
  2. 关键词/过滤路召回。
  3. 融合排序输出。

代码 / 图示

向量召回 ∪ 关键词召回 → 融合排序 → 最终结果

常见误区

  • 误区:纯向量检索覆盖所有查询;正解:专有名词/编号字面匹配仍需关键词路。
  • 误区:融合权重固定最优;正解:按查询类型调优。

追问

  • Q:排序融合方法? A:加权分数/排名合并等,按实现选择。
  • Q:BM25 类关键词检索? A:传统倒排匹配,与向量路互补。

12.3.1.4-009 向量存储在 RAG 链路中处于什么位置?

一句话结论

RAG 中:文档切块 → 嵌入 → 向量库存取 → 查询检索片段 → 注入提示词;向量库负责片段检索,不负责生成答案;切片策略与嵌入质量直接影响召回。

概念解释

  • 切块:文档分段。
  • 入库:向量 + 原文片段。
  • 检索:返回相关片段。

原理流程

  1. 文档处理切块嵌入。
  2. 向量与原文入库。
  3. 检索片段供模型使用。

代码 / 图示

文档 → 切块/嵌入 → 向量库 → 检索片段 → 注入提示词

常见误区

  • 误区:向量库存原文全文;正解:存向量 + 片段引用,原文可另库存放。
  • 误区:检索到位答案就准;正解:切块、嵌入与重排都影响效果。

追问

  • Q:RAG 完整主题见哪分册? A:10 分册 RAG 章节。
  • Q:片段更新怎么处理? A:文档变更需重新嵌入并更新向量。

12.3.1.4-010 向量数据的更新与删除有什么特点?

一句话结论

向量随源文档变更需重新嵌入更新;删除需按标识清理向量与元数据;索引更新可能有合并/重构开销;具体更新删除效率与一致性按产品核实。

概念解释

  • 重新嵌入:内容变更后更新向量。
  • 标识关联:向量对应源片段。
  • 索引维护:更新触发索引调整。

原理流程

  1. 源内容变更。
  2. 重新嵌入并替换向量。
  3. 索引合并/更新。

代码 / 图示

内容变更 → 重新嵌入 → 替换向量/元数据 → 索引维护

常见误区

  • 误区:向量写入后无需维护;正解:文档过期会产生脏召回。
  • 误区:删除向量无残留;正解:需确认索引与元数据一致清理。

追问

  • Q:批量更新怎么做? A:按批次重建或 upsert,按产品接口。
  • Q:版本管理? A:可记录嵌入模型版本,便于回溯重算。

12.3.1.4-011 召回质量怎么评估?

一句话结论

评估口径:召回率/命中率、排序相关性、过滤准确率;用标注评测集对比不同索引/度量/切片策略;不固化具体数字,结论按自身评测集得出。

概念解释

  • 召回率:相关片段是否被找到。
  • 排序质量:相关结果排名靠前。
  • 评测集:标注的查询-相关对。

原理流程

  1. 构建标注评测集。
  2. 跑检索对比指标。
  3. 调优索引与策略。

代码 / 图示

评测集 → 召回/排序指标 → 索引/切片调优

常见误区

  • 误区:抽查几条结果判断质量;正解:需评测集覆盖典型查询。
  • 误区:向量距离低就相关;正解:相关性需人工/标注判断。

追问

  • Q:常见评测指标? A:命中率、召回率、排序排名指标,按场景选。
  • Q: bad case 怎么分析? A:区分嵌入、切片、索引与过滤问题。

12.3.1.4-012 向量规模与内存占用看什么?

一句话结论

内存/磁盘占用 = 向量数量 × 维度 × 单元素大小 + 索引与元数据开销;图类索引内存占用较高;扩容前估算规模并核对产品压缩与分片能力(待确认具体数字)。

概念解释

  • 向量体积:数量 × 维度 × 精度。
  • 索引开销:索引结构额外内存。
  • 分片扩展:水平拆分能力。

原理流程

  1. 估算向量数量与维度。
  2. 计入索引与元数据。
  3. 核对分片与压缩能力。

代码 / 图示

数量 × 维度 × 精度 + 索引/元数据 → 规模估算 → 分片/压缩核对

常见误区

  • 误区:只算向量本身大小;正解:索引结构内存常占大头。
  • 误区:维度越高越好;正解:维度影响体积与计算,按模型口径。

追问

  • Q:降维有用吗? A:有损压缩降体积,需评估召回损失。
  • Q:大规模怎么扩? A:按分片/分区水平扩展,按产品能力。

12.3.1.4-013 多模态向量怎么理解?

一句话结论

图像、音频等内容也可嵌入为向量参与相似检索;跨模态检索要求嵌入模型把不同模态映射到同一向量空间;多模态能力与模型支持按产品和模型核实(待确认)。

概念解释

  • 多模态:文本/图像/音频等。
  • 同空间:跨模态可比较。
  • 模型依赖:嵌入模型能力决定。

原理流程

  1. 各模态经对应模型嵌入。
  2. 同一向量空间存储。
  3. 跨模态相似度检索。

代码 / 图示

文本/图像/音频 → 多模态嵌入 → 同空间向量 → 跨模态检索

常见误区

  • 误区:文本向量库天然支持多模态;正解:需对应嵌入模型与格式支持。
  • 误区:跨模态相似度无误差;正解:模型能力决定对齐质量。

追问

  • Q:多模态模型见哪分册? A:10 分册 AI 应用章节。
  • Q:格式注意什么? A:媒体预处理与向量维度匹配。

12.3.1.4-014 向量检索与传统搜索怎么对比?

一句话结论

传统关键词搜索靠字面倒排匹配,精确可控;向量检索靠语义相似,覆盖表述差异;两者覆盖不同失败模式,生产常组合;按查询类型评估各自贡献。

概念解释

  • 关键词:字面匹配。
  • 向量:语义相似。
  • 互补:失败模式不同。

原理流程

  1. 分析查询类型。
  2. 对比两类召回覆盖。
  3. 组合成混合检索。

代码 / 图示

字面精确 → 关键词;语义差异 → 向量;组合混合检索

常见误区

  • 误区:向量检索取代搜索引擎;正解:关键词匹配在精确术语上不可替代。
  • 误区:搜索相关性只由算法决定;正解:内容组织与元数据同样关键。

追问

  • Q:全文搜索引擎见哪分册? A:05 分册存储检索相关章节。
  • Q:混合检索见哪条? A:12.3.1.4-008。

12.3.1.4-015 嵌入模型与向量维度怎么影响存储?

一句话结论

嵌入模型决定向量维度、语义质量与更新口径;维度越高体积越大;更换模型通常需全量重新嵌入;选型时把模型版本与向量数据绑定记录。

概念解释

  • 维度:向量长度。
  • 模型版本:语义口径。
  • 重新嵌入:换模型需重建。

原理流程

  1. 选定嵌入模型与维度。
  2. 向量数据记录模型版本。
  3. 换模型时全量重算。

代码 / 图示

模型 → 维度/质量;数据记录模型版本;换模型 → 全量重嵌入

常见误区

  • 误区:不同模型向量可混用检索;正解:不同模型向量空间不兼容。
  • 误区:嵌入模型升级无需重建;正解:需评估重嵌入成本。

追问

  • Q:维度与召回关系? A:高维度表达力强但体积大,按模型与场景平衡。
  • Q:怎么记录版本? A:元数据标注嵌入模型与版本号。

12.3.1.4-016 向量库部署与运维有什么观察点?

一句话结论

观察点:部署形态(单机/分布式)、索引构建与扩容、备份恢复、升级兼容性、监控(检索延迟/召回/内存);专用库引入需评估运维能力,不能只看检索接口。

概念解释

  • 部署形态:资源架构。
  • 索引维护:构建/扩容。
  • 运维接入:备份/监控/升级。

原理流程

  1. 核对部署资源形态。
  2. 评估索引与扩容流程。
  3. 接入监控与备份。

代码 / 图示

部署形态 → 索引/扩容 → 备份/监控/升级 → 运维评估

常见误区

  • 误区:向量库上线即稳定;正解:索引重建与扩容需运维流程。
  • 误区:备份可参照普通库;正解:索引结构可能需特殊备份口径。

追问

  • Q:扩容怎么做? A:按分片/副本水平扩展,按产品机制。
  • Q:监控关键指标? A:检索延迟、召回质量、内存与写入积压。

12.3.1.4-017 pgvector 与专用向量库怎么选?

一句话结论

优先评估现有 PG + pgvector:规模小、需事务与 SQL 复用、团队无新运维负担;向量规模/召回/内存触顶后再评估专用库;决策基于实测规模与评测集,而非产品宣传。

概念解释

  • 复用优先:现有栈与运维。
  • 触顶指标:召回/吞吐/内存。
  • 实测决策:自身评测集。

原理流程

  1. 估算向量规模与查询。
  2. pgvector PoC 验证。
  3. 触顶再评估专用库。

代码 / 图示

小规模/复用 PG → pgvector;规模/召回/内存触顶 → 专用库评估

常见误区

  • 误区:一开始就上专用库;正解:复用现有栈成本更低。
  • 误区:专用库迁移无痛;正解:数据迁移、重新嵌入与运维需规划。

追问

  • Q:迁移触发指标? A:内存占用、召回率、查询延迟触达阈值。
  • Q:选型对照总表见哪条? A:12.3.1.5。

12.3.1.4-018 本页哪些产品现状属于待确认?

一句话结论

待确认:各向量产品最新版本、索引算法参数、分布式能力与生产案例;度量与机制原理稳定,具体能力采用前查官方文档并记录验证点。

概念解释

  • 版本能力:随版本演进。
  • 索引参数:调优空间。
  • 案例:一手反馈。

原理流程

  1. 标记变化项。
  2. 列官方文档入口。
  3. 采用前复核。

代码 / 图示

版本 / 索引能力 / 分布式 / 案例 → 官方文档 + 评测集核实

常见误区

  • 误区:把召回宣传数字当保证;正解:自身评测集实测为准。
  • 误区:生态现状不变化;正解:向量领域演进快,结论带时间前提。

追问

  • Q:面试怎么答向量库题? A:讲嵌入、索引、度量、过滤与 pgvector/专用库边界。
  • Q:下次更新看什么? A:索引算法、模型维度与生产案例。