罗罗编程学习记录
本页内容 展开查看

10.1.1.2 Embedding 与向量语义

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.1 LLM 基础 / 10.1.1 模型与推理基础

10.1.1.2-001 什么是 embedding,解决什么问题?

一句话结论

embedding 是把离散符号(词、句子、文档、图像)映射成固定维度稠密向量的表示方法,让语义相近的内容在向量空间中距离更近,从而支持相似度计算、聚类与检索。

概念解释

  • 离散符号无法直接计算语义相似度,向量把语义关系变成几何关系。
  • 同一表示空间内,相近向量对应相近语义。
  • embedding 是检索、推荐、聚类、RAG 召回的基础组件。

原理流程

  1. 内容(文本/图像/结构化对象)输入表示模型。
  2. 模型输出一个固定长度的浮点向量。
  3. 向量入库,检索时用查询向量与库内向量算相似度。

代码 / 图示

"退货流程"  →  [0.12, -0.03, 0.88, ..., 0.41]  (维度由模型决定)

常见误区

  • 误区:embedding 就是关键词编号;正解:编号是离散 one-hot,embedding 是稠密连续向量,携带可比较的语义信息。
  • 误区:向量每一维都对应一个可解释概念;正解:多数维度是分布式表示,单维含义通常不可直接解读。

追问

  • Q:embedding 在哪里产生? A:由专门的 embedding 模型或 LLM 的隐藏层产出,用途不同选用的模型与维度也不同。
  • Q:向量能直接送给 LLM 当输入吗? A:不能直接当文本输入;在 RAG 中向量用于检索文本片段,片段再以文字形式进入 prompt。

10.1.1.2-002 文本如何从字符映射到向量?

一句话结论

文本先经 tokenizer 转 id 序列,embedding 层把每个 id 查成向量,再经上下文模型聚合成句子/文档级向量;句子向量是对各 token 表示的上下文聚合结果。

概念解释

  • 词向量:单个 token 的静态或上下文相关表示。
  • 句向量:整段文本经过编码器后的聚合向量。
  • 不同聚合方式(池化、注意力、解码器输出)产生不同语义侧重。

原理流程

  1. tokenize 得到 id 序列。
  2. 查表得到初始 token 向量。
  3. 编码器建模上下文关系。
  4. 池化/聚合输出整句向量。

代码 / 图示

文本 → ids → token 向量 → 上下文编码 → 池化 → 句向量

常见误区

  • 误区:句向量就是词向量取平均;正解:平均只是简单基线,现代句向量模型经过对比学习或上下文编码优化,直接平均质量有限。
  • 误区:字符本身被映射成数字;正解:映射发生在 token id 到向量之间,字符不直接对应坐标。

追问

  • Q:同一词在不同句子里向量一样吗? A:上下文相关编码器给出的表示随语境变化;静态词向量则固定,方案以所用模型为准。
  • Q:长文本怎么得到文档向量? A:先切分再分别编码,或用支持长输入的模型整体编码;超长文档通常分段后做聚合,细节见 RAG 章节。

10.1.1.2-003 词向量与句向量、文档向量有什么区别?

一句话结论

粒度不同:词向量表示单个词/子词,句向量表示整段短文本语义,文档向量表示长文档主题;检索场景要保证查询与被检索内容使用同一粒度和同一模型。

概念解释

  • 词向量:用于词汇相似度、序列建模。
  • 句向量:用于短文本匹配、问答召回。
  • 文档向量:长文本主题表示,常由分段向量聚合得到。

原理流程

  1. 按检索对象选择目标粒度。
  2. 查询与库内内容用同一粒度编码。
  3. 在同一向量空间比较相似度。

代码 / 图示

词: "退款"  → 词向量
句: "如何申请退款"  →句向量
文档: 整篇售后手册  →分段向量聚合

常见误区

  • 误区:拿词向量去检索整段文档;正解:粒度不一致会导致空间不匹配,召回质量差。
  • 误区:文档向量一个就够;正解:长文档主题分散,分段向量通常比单条文档向量更适合定位具体条款。

追问

  • Q:查询很短、文档很长怎么对齐? A:用句向量模型对查询和文档片段分别编码;必要时用混合检索与 rerank 补对齐。
  • Q:聚合分段向量用什么方式? A:均值池化、加权池化或保留分段独立入库,方案按任务验证,没有通用最优。

10.1.1.2-004 向量相似度用什么度量?余弦、内积、欧氏距离有什么区别?

一句话结论

常用余弦相似度、内积与欧氏距离:余弦只比较方向不看长度,内积同时受方向与模长影响,欧氏距离反映向量间绝对差距;度量必须与向量是否归一化、模型训练口径一致。

概念解释

  • 余弦相似度:夹角余弦,取值范围随定义不同,方向越接近越相似。
  • 内积:方向一致且模长大则得分高,未归一化时受模长影响。
  • 欧氏距离:直线距离,越近越相似。

原理流程

  1. 确认 embedding 模型配套的检索度量。
  2. 按需归一化向量。
  3. 用同一度量计算查询与候选得分并排序。

代码 / 示例

余弦:  cos(a,b) = (a·b) / (|a|·|b|)
内积:  a·b
欧氏:  |a - b|₂
归一化后内积与余弦等价

常见误区

  • 误区:三种度量可以随便换;正解:模型训练时面向哪种度量优化,就应配套哪种;归一化状态不同,得分不可直接比较。
  • 误区:向量模长没有意义;正解:未归一化时模长会进入内积得分,文档频率、编码方式都可能改变模长。

追问

  • Q:向量数据库默认用哪种? A:常见支持余弦、内积、欧氏等索引,具体可用度量以数据库文档为准,建表时需选定。
  • Q:什么时候必须归一化? A:使用内积度量且模型未自带归一化时;若用余弦或欧氏,按模型建议处理,避免混用。

10.1.1.2-005 向量维度高低如何取舍?

一句话结论

维度越高表达能力越强,但存储、计算与索引成本随之上升;应按模型提供的可用维度选择,并在召回质量与成本之间实测权衡,不盲目追求高维。

概念解释

  • 维度:每条向量的浮点个数。
  • 高维:语义区分度好,但向量库内存与距离计算开销大。
  • 低维:成本低,可能损失细节区分能力。

原理流程

  1. 选定 embedding 模型及其标准维度。
  2. 在评测集上对比不同维度/降维方案的召回质量。
  3. 结合存储预算与延迟要求定稿。

代码 / 图示

维度 ↑  → 表达能力 ↑、内存 ↑、检索耗时 ↑
维度 ↓  → 成本 ↓、区分能力可能 ↓

常见误区

  • 误区:维度翻倍质量就翻倍;正解:边际收益递减,超出模型有效维度后质量提升有限。
  • 误区:维度可以事后任意截断而不掉点;正解:截断丢掉的维度承载语义,需在评测集上验证损失。

追问

  • Q:降维有哪些手段? A:模型自带低维输出、PCA/量化等后处理;后处理方案必须与检索口径一起验证。
  • Q:维度对索引选型有影响吗? A:有,高维向量对索引结构与内存占用更敏感,建库前按维度评估 ANN 方案。

10.1.1.2-006 embedding 空间中的距离与语义是什么关系?

一句话结论

训练目标让语义相近、用途相近的样本在空间中靠近,让不相关样本远离;但距离只在同一模型空间内有意义,近邻不等于事实正确,仍需业务校验。

概念解释

  • 相似性由训练数据与目标函数决定(对比学习、词共现等)。
  • 空间中还可能聚出主题、风格、语气等隐含维度。
  • 向量近邻是召回线索,不是答案本身。

原理流程

  1. 模型在语料上学习相近样本靠近、相远样本远离。
  2. 新文本映射到同一空间。
  3. 近邻检索出候选,再交下游判断。

代码 / 图示

空间近邻 → 语义相关候选 → rerank / LLM 核对 → 最终答案

常见误区

  • 误区:距离最近就一定最相关;正解:近邻可能只是话题表面相似,具体答案仍要看片段内容与证据。
  • 误区:不同模型的向量距离阈值可以通用;正解:空间口径不同,阈值必须按各自模型与业务样本标定。

追问

  • Q:如何验证空间是否符合预期? A:构造同义词/反义词、上下位词样本对,检查近邻排序是否符合直觉,并用召回评测量化。
  • Q:聚类能用来做什么? A:对文档向量聚类可发现主题分布、识别重复与离群样本,但簇标签仍需人工或模型解读。

10.1.1.2-007 什么是向量归一化,什么时候必须做?

一句话结论

归一化把向量缩放到单位模长,使得分只反映方向;使用内积做度量、或模型要求单位向量时必须归一化,否则模长差异会污染相似度排序。

概念解释

  • L2 归一化:v / |v|。
  • 归一化后内积等于余弦相似度。
  • 入库与查询两侧必须用同一处理口径。

原理流程

  1. 得到原始向量。
  2. 按度量要求决定是否归一化。
  3. 库内与查询向量统一处理后再算相似度。

代码 / 示例

v_norm = v / sqrt(Σ vᵢ²)
未归一化就用内积 → 模长大的样本可能排名虚高

常见误区

  • 误区:归一化是可选项随手做;正解:度量口径要求不一致时,归一化与否会改变排序,属于必须对齐的配置。
  • 误区:只归一化查询向量就行;正解:库内向量与查询向量要同口径,单边归一化反而失真。

追问

  • Q:模型输出已经是单位向量怎么办? A:先确认文档说明;重复归一化数学上不改变单位向量,但要避免与库内既有向量口径不一致。
  • Q:欧氏距离需要归一化吗? A:取决于模型训练口径,部分句向量面向欧氏距离优化,是否归一化按模型建议执行。

10.1.1.2-008 句向量模型与 LLM 输出 embedding 是什么关系?

一句话结论

专门的句向量模型面向检索/对比目标训练,输出适合相似度匹配;LLM 隐藏层也能取向量,但不一定面向检索优化,直接抽取的表示需要实测验证才能用于召回。

概念解释

  • 句向量模型:对比学习或检索任务训练,目标就是拉近相关对、推远无关对。
  • LLM 隐藏状态:面向下一个 token 预测训练,语义分布不一定适合聚类排序。
  • 二者空间不互通,不能混库检索。

原理流程

  1. 明确用途:检索匹配优先选专用 embedding 模型。
  2. 若用 LLM 取向量,在评测集上对比召回表现。
  3. 全库与查询保持同一来源模型。

代码 / 图示

专用 embedding 模型 → 检索空间
LLM 隐藏层向量     → 需验证后才能入库
两类向量不可混算相似度

常见误区

  • 误区:LLM 那么强,取最后一层向量检索一定最好;正解:训练目标不同,隐藏层向量未必适合相似度排序,必须评测。
  • 误区:可以把旧模型向量和新模型向量放一个库;正解:空间不同,混用会导致排序失真,换模型需全量重编码。

追问

  • Q:怎么判断 LLM 向量能不能用? A:用标注的相关/无关样本对算召回率与近邻命中率,与专用模型基线对比。
  • Q:LLM 向量适合做什么? A:可用于内部表示分析、特征喂给下游分类器等场景;检索主链路通常仍用专用 embedding。

10.1.1.2-009 为什么 embedding 不能跨模型直接比较?

一句话结论

每个模型训练出的空间坐标系、维度与语义分布都不同,向量之间没有共同基准;跨模型直接算相似度没有意义,换模型必须全量重建向量库。

概念解释

  • 坐标无关语义:相近是空间内部关系,跨空间不可比。
  • 维度可能不同,数学上都无法直接相减。
  • 模型升级、版本更新都可能改变空间。

原理流程

  1. 旧模型向量冻结在旧空间。
  2. 新模型产出新空间向量。
  3. 切换时对全量文档重新编码入库,不做混合。

代码 / 图示

旧库向量(模型 A 空间)  ×  与 新查询向量(模型 B 空间)比较
正确: 全部用 B 重编码后再检索

常见误区

  • 误区:两个模型维度一样就能互通;正解:维度相同只是数学前提,空间分布与语义基准仍不同。
  • 误区:加个线性映射就能无缝迁移;正解:跨空间对齐需要专门训练,普通线性变换不能保证检索质量。

追问

  • Q:模型升级期间怎么做平滑迁移? A:双库并行,新旧向量分别检索并对照评测,切换后清理旧库;具体方案按数据量与窗口安排。
  • Q:同一家厂商小版本升级会变空间吗? A:以发布说明为准;只要模型版本变更影响 embedding,就应回归评测并准备重编码。

10.1.1.2-010 向量数据库存什么、检索什么?

一句话结论

向量库存原始文本/元数据与对应向量,检索时先用查询向量做 ANN 近邻召回,再带回原始片段与元数据供下游使用;向量库不负责理解答案,只做相似度召回与过滤。

概念解释

  • 存储项:向量、原文片段、标题、来源、时间、权限标签等元数据。
  • 检索流程:向量化查询 → 相似度召回 top-k → 元数据过滤 → 返回候选。
  • 元数据过滤常与向量召回组合使用。

原理流程

  1. 文档切片后编码,连同元数据入库。
  2. 查询编码为向量。
  3. ANN 索引召回近邻,叠加标量过滤。
  4. 返回片段交 rerank 或 LLM。

代码 / 图示

入库: { chunk_id, text, vector, source, tags, permission }
检索: query_vector + 过滤条件 → top-k chunks

常见误区

  • 误区:向量库存答案;正解:库存片段与向量,答案由 LLM 基于片段生成。
  • 误区:向量检索不能带条件;正解:可结合元数据过滤(来源、时间、权限),过滤能力取决于数据库实现。

追问

  • Q:元数据有什么用? A:支持按部门、文档类型、有效期、权限范围过滤,也便于回溯引用来源。
  • Q:召回后为什么还带原文? A:向量本身不可读,必须拿回原文片段才能交给 LLM 阅读与引用。

10.1.1.2-011 什么是 rerank?为什么召回后还要重排?

一句话结论

rerank 用更精细的交叉编码器对召回的少量候选与查询做联合打分,修正向量召回的粗排序;召回求快求全,重排求准,二者是两级检索链路。

概念解释

  • 召回(retrieval):向量 ANN 或关键词检索,从海量库中取宽 top-k。
  • 重排(rerank):查询与候选拼接后输入重排模型,输出相关度分数。
  • 重排模型计算更重,只处理少量候选。

原理流程

  1. 向量/关键词召回 top-k(k 可较大)。
  2. 候选送入 rerank 模型逐条打分。
  3. 按重排分排序,取前 n 进入 prompt。

代码 / 图示

库内百万片段 → ANN 召回 50 → rerank 精排 5 → 进入 LLM

常见误区

  • 误区:向量排序已经很准,不需要 rerank;正解:向量是双塔独立编码,细节匹配弱于交叉编码,复杂查询常需重排补偿。
  • 误区:rerank 可以召回新片段;正解:rerank 只对已召回候选排序,召回不足时重排也救不回来。

追问

  • Q:rerank 模型也输出向量吗? A:多数重排模型直接输出相关度分数,不产出可入库向量;接口形式以具体模型为准。
  • Q:重排阈值怎么定? A:在标注样本上看重排分与相关性分布,按任务定截断名次或分数阈值,不要照搬默认值。

10.1.1.2-012 embedding 空间能表达哪些关系?

一句话结论

空间可表达语义相近、上下位、同义反义、主题聚类等关系;经典的向量类比(A 减 B 加 C)只在部分空间成立,工程上以近邻检索与聚类为主,不依赖单维可解释性。

概念解释

  • 相近关系:同义、近义、相关主题靠近。
  • 结构关系:空间方向上可能编码属性差异。
  • 分布式表示:概念由多个维度共同刻画。

原理流程

  1. 构造关系样本对观察近邻。
  2. 用聚类看主题分布。
  3. 把验证过的关系用于检索或标签归纳。

代码 / 图示

类比示例(仅在满足条件的空间成立):
vec(国王) - vec(男) + vec(女) ≈ vec(女王)
工程主流: 近邻检索 + 聚类 + 标签聚合

常见误区

  • 误区:每个维度对应一个属性;正解:属性通常分布式编码,单维难以解释。
  • 误区:类比运算通用稳定;正解:该现象依赖模型与语料,不能作为生产链路的可靠依据。

追问

  • Q:怎么发现空间里的隐含主题? A:对向量聚类并人工解读簇内高频词,再反向验证簇内文档是否同质。
  • Q:反义词语义相近还是相远? A:取决于训练目标,反义词常因共现而距离不远,不能默认反义一定远离,需实测。

10.1.1.2-013 多语言、跨语言 embedding 要注意什么?

一句话结论

跨语言检索要求查询与文档语言不同时仍能对齐到同一语义空间;应选用面向多语言训练的模型,并验证跨语言样本对的召回表现,不能拿单语模型直接跨语言匹配。

概念解释

  • 单语模型:空间只覆盖本语言语义。
  • 多语模型:不同语言的对应语义映射到相近位置。
  • 跨语言样本:中文查询找英文文档,或反之。

原理流程

  1. 确认模型支持的语言与跨语言能力。
  2. 构造跨语言相关/无关评测对。
  3. 验证召回排序后再建库。

代码 / 图示

中文查询 "退款"  → 多语空间 ← 英文文档 "refund policy"
单语模型: 两语言不在同一空间,无法对齐

常见误区

  • 误区:多语言模型只是词表大;正解:关键是训练语料与对齐目标让跨语言语义进入同一空间。
  • 误区:小语种效果与英语一致;正解:低资源语言覆盖通常较弱,需单独抽样验证。

追问

  • Q:混合语言文档怎么编码? A:用支持混排的模型,并在混排样本上测试;片段内语言切换不应破坏整体语义。
  • Q:跨语言检索召回差怎么排查? A:分别检查单语内召回与跨语言召回,判断是模型跨语言能力不足还是切片质量问题。

10.1.1.2-014 维度截断或降维的代价是什么?

一句话结论

降维减少存储与计算,但会丢弃部分区分信息;代价是近邻排序精度下降,具体损失必须在评测集上量化,不能只凭存储收益决定。

概念解释

  • 直接截断:取前若干维,丢弃尾部维度的信息。
  • 投影降维:用变换压缩到低维,保留主结构。
  • 量化:牺牲精度换取更小体积与更快检索。

原理流程

  1. 确定存储与延迟预算。
  2. 在评测集上对比原维度与降维方案的召回指标。
  3. 选质量损失可接受、成本达标的方案。

代码 / 图示

原维 1024 → 截断 256: 内存约 1/4,召回率需重新评测

常见误区

  • 误区:前几维最重要所以直接砍后面;正解:维度重要性并非按顺序排列,随意截断可能损失关键区分信息。
  • 误区:降维后阈值不用调;正解:空间压缩后分数分布变化,相似度阈值需重新标定。

追问

  • Q:量化与降维是一回事吗? A:不是,降维改变向量维度,量化用更少位数表示数值;二者可组合使用,精度损失分别评估。
  • Q:什么时候不必降维? A:数据量小、内存充裕时保留模型标准维度,优先保证召回质量。

10.1.1.2-015 检索时 top-k、相似度阈值怎么定?

一句话结论

top-k 控制召回宽度,阈值控制分数下限;二者应在标注样本上按召回率与噪声比例标定,宽召回再交 rerank 收窄,而不是凭默认值固定。

概念解释

  • top-k:返回最近邻数量,过大引入噪声,过小漏掉相关片段。
  • 阈值:低于分数的候选直接丢弃。
  • 两级参数:召回 k 较宽,重排后 n 较窄。

原理流程

  1. 标注一批查询的相关片段集合。
  2. 扫不同 k 与阈值,看召回率与候选噪声。
  3. 结合 rerank 容量与上下文预算定稿。

代码 / 示例

召回: top-k = 20~50(宽)
重排后: 取 top-n = 3~8(窄)
阈值: 按分数分布与误召回样本标定

常见误区

  • 误区:k 越大越好;正解:宽到一定程度都是无关片段,还挤占上下文、增加 rerank 成本。
  • 误区:分数高于 0.5 就一定相关;正解:分数口径随模型与度量变化,阈值必须用本业务样本标定。

追问

  • Q:召回率不足怎么调? A:先加大 k、检查切片与 query 改写,再看是否需要混合关键词检索;单纯提阈值只会更差。
  • Q:候选噪声多怎么调? A:先看 rerank 是否生效,再收紧阈值或优化 embedding/切片,不要直接把无关片段塞进 prompt。

10.1.1.2-016 embedding 模型升级或更换后怎么迁移?

一句话结论

换模型属于空间切换,必须对全量文档重新编码、重建索引,并用双库并行与评测回归完成迁移;旧向量不能与新向量混算。

概念解释

  • 迁移对象:向量库、索引、阈值、top-k 配置。
  • 并行期:新旧两套检索结果对照。
  • 回归:用既有评测集对比召回质量。

原理流程

  1. 新模型编码全量文档建新库。
  2. 旧库线上、新库影子跑,对比召回与最终回答。
  3. 达标后切流,下线旧库与旧向量。

代码 / 图示

旧库 A(模型 X)  ←并行对照→  新库 B(模型 Y)
切换: 流量切到 B → 回归通过 → 删除 A

常见误区

  • 误区:只把新查询用新模型编码就行;正解:库内向量不重编码,新旧空间仍不可比。
  • 误区:迁移后沿用旧阈值;正解:新模型分数分布不同,阈值与 k 都要重新标定。

追问

  • Q:全量重编码成本高怎么办? A:按文档优先级分批重编码,低优先级文档延后;并行期保证查询两侧都能检索。
  • Q:迁移期间如何保证可回滚? A:保留旧库与旧索引一段时间,出现质量回退可切回;记录两次模型版本与配置。

10.1.1.2-017 结构化字段如何向量化?

一句话结论

枚举、类别、数字等结构化字段通常更适合标量过滤或单独编码;需要语义匹配时可转成文本描述再编码,或把字段拼进文档文本一起向量化,避免硬把数值塞进通用文本空间。

概念解释

  • 精确字段:状态、地区、编号、时间 → 元数据过滤。
  • 语义字段:名称、描述、备注 → 文本编码。
  • 混合方式:向量召回 + 标量条件过滤。

原理流程

  1. 区分字段是精确匹配还是语义匹配。
  2. 精确字段入库为元数据,语义字段进入文本编码。
  3. 查询时组合过滤条件与向量召回。

代码 / 图示

过滤: status = "open" AND region = "CN"
向量: 对 description 文本编码
组合: 先过滤再召回,或召回后过滤

常见误区

  • 误区:所有字段都该向量化;正解:编号、状态等精确匹配字段向量化反而失去确定性,应走过滤。
  • 误区:数字直接当向量维度输入;正解:数值字段应按业务规则处理(分桶、范围过滤或文本描述),不是塞进 embedding。

追问

  • Q:类别名想做语义召回怎么办? A:把类别描述写成自然语言再编码;层级类别可连同父类路径一起入文本。
  • Q:结构化数据量大怎么设计? A:宽表字段进元数据,长文本描述进向量,检索链路分两段:过滤缩小范围,向量挑相关。

10.1.1.2-018 向量检索与关键词检索(BM25)如何配合?

一句话结论

向量检索擅长语义近似,关键词检索擅长精确词、专名、编号匹配;二者互补,常见做法是两路召回后融合排序(混合检索),再交 rerank。

概念解释

  • 向量召回:同义改写、概念相关能命中。
  • 关键词/BM25:词面匹配、术语、代码标识符、数字串敏感。
  • 融合:按权重或排名合并两路结果。

原理流程

  1. 查询同时走向量通道与关键词通道。
  2. 各自召回候选。
  3. 用排名融合(如按名次加权)合并去重。
  4. 交 rerank 精排。

代码 / 图示

query ─┬─ 向量 ANN ─┐
       └─ BM25    ├─ 融合去重 → rerank → top-n

常见误区

  • 误区:上了向量检索就可以放弃关键词;正解:术语、型号、错误码等精确词面匹配,纯向量容易漏召回。
  • 误区:两路分数直接相加;正解:分数口径不同,通常按排名名次融合或分别归一化后加权,方案需实测。

追问

  • Q:什么时候关键词检索更重要? A:代码检索、法规条款、产品型号、错误码等词面强匹配场景。
  • Q:融合有哪些常见策略? A:名次加权融合、分数归一化加权等,具体实现以检索框架为准,权重在评测集上调。

10.1.1.2-019 什么是近似最近邻(ANN),为什么需要它?

一句话结论

ANN 是在可接受的精度损失下用索引结构加速近邻检索的方法;全量暴力比较在大规模向量库上延迟不可接受,ANN 用聚类、图索引、哈希等结构把搜索范围缩小。

概念解释

  • 暴力检索:逐条算距离,库越大越慢。
  • ANN:索引结构加速,允许少量漏召。
  • 召回质量与索引参数(连通度、搜索宽度等)可调权衡。

原理流程

  1. 入库时按索引结构组织向量。
  2. 查询时沿索引图/桶跳转邻近区域。
  3. 比较候选并返回近似 top-k。

代码 / 图示

百万向量: 暴力 O(N) 逐条算距离
ANN: 图/聚类/哈希索引 → 只比较局部候选集

常见误区

  • 误区:ANN 结果和暴力检索完全一致;正解:近似方法可能漏掉个别近邻,召回率低于全量比对,参数可调回更精确但更慢。
  • 误区:索引建好就不用管;正解:数据增长、向量更新后索引需重建或增量维护,效果与内存占用要定期观察。

追问

  • Q:常见索引类型有哪些? A:基于图的索引、倒排聚类、乘积量化等,名称与适用规模以向量数据库文档为准。
  • Q:如何评估 ANN 漏召? A:用暴力检索结果作基线,对比 ANN 的召回率与延迟,调索引参数平衡二者。

10.1.1.2-020 工程上 embedding 批量调用要注意什么?

一句话结论

批量编码注意批次大小、速率限制、重试与幂等、向量落库前校验维度与归一化口径;长文本切片后分批编码,并记录模型版本便于追溯。

概念解释

  • 批次:单次请求编码多条文本,吞吐更高但受接口限制。
  • 限制:速率、单日配额、单批长度各有上限。
  • 一致性:同批向量口径统一,版本可追溯。

原理流程

  1. 切片文本分批排队。
  2. 批量调用 embedding 接口,限速重试。
  3. 校验返回维度、模长与口径。
  4. 落库并记录模型版本与批次时间。

代码 / 示例

for batch in chunks(batch_size):
    vectors = embed(batch, model=固定版本)
    校验维度 == 目标维度
    按口径归一化(如需要)
    写入向量库,记录 model_version

常见误区

  • 误区:批量失败整批重跑不影响一致性;正解:部分成功时要按条记录状态,避免重复入库或漏编码。
  • 误区:向量库混放不同批次模型版本;正解:元数据记录模型版本,换版本时能识别哪些文档需要重编码。

追问

  • Q:embedding 接口限流怎么办? A:控制并发与批次大小,配合指数退避重试;大批量任务走异步队列,不阻塞在线请求。
  • Q:如何校验编码结果异常? A:检查空向量、维度不符、模长极端值;抽样比对近邻是否符合业务直觉,异常批次重编码。