10.3.2.2 混合检索与 rerank
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.3 RAG 检索增强 / 10.3.2 检索与增强
10.3.2.2-001 为什么要做混合检索?
一句话结论
向量检索擅长语义相近但可能漏掉精确术语、编号、专有名词;关键词检索(BM25)擅长字面精确匹配但不理解同义表达;两者互补召回,混合后候选覆盖更全,再统一融合排序。
概念解释
- 向量召回:语义相似。
- 关键词召回:字面匹配(术语、编号、人名)。
- 互补:同义与精确两类需求都覆盖。
原理流程
- 查询同时走向量与关键词两路。
- 各自召回候选。
- 融合去重后交 rerank 精排。
代码 / 图示
查询 ──┬─ 向量召回 top-k
└─ BM25 召回 top-k
→ 融合去重 → rerank → top-n 进上下文
常见误区
- 误区:向量检索够准不需要关键词;正解:产品型号、条款编号等精确串靠关键词匹配更稳。
- 误区:关键词检索过时了;正解:在结构化术语与精确匹配场景仍然不可替代。
追问
- Q:什么场景混合收益最大? A:术语多、编号多、同义表述并存的业务文档。
- Q:两路召回数量怎么分配? A:按各自表现调整,先给相近上限再在评测集上收敛。
10.3.2.2-002 BM25 的基本原理是什么?
一句话结论
BM25 在 TF-IDF 基础上用词频饱和与文档长度归一化打分:词频越高贡献越大但有上限,长文档按长度归一避免占便宜;适合词项精确匹配排序,依赖分词与倒排索引。
概念解释
- 词频饱和:高频词贡献递减。
- 逆文档频率:罕见词区分度高。
- 长度归一:抵消长文档词项多的优势。
原理流程
- 文本与查询分词建倒排。
- 按词项计算 BM25 得分。
- 求和得到文档相关性排序。
代码 / 图示
score = Σ IDF(词) × 词频饱和(词, 文档) / 长度归一
常见误区
- 误区:BM25 能理解同义改写;正解:它只匹配字面词项,同义不同写法匹配不上。
- 误区:中文不分词也能跑 BM25;正解:中文需要分词或 n-gram 切分才能有效匹配。
追问
- Q:BM25 参数调什么? A:词频饱和参数与长度归一参数,具体取值按检索库实现与语料调优。
- Q:BM25 适合过滤吗? A:适合作为一路召回,精确归属过滤仍走元数据字段。
10.3.2.2-003 向量分与关键词分如何融合?
一句话结论
常见两种:加权融合(两路分数归一化后按权重相加)与 RRF(按排名倒数融合,不依赖分数绝对值);RRF 免去分数归一化难题、对分值尺度差异稳健,加权融合需要校准两路分数量纲。
概念解释
- 加权:归一化分数 + 权重。
- RRF:排名融合,1/(k+rank) 累加。
- 归一化:不同打分尺度需对齐。
原理流程
- 两路得到候选与排名。
- 按 RRF 或加权合并。
- 去重后输出融合排序。
代码 / 示例
RRF: score(d) = Σ 1/(k + rank_i(d))
加权: score = w_v·norm(vector) + w_b·norm(BM25)
常见误区
- 误区:两路原始分数直接相加;正解:量纲不同,直接相加会被一侧尺度主导。
- 误区:RRF 能体现分数强弱;正解:RRF 只用排名,区分度在名次而非分值差距。
追问
- Q:权重怎么定? A:在标注集上对比不同权重/RRF 常数的召回与排序质量。
- Q:RRF 的常数 k 起什么作用? A:调节名次衰减强度,取值按库约定与评测调整。
10.3.2.2-004 什么是 rerank(重排),为什么需要它?
一句话结论
粗召回(向量/BM25)速度快但精度有限,rerank 模型(cross-encoder)把查询与候选块成对输入深度打分,判断真实相关性;先宽召回保覆盖,再精排取少量高质量片段进上下文。
概念解释
- 粗召回:多路快速召回较多候选。
- 精排:成对编码逐候选打分。
- 目的:提升进入上下文的片段相关性。
原理流程
- 召回 top 50~100 候选。
- rerank 逐对打分排序。
- 取 top 5~10 进生成上下文。
代码 / 图示
召回 50~100 → rerank(query, chunk) 成对打分 → top 5~10
常见误区
- 误区:rerank 替代召回;正解:召回负责覆盖,rerank 只对已有候选排序,漏召无法补救。
- 误区:所有候选都过 rerank;正解:rerank 成本高,只对召回后的候选池精排。
追问
- Q:cross-encoder 和双塔嵌入什么区别? A:双塔预先编码块可快速检索,cross-encoder 查询块联合编码更准但需在线成对计算。
- Q:rerank 取多少条? A:按上下文预算与问题复杂度定,评测集对比 top-n 答案质量。
10.3.2.2-005 rerank 模型与嵌入模型有何区别?
一句话结论
嵌入(双塔)把查询与文档分别编码成向量,支持预计算与快速近邻;rerank(cross-encoder)将查询和候选拼在一起联合建模,交互更充分、打分更准,但不能预计算、在线成本高;两者分工不同,可由不同模型承担。
概念解释
- 双塔:独立编码,向量可入库。
- 交叉编码:联合输入,交互特征丰富。
- 分工:召回用双塔,精排用交叉编码。
原理流程
- 块预先过嵌入双塔入库。
- 查询在线编码找粗候选。
- 候选过 rerank 交叉编码精排。
代码 / 图示
嵌入: doc → 向量(预计算); query → 向量; 近邻检索
rerank: (query, doc) 联合输入 → 相关性分
常见误区
- 误区:用嵌入模型分数当最终排序;正解:双塔交互弱,精排应配交叉编码或等效 rerank 能力。
- 误区:rerank 模型可以预先把块编码好;正解:交叉编码依赖查询配对,无法离线预计算块表示。
追问
- Q:rerank 也有语言/领域适配问题吗? A:有,同样需用自有样本验证中文与领域表现。
- Q:没有 rerank 模型怎么办? A:可用嵌入分数 + 关键词分 + 元数据因子组合排序作为过渡,但精度上限较低。
10.3.2.2-006 召回池大小与最终进上下文条数怎么定?
一句话结论
召回池要覆盖可能相关的块(宁宽勿漏),rerank 后最终条数按上下文预算与任务复杂度取舍;两个阶段的数量分别在评测集上验证:池太小漏召,最终条数太多引入噪声、占满上下文。
概念解释
- 召回池:rerank 输入规模。
- 最终条数:进入生成上下文的片段数。
- 权衡:覆盖 vs 噪声与预算。
原理流程
- 调召回池大小看 Recall@k。
- 调最终条数看答案质量与上下文占用。
- 按任务固化默认配置。
代码 / 图示
召回池 50~100 → rerank → 最终 5~10(按预算)
常见误区
- 误区:召回池越小越快越好;正解:池小导致漏召,rerank 再准也救不回来。
- 误区:进上下文的片段越多答案越全;正解:无关片段稀释注意力、挤占预算,反而降低质量。
追问
- Q:多跳问题最终条数要更多吗? A:可能需要,但应分步检索而非一次堆入大量片段。
- Q:条数按什么指标调? A:答案忠实度与相关性,结合上下文长度占用观察。
10.3.2.2-007 元数据过滤在混合检索的哪一层执行?
一句话结论
权限、状态、产品等硬约束在召回前过滤候选范围,向量与关键词都在过滤后的集合内检索;不能把元数据约束放到 rerank 阶段降权,更不能让无权块进入候选池。
概念解释
- 前置过滤:召回前收敛范围。
- 硬约束:不满足即排除。
- 不可后置:安全与时效约束必须前置。
原理流程
- 查询带身份与业务过滤条件。
- 两路检索先应用过滤。
- 融合精排只在合法候选内进行。
代码 / 图示
filter(权限/状态/产品) → 向量召回 + 关键词召回 → 融合 → rerank
常见误区
- 误区:元数据分数在 rerank 里加权即可;正解:无权/过期内容必须排除,不能靠低权重压住。
- 误区:两路过滤实现不一致;正解:向量与关键词索引都要应用同一套过滤条件。
追问
- Q:过滤条件字段缺失怎么办? A:关键字段缺失的块不放入默认候选,标记补齐。
- Q:过滤后候选太少怎么排查? A:先查标签覆盖率与取值归一,而非放宽安全过滤。
10.3.2.2-008 多路候选如何去重与归一?
一句话结论
同一文档块被多路同时召回时按块 ID 去重保留最佳排名;父子块、重叠块识别关联关系避免重复展示;融合前统一候选标识,去重后再进 rerank,防止同一依据重复占位。
概念解释
- 块 ID 去重:同一物理块合并。
- 关联去重:父子/重叠块归并展示。
- 标识统一:两路结果可对照。
原理流程
- 两路结果按块 ID 合并。
- 关联块标记父子/重叠关系。
- 去重后交精排与上下文组装。
代码 / 图示
向量候选 ∪ 关键词候选 → 按 chunk_id 去重 → 关联块归并 → rerank
常见误区
- 误区:同一块出现多次提高权重;正解:重复占位挤掉其他相关块,还放大单一来源。
- 误区:父块子块都作为独立候选展示;正解:按父子关系选择进上下文的粒度。
追问
- Q:跨文档相同段落怎么去重? A:按近重复归并,保留权威来源,详见语料治理子页。
- Q:去重后排名怎么算? A:取两路中最好名次或融合分,按融合策略确定。
10.3.2.2-009 关键词检索在中文场景要注意什么?
一句话结论
中文需要分词或 n-gram 才能建立有效倒排;专业术语、缩写、编号维护同义词表;分词错误会直接漏匹配,中文混合检索要单独评估关键词一路的命中率。
概念解释
- 分词:词语切分影响倒排项。
- 同义词:术语与别名映射。
- 评估:中文关键词路单独看命中。
原理流程
- 选择中文分词策略。
- 维护术语/同义词词典。
- 评测关键词路漏召情况。
代码 / 图示
中文文本 → 分词/n-gram → 倒排; 术语别名 → 同义词扩展
常见误区
- 误区:中文按单字建索引就够;正解:单字匹配噪声大,分词或合适 n-gram 组合更稳。
- 误区:缩写不用处理;正解:别名/缩写不一致会导致关键词路漏召。
追问
- Q:分词器选错影响大吗? A:大,专业词被切碎会降低精确匹配,需用领域词典校正。
- Q:同义词扩展有什么风险? A:过度扩展引入歧义词,应在评测集上验证。
10.3.2.2-010 检索结果排序可以结合哪些因子?
一句话结论
相关性因子(向量分、BM25 分、rerank 分)为主,元数据因子(来源等级、时效性、块类型、权威性)为辅助;权重在标注集上调优,安全与状态类因子走过滤而非排序加权。
概念解释
- 相关因子:各路线打分。
- 辅助因子:来源、时效、类型。
- 分离:硬约束过滤,软因子排序。
原理流程
- 粗排融合相关性分。
- rerank 精排相关性。
- 辅助因子在不改变相关性主序前提下微调。
代码 / 示例
final = rerank_score + w1·source_level + w2·recency
硬约束: 过滤, 不参与加权
常见误区
- 误区:来源等级权重压过相关性;正解:权威但不相关的块不应排到相关块之前。
- 误区:用排序因子弥补过滤缺失;正解:权限/时效硬约束不能靠加权解决。
追问
- Q:时效性因子怎么计算? A:按生效时间与当前时间衰减,具体曲线按业务要求调。
- Q:排序因子需要可解释吗? A:需要,权重与来源要能说明,便于复盘错误排序。
10.3.2.2-011 rerank 失败或不可用时如何降级?
一句话结论
rerank 服务故障时降级为召回融合排序(嵌入分 + BM25 + 元数据因子),保证链路可用;降级结果标注质量档位,高风险场景可转人工或收紧候选范围,不静默降低精度却无标记。
概念解释
- 降级路径:无 rerank 的融合粗排。
- 标记:结果质量档位可见。
- 兜底:高风险链路人工介入。
原理流程
- 检测 rerank 可用性。
- 不可用切降级排序。
- 记录降级状态与影响范围。
代码 / 图示
rerank 正常 → 精排; 故障 → 融合粗排(降级标记)
高风险 → 人工/收紧候选
常见误区
- 误区:rerank 挂了链路直接报错;正解:应保留降级检索,优先保证可用。
- 误区:降级结果与正常结果无区分;正解:下游应知道精排缺失,避免高估答案可靠性。
追问
- Q:降级期间如何监控? A:观察召回指标与用户反馈,服务恢复后回归。
- Q:rerank 延迟过高怎么办? A:限制候选池大小,或按问题优先级决定是否启用精排。
10.3.2.2-012 如何评估混合检索与 rerank 的效果?
一句话结论
分层评估:召回层看 Recall@k 与两路互补贡献,精排层看 MRR/NDCG 等排名指标,端到端看答案质量;分别对比纯向量、纯关键词、混合、混合+rerank 的配置,定位增益来自哪一路。
概念解释
- 召回指标:覆盖是否完整。
- 排名指标:相关块是否靠前。
- 端到端:最终答案可用度。
原理流程
- 标注集准备。
- 跑各配置对比指标。
- 归因增益环节。
代码 / 图示
纯向量 / 纯BM25 / 混合 / 混合+rerank
对比: Recall@k · MRR · NDCG · 答案忠实度
常见误区
- 误区:只看端到端答案;正解:不分解到召回与精排,无法定位是漏召还是排序差。
- 误区:混合一定优于单路;正解:需实测,部分简单场景单路已足够。
追问
- Q:NDCG 衡量什么? A:考虑排名位置的折损增益,相关块越靠前得分越高。
- Q:两路互补怎么量化? A:分别统计各路独有命中,看混合召回相对单路的提升。
10.3.2.2-013 查询过短或信息不全时检索怎么办?
一句话结论
短查询可能缺少限定条件,先做查询理解与改写补全(见 Query 改写子页),检索时结合元数据过滤与历史上下文;避免用残缺查询直接召回宽泛结果,必要时反问用户澄清。
概念解释
- 短查询:实体/条件不全。
- 补全:历史指代、隐含限定。
- 澄清:信息不足时反问。
原理流程
- 判断查询完整性。
- 结合历史与元数据补全。
- 无法补全时请求澄清。
代码 / 图示
短查询 → 指代消解/条件补全 → 检索; 仍缺关键条件 → 反问
常见误区
- 误区:直接拿短查询跑宽泛召回;正解:缺条件时召回结果发散,噪声多。
- 误区:所有歧义都靠模型猜;正解:关键限定缺失时反问比猜测更可靠。
追问
- Q:多轮对话短查询怎么补全? A:结合历史把指代替换为实体,详见 Query 改写子页。
- Q:检索结果过宽怎么识别? A:候选主题分散、相关性分普遍偏低,提示查询条件不足。
10.3.2.2-014 同义词与缩写如何提升关键词召回?
一句话结论
维护业务术语同义词表(全称/缩写/别名),查询与文档侧一致扩展;同义词纳入元数据或倒排,避免只靠向量理解;扩展词要受控,防止歧义词引入噪声。
概念解释
- 同义词表:术语与别名映射。
- 双侧一致:查询与文档用同一词典。
- 受控扩展:避免歧义词。
原理流程
- 收集术语与别名。
- 词典接入查询改写与索引。
- 评测扩展后命中与噪声。
代码 / 图示
"API" ↔ "接口"; "CPU" ↔ 处理器
查询扩展 + 文档侧术语归并
常见误区
- 误区:同义词越多召回越好;正解:歧义词扩展会引入不相关候选,需评测控制。
- 误区:只在查询侧扩展;正解:文档侧别名也要归一匹配。
追问
- Q:词典谁维护? A:业务确认术语,工程接入管线,新词定期评审补充。
- Q:英文缩写冲突怎么办? A:结合上下文与产品域消歧,不做全局同义映射。
10.3.2.2-015 检索延迟由哪些环节决定?
一句话结论
延迟包括查询编码、两路召回、融合去重、rerank 成对打分与网络往返;rerank 与候选池大小是主要可调项;生产要关注 P95/P99 延迟与并发下的表现,不只看平均耗时。
概念解释
- 各阶段耗时:编码/召回/融合/精排。
- 关键瓶颈:rerank 成对计算。
- 尾延迟:P95/P99 与并发抖动。
原理流程
- 分解各阶段耗时。
- 定位瓶颈环节。
- 调候选池、模型档位与缓存优化。
代码 / 图示
编码 → 两路召回 → 融合去重 → rerank(N 对) → 返回
P95/P99 + 并发压测
常见误区
- 误区:只看平均延迟;正解:长尾延迟决定用户体验,高峰期并发更需压测。
- 误区:rerank 候选越多越准且无成本;正解:候选池直接放大 rerank 计算量。
追问
- Q:哪些结果可缓存? A:稳定前缀与高频查询的召回/精排结果可缓存,缓存策略按更新频率定。
- Q:rerank 用更强模型一定更好? A:精度提升要与延迟成本权衡,按任务层级选型。
10.3.2.2-016 过滤条件与召回性能如何平衡?
一句话结论
选择性强的过滤字段应建索引/进向量库过滤支持;过滤过宽导致候选池大时,结合关键词路与元数据索引收敛;不要为了性能跳过权限或时效过滤,硬隔离优先于延迟。
概念解释
- 选择性:条件过滤掉的比例。
- 索引支持:过滤字段可快速收敛。
- 优先级:安全过滤不妥协。
原理流程
- 评估过滤字段选择性。
- 为高选择性字段建索引。
- 性能受限时优化索引而非放宽过滤。
代码 / 图示
权限/状态: 必须过滤; 高选择字段: 索引化
性能优化: 索引/缓存/召回池, 不放宽硬约束
常见误区
- 误区:过滤拖慢检索就先去掉;正解:权限与合规过滤不能作为性能牺牲项。
- 误区:所有元数据字段都建索引;正解:按选择性与查询频率取舍。
追问
- Q:过滤后索引利用不佳怎么办? A:确认库的前置过滤实现,必要时调整索引结构或分集合存储。
- Q:多条件过滤顺序? A:先高选择、硬约束条件收敛,再跑向量近邻。
10.3.2.2-017 如何发现并修正错误召回?
一句话结论
错误召回分漏召(应有未命中)与误召(命中但不相关):漏召查召回池与嵌入/分词,误召查排序与过滤;错题进入评测集回归,按环节归因修正,避免笼统归咎模型。
概念解释
- 漏召:正确块未进候选池。
- 误召:不相关块排进上下文。
- 归因:召回 / 排序 / 过滤 / 语料。
原理流程
- 回放查询与候选集合。
- 判断正确块位置:未召回 / 排序靠后 / 被过滤。
- 归环节修正并入回归集。
代码 / 图示
错题 → 正确块在候选池? 否: 漏召(嵌入/分词/语料)
是但靠后: 排序问题; 被过滤: 标签/过滤问题
常见误区
- 误区:误召多就降片段条数;正解:可能是排序或过滤问题,单纯减量治标不治本。
- 误区:漏召都换嵌入模型;正解:先排查分词、同义词、块切分与语料缺失。
追问
- Q:错题如何沉淀? A:标注正确块与错误类型,进检索评测集回归。
- Q:怎么区分误召与生成误用? A:候选中存在正确块但答案没用,属生成/上下文组装问题。
10.3.2.2-018 检索结果如何携带证据进入生成环节?
一句话结论
每个候选块随文本携带来源元数据(文档、章节、页码、块 ID、分数);生成 prompt 按排序拼装并保留编号映射,答案引用可回链到具体候选,不丢失证据出处。
概念解释
- 证据携带:块文本 + 元数据 + 分数。
- 编号映射:片段编号与来源对应。
- 回链:答案引用可追溯。
原理流程
- 召回结果结构化组装。
- 片段编号与元数据绑定。
- 生成后按编号回链引用。
代码 / 示例
[1] 块文本... 来源: doc, 章节, 页码
[2] ...
生成: 引用 [1], 展示层按元数据回链
常见误区
- 误区:只把块文本拼进 prompt;正解:缺元数据无法回链,也无法区分来源。
- 误区:编号在拼装后重新分配;正解:编号与来源映射要固定保留到答案阶段。
追问
- Q:候选分数要给模型看吗? A:可作为参考,但相关性判断仍以内容为准,避免模型唯分数是从。
- Q:片段超上下文预算怎么取舍? A:按排序与相关性截断,保留来源记录,详见上下文组装子页。
10.3.2.2-019 混合检索管线的常见配置参数有哪些?
一句话结论
关键配置:向量召回 k、关键词召回 k、融合方式与权重/RRF 常数、rerank 候选池、最终片段条数、过滤条件集合;参数按评测集与上下文预算确定,版本化记录,不写死在调用代码里。
概念解释
- 召回参数:各路 top-k。
- 融合参数:权重/常数。
- 精排参数:候选池、最终条数。
原理流程
- 抽取可配置参数集。
- 评测集调优固化默认值。
- 配置随管线版本管理。
代码 / 示例
vector_k: 50
bm25_k: 50
fusion: rrf
rerank_pool: 80
final_chunks: 6
常见误区
- 误区:参数凭直觉一次定死;正解:应在标注集上对比,并随语料变化回归复核。
- 误区:参数散落在代码各处;正解:集中配置管理,便于复核、切换与回归。
追问
- Q:不同任务用不同参数吗? A:按任务类型配置参数集,简单任务收紧候选,复杂任务放宽池。
- Q:参数变更要回归什么? A:重跑检索评测集,确认召回与排序指标不劣化。
10.3.2.2-020 混合检索落地清单是什么?
一句话结论
清单:向量与关键词两路召回、中文分词与同义词、融合去重、前置元数据过滤、rerank 精排、候选池与最终条数配置、排序因子分离、降级路径、分层指标评测、延迟与资源压测、参数版本化。
概念解释
- 召回:两路互补与去重。
- 精排:rerank 与因子排序。
- 运维:降级、压测、配置管理。
原理流程
- 搭两路召回与融合。
- 接 rerank 与过滤。
- 分层评测、压测后固化配置。
代码 / 图示
□ 两路召回 □ 分词/同义词 □ 融合去重 □ 前置过滤
□ rerank 精排 □ 条数配置 □ 因子分离 □ 降级路径
□ 分层评测 □ 延迟压测 □ 参数版本化
常见误区
- 误区:混合检索上线后不再调参;正解:语料与问题分布变化后,各路权重与条数要重新评测。
- 误区:只验证相关场景;正解:还要测权限隔离、过期排除与降级路径。
追问
- Q:下一环节衔接什么? A:查询改写、上下文预算与片段拼装,见 10.3.2.3。
- Q:检索质量怎么持续监控? A:线上抽样回看错题,回流评测集,跟踪召回与引用准确率。