罗罗编程学习记录
本页内容 展开查看

05.5.2.3 Elasticsearch 倒排索引与查询流程

所属:全栈开发面试题库 / 05 数据库与存储 / 05.5 NoSQL 与专用存储 / 05.5.2 文档、搜索与向量存储

覆盖范围

  • 倒排索引结构与分析器(分词/过滤)
  • 写入流程:refresh、segment、不可变与 merge、flush/translog
  • 查询流程:协调节点、分片归并、BM25 打分
  • term/match、bool 查询、聚合、mapping、doc_values
  • 深分页、写入优化、相关性调优与 ES 定位边界

写入与读取主线

写入:文档 → 分析器分词 → 内存 buffer + translog → refresh 生成 segment → 可搜索
查询:协调节点 → 各分片查询打分 → 归并排序 → 取 TopN 返回
segment 不可变;后台 merge 合并小段、清理删除标记

高频题速览

编号 题目 难度 频率
05.5.2.3-001 倒排索引结构 进阶 ★★★★★
05.5.2.3-002 分析器链路 进阶 ★★★★☆
05.5.2.3-003 写入与 refresh 高级 ★★★★☆
05.5.2.3-005 NRT / flush / translog 高级 ★★★★☆
05.5.2.3-007 BM25 打分 高级 ★★★★☆
05.5.2.3-008 term vs match 基础 ★★★★★
05.5.2.3-012 doc_values / fielddata 高级 ★★★☆☆
05.5.2.3-013 深分页 进阶 ★★★★☆

05.5.2.3-001 倒排索引是什么结构?

频率 ★★★★★ | 难度 进阶

一句话结论

倒排索引从词项(term)映射到包含该词的文档列表(posting list),使关键词查找不必逐文档扫描。

概念解释

  • 词典(term dictionary):所有出现过的词项。
  • 倒排表(posting list):每个词项对应的文档 id、词频、位置等。
  • 正排:文档 → 字段值;倒排:词 → 文档,检索走倒排。

原理流程

文档1: "red car"   文档2: "blue car"
倒排:red → [doc1];car → [doc1,doc2];blue → [doc2]
查 "car" → posting list → doc1,doc2

代码 / 命令

// 查看索引分词倒排结构(_termvectors)
GET /products/_termvectors/1
{ "fields": ["name"] }

常见误区

  • 误区:倒排索引就是 B 树。正解:它是词→文档映射结构,含词典与倒排表,底层有压缩存储。
  • 误区:数值范围查询靠倒排词项。正解:数值用 BKD 索引,文本走倒排。

追问

  • 问:posting list 里存什么?答:文档 id、词频、位置/偏移等打分与高亮所需信息。
  • 问:倒排为什么适合全文检索?答:词项直接定位文档,不用遍历全量文档。

05.5.2.3-002 分析器(analyzer)处理流程是什么?

频率 ★★★★☆ | 难度 进阶

一句话结论

分析器按 字符过滤 → 分词器(tokenizer)→ 词元过滤(token filter)顺序把文本切成可索引的词项。

概念解释

  • character filter:清洗原始字符(去标签、替换)。
  • tokenizer:切分成词元。
  • token filter:小写化、停用词、词干提取、同义词等。
  • 索引与查询:两侧使用同一分析器才能匹配。

原理流程

原始文本 → char filter → tokenizer 切词 → token filter 处理 → term 入倒排

代码 / 命令

// 查看分析结果
POST /_analyze
{ "analyzer": "standard", "text": "Red Cars are fast" }

常见误区

  • 误区:中文用 standard 就能良好分词。正解:中文需专门分词器(如 IK 类插件),按版本可用插件核对。
  • 误区:查询时分词无关紧要。正解:查询词也会被分析,两侧不一致导致匹配失败。

追问

  • 问:keyword 类型经过分词吗?答:不分词,整体作为一个词项存储。
  • 问:同义词在哪配置?答:token filter 同义词词典,索引/查询策略按需求选择。

05.5.2.3-003 写入时 segment 和 refresh 是怎么回事?

频率 ★★★★☆ | 难度 高级

一句话结论

新文档先写内存 buffer 与 translog,refresh 后生成可搜索的内存 segment;默认每秒 refresh,因此 ES 是近实时(NRT)。

概念解释

  • memory buffer:新文档暂存,refresh 前不可搜索。
  • segment:倒排索引的不可变文件单元。
  • refresh:buffer 内容生成新 segment 并打开搜索。

原理流程

index 文档 → buffer + translog
refresh(默认 1s)→ 生成 segment → 可被搜索

代码 / 命令

PUT /products/_settings
{ "index": { "refresh_interval": "1s" } }

// 手动 refresh
POST /products/_refresh

常见误区

  • 误区:写入立即可被搜到。正解:需等 refresh 生成 segment,存在秒级延迟。
  • 误区:segment 一直在内存可修改。正解:segment 不可变,更新删除先打标记。

追问

  • 问:批量导入为什么调大 refresh_interval?答:减少频繁生成小段,提升写入吞吐。
  • 问:segment 越多有什么问题?答:搜索需合并多段结果,资源上升,靠 merge 整理。

05.5.2.3-004 segment 不可变,更新删除怎么实现?

频率 ★★★☆☆ | 难度 高级

一句话结论

segment 不可变;删除先写 .del 墓碑标记,更新是删旧文档 + 写新文档;后台 merge 合并段并物理清理标记文档。

概念解释

  • 墓碑(tombstone):被删文档标记,查询时跳过。
  • 更新:旧文档标记删除,新文档写入新 segment。
  • merge:合并小段、清理墓碑,生成紧凑新段。

原理流程

删除/更新 → 标记旧文档 → 新文档入新段
后台 merge → 合并段 → 丢弃墓碑文档 → 提交新段

代码 / 命令

// 强制合并(谨慎,通常由自动 merge 完成)
POST /products/_forcemerge?max_num_segments=1

常见误区

  • 误区:删除文档立即释放磁盘。正解:墓碑存在,merge 后才物理回收。
  • 误区:forcemerge 日常应频繁执行。正解:它消耗 IO/CPU,多用于只读索引整理。

追问

  • 问:频繁更新为什么产生大量墓碑?答:每次更新旧版标记删除,merge 压力上升。
  • 问:merge 分哪些类型?答:常规层级合并与强制合并,按版本机制核对。

05.5.2.3-005 flush、translog 和 NRT 是什么关系?

频率 ★★★★☆ | 难度 高级

一句话结论

refresh 保证近实时可搜索(内存段);flush 把内存段落盘并清空 translog;translog 记录未落盘操作,崩溃后重放防丢。

概念解释

  • NRT(近实时):refresh 间隔内写入暂不可搜。
  • translog:操作日志,flush 前崩溃可重放。
  • flush:段持久化到磁盘,清空 translog。

原理流程

写入 → translog + buffer
refresh → 内存段可搜(未落盘)
flush → 段落盘 → 清 translog
崩溃 → 重放 translog 恢复

代码 / 命令

POST /products/_flush
GET /products/_stats/translog

常见误区

  • 误区:refresh 等于数据落盘。正解:refresh 只生成可搜内存段,落盘靠 flush。
  • 误区:有 translog 就永不丢数据。正解:translog 本身也需持久化,崩溃窗口按配置核对。

追问

  • 问:translog 多久落盘?答:按 index.translog.durability 配置(request/async),数值按版本核对。
  • 问:flush 频繁好吗?答:flush 落盘有 IO 成本,由系统按策略触发。

05.5.2.3-006 查询在集群里怎么执行和归并?

频率 ★★★☆☆ | 难度 进阶

一句话结论

协调节点把查询发到相关分片,各分片本地打分取 TopN,协调节点归并全局排序后返回;聚合也由分片本地计算后合并。

概念解释

  • 协调节点(coordinating):接收请求、路由、归并。
  • 分片本地:执行查询与打分,返回候选 TopN。
  • 归并:协调节点合并各分片结果重排。

原理流程

请求 → 协调节点 → 广播/定向分片 → 各片 TopN → 归并排序 → 返回

代码 / 命令

GET /products/_search
{ "query": { "match": { "name": "phone" } }, "size": 10 }

常见误区

  • 误区:协调节点存全部数据。正解:它只做路由与归并,数据在分片。
  • 误区:各分片返回全部匹配文档。正解:分片先取本地 TopN,协调节点再全局排序。

追问

  • 问:深分页为什么贵?答:各分片需取前 from+size 条,归并成本随页码上升。
  • 问:聚合怎么分片计算?答:分片先本地 bucket/统计,协调节点二次合并。

05.5.2.3-007 BM25 是怎么打分的?

频率 ★★★★☆ | 难度 高级

一句话结论

BM25 综合词频(TF)、逆文档频率(IDF)与字段长度归一化:词在文档越常见、在全库越稀有、文档越短,得分越高。

概念解释

  • TF:词在当前文档出现次数,饱和增长。
  • IDF:词越稀有权重越高,常见词(停用词)压低。
  • 字段长度归一:短字段命中权重相对更高。

原理流程

查询词 → 各分片计算 BM25 分 → 综合 TF/IDF/长度 → 归并排序

代码 / 命令

GET /products/_search
{ "query": { "match": { "name": "phone cover" } } }
# 命中结果按 _score 排序

常见误区

  • 误区:出现次数越多分越高无上限。正解:BM25 TF 饱和,避免长文档靠重复词刷分。
  • 误区:所有词权重相同。正解:稀有词 IDF 高,常见通用词权重低。

追问

  • 问:怎么提升特定文档权重?答:字段加权、boost、业务得分函数。
  • 问:BM25 与向量相似度区别?答:BM25 词项精确匹配;向量算语义相似度,可混合。

05.5.2.3-008 term 查询和 match 查询有什么区别?

频率 ★★★★★ | 难度 基础

一句话结论

term 不做分词,精确匹配词项;match 先对查询词分析分词再匹配,适合全文检索。

概念解释

  • term:原始词项精确匹配,用于 keyword、数值、布尔、枚举。
  • match:查询文本经分析器分词后查询。
  • 混用坑:对 text 字段用 term 查未分词原值常查不到。

原理流程

term "Red"  → 倒排找精确词项 "Red"
match "Red cars" → 分析为 red/cars → 匹配含任一词的文档

代码 / 命令

// keyword 字段精确匹配
GET /products/_search
{ "query": { "term": { "status": "sold" } } }

// text 字段全文检索
GET /products/_search
{ "query": { "match": { "name": "red phone" } } }

常见误区

  • 误区:term 对 text 字段也会分词。正解:term 不分析,text 已被分词存储,原值匹配不到。
  • 误区:match 是精确等于。正解:match 是分词后相关性匹配。

追问

  • 问:match_phrase 是什么?答:按顺序连续出现的短语匹配。
  • 问:多词 match 默认逻辑?答:默认 OR,可用 operator: and 要求全部命中。

05.5.2.3-009 bool 查询的 must/should/filter/must_not 怎么用?

频率 ★★★☆☆ | 难度 进阶

一句话结论

must 必须命中并参与打分;should 可选命中加分;filter 必须命中但不打分(可缓存);must_not 排除。

概念解释

  • must:相关 + 打分。
  • should:提升相关性,可选。
  • filter:过滤条件,不计分,结果可缓存。
  • must_not:排除。

原理流程

bool → 各子句组合:过滤收窄 → must/should 打分排序

代码 / 命令

GET /products/_search
{
  "query": {
    "bool": {
      "must":   [ { "match": { "name": "phone" } } ],
      "filter": [ { "term": { "status": "on" } } ],
      "should": [ { "match": { "brand": "A" } } ],
      "must_not": [ { "term": { "deleted": true } } ]
    }
  }
}

常见误区

  • 误区:过滤条件也参与相关性打分。正解:filter 不计分,适合结构化过滤。
  • 误区:should 子句必须命中。正解:无 must 时 should 至少命中一个;有 must 时仅加分。

追问

  • 问:filter 为什么快?答:不计算打分,命中结果可被缓存复用。
  • 问:must 与 filter 怎么选?答:需要影响排名用 must;只做条件过滤用 filter。

05.5.2.3-010 聚合分哪两类?bucket 和 metric?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

bucket 按字段/区间分组(如按类目分桶);metric 在桶内计算指标(count/avg/sum/最大最小),可嵌套组合。

概念解释

  • bucket:terms、range、date_histogram 分组。
  • metric:avg、sum、max、min、cardinality。
  • 嵌套:桶下再挂指标子聚合。

原理流程

查询命中文档 → bucket 分组 → 每组算 metric → 返回分组与指标

代码 / 命令

GET /orders/_search
{
  "size": 0,
  "aggs": {
    "by_cat": {
      "terms": { "field": "category" },
      "aggs": { "avg_amount": { "avg": { "field": "amount" } } }
    }
  }
}

常见误区

  • 误区:聚合取的是当前返回 size 内文档。正解:聚合作用于查询命中全集,size:0 只返聚合。
  • 误区:聚合字段必须是 text。正解:分组/排序聚合用 keyword 或 doc_values 支持类型。

追问

  • 问:cardinality 是什么精度?答:近似去重计数,HyperLogLog 类,可配置精度。
  • 问:日期直方图怎么按周期分组?答:date_histogram 设 interval/calendar_interval。

05.5.2.3-011 mapping 与 dynamic 怎么理解?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

mapping 定义字段类型与索引方式;dynamic 控制新字段是否自动加入映射,动态映射方便但易产生不合理字段类型。

概念解释

  • 字段类型:text/keyword/数值/日期/布尔/嵌套等。
  • dynamic: true:新字段自动推断加入映射。
  • dynamic: false/strict:忽略新字段或报错。

原理流程

写入文档 → 检查 mapping → 动态字段按规则加入或拒绝

代码 / 命令

GET /products/_mapping

PUT /products
{
  "mappings": {
    "dynamic": "strict",
    "properties": {
      "name": { "type": "text" },
      "sku":  { "type": "keyword" }
    }
  }
}

常见误区

  • 误区:字段类型可以随时随意改。正解:已建字段类型修改需 reindex 新索引。
  • 误区:text 和 keyword 随便选。正解:text 分词检索,keyword 精确/排序/聚合。

追问

  • 问:一个字段既能检索又能精确聚合怎么办?答:多字段 fields:text + keyword 子字段。
  • 问:动态映射把数值识别错怎么办?答:提前定义 mapping,避免推断成字符串。

05.5.2.3-012 doc_values 和 fielddata 有什么区别?

频率 ★★★☆☆ | 难度 高级

一句话结论

doc_values 是列式正向存储,支持排序/聚合/脚本,默认开启;fielddata 是 text 字段在内存中加载的词项结构,开销大,默认关闭。

概念解释

  • doc_values:正排列存,磁盘上构建,服务排序聚合。
  • fielddata:text 字段聚合时加载到内存,易堆内存压力。
  • 选择:排序聚合用 keyword/doc_values;text 一般不开 fielddata。

原理流程

排序/聚合 → doc_values 取正向值
text 聚合 → fielddata 内存加载(谨慎开启)

代码 / 命令

// text 字段下挂 keyword 用于聚合
"name": { "type": "text", "fields": { "kw": { "type": "keyword" } } }

常见误区

  • 误区:text 字段直接聚合很正常。正解:text 默认无 doc_values,开 fielddata 内存成本高。
  • 误区:doc_values 占内存堆。正解:doc_values 在堆外/磁盘列存,按系统结构核对。

追问

  • 问:聚合报错 fielddata 未开启?答:改用 keyword 子字段,不要轻易开 text fielddata。
  • 问:doc_values 能关闭吗?答:可关闭,但会失去排序聚合能力,按字段权衡。

05.5.2.3-013 深分页有哪些方案?

频率 ★★★★☆ | 难度 进阶

一句话结论

from + size 深分页各分片取前 from+size 再归并,页码越大越贵;深翻页用 search_after 按上页排序值续翻,或 scroll 批量导出。

概念解释

  • from/size:浅分页方便,深分页成本高。
  • search_after:基于上一页最后一条排序游标,无固定页码。
  • scroll:快照批量拉取,适合导出,不适合实时深翻。

原理流程

from=10000&size=10 → 各片取 10010 条 → 归并后取 10
search_after → 带上页排序值 → 从游标继续取

代码 / 命令

GET /products/_search
{
  "size": 10,
  "sort": [{ "createdAt": "desc" }, { "_id": "asc" }],
  "search_after": [1732000000, "abc123"]
}

常见误区

  • 误区:scroll 适合用户连续翻页。正解:scroll 是快照导出,保持上下文,不适合实时交互。
  • 误区:search_after 能跳页。正解:它只能顺序向后翻,依赖唯一排序游标。

追问

  • 问:排序为什么要加唯一 tie-breaker?答:排序值相同时用 _id 保证游标稳定。
  • 问:深分页性能上限受什么限制?答:分片数量、归并内存与排序成本。

05.5.2.3-014 写入吞吐怎么优化?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

用 bulk 批量写入、增大批量、调低刷新频率、避免频繁更新、合理副本数与段合并策略,在写入吞吐与可搜索延迟间权衡。

概念解释

  • bulk:合并请求减少网络与协调开销。
  • refresh_interval:导入期调大减少小段生成。
  • 副本:导入期可临时减副本,写完恢复。
  • mapping:提前定义,避免动态推断开销。

原理流程

批量 bulk → 减少 refresh 次数 → 段更少更大 → 导入完成恢复配置

代码 / 命令

PUT /logs/_settings
{ "index": { "refresh_interval": "30s", "number_of_replicas": 0 } }

POST /logs/_bulk
{ "index": { "_id": "1" } }
{ "msg": "event-1" }

常见误区

  • 误区:bulk 批次越大越好。正解:批次过大占用内存/堆,需按压测确定批量。
  • 误区:导入期关闭副本无风险。正解:导入完成前副本冗余不足,需窗口内补齐。

追问

  • 问:频繁 update 为什么写入慢?答:旧版墓碑 + 新文档,段与 merge 压力大。
  • 问:写入拒绝/队列满看什么?答:线程池/写队列指标与 bulk 拒绝日志。

05.5.2.3-015 相关性不达标怎么调优?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

从分析器分词、字段权重、查询结构(match/phrase/boost)、同义词与业务得分函数入手,用命中率/排序评价迭代。

概念解释

  • 分词:同义词、词干、停用词影响召回。
  • 权重:核心字段 boost 更高。
  • 查询:短语匹配、must/should 组合、function_score 业务分。

原理流程

收集 bad case → 分析分词/打分 → 调权重/查询 → 复测排序结果

代码 / 命令

GET /products/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "name": { "query": "phone", "boost": 2 } } },
        { "match": { "desc": "phone" } }
      ]
    }
  }
}

常见误区

  • 误区:调 boost 能解决分词错误。正解:召回问题先修分析器,权重只影响排序。
  • 误区:相关性一次调到位。正解:需基于真实查询与点击/反馈迭代。

追问

  • 问:怎么评估检索质量?答:召回率、精确率、TopN 点击/相关标注。
  • 问:商品类目过滤和排序怎么结合?答:filter 收窄类目,should/boost 在相关集内排序。

05.5.2.3-016 和关系库全文索引相比有什么区别?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

ES 分布式倒排、分词、相关性打分与聚合能力强;关系库全文索引功能有限,复杂检索、大规模全文场景选 ES。

概念解释

  • ES:倒排 + 分析器 + 打分 + 分布式聚合。
  • 关系库:自带全文索引能力弱,分词与排序功能受限。
  • 定位:ES 做检索层,数据主存关系库,同步索引。

原理流程

关系库为主数据 → 变更同步到 ES → 检索请求打 ES

代码 / 命令

// ES 侧检索;关系库全文索引按各自方言
GET /products/_search { "query": { "match_all": {} } }

常见误区

  • 误区:ES 可以当主数据库存权威数据。正解:ES 是检索派生视图,主数据在业务库。
  • 误区:关系库全文索引能替代 ES 分布式能力。正解:规模与相关性功能差距明显。

追问

  • 问:数据怎么同步到 ES?答:业务双写、binlog 订阅(Canal/Debezium)或 CDC 管道。
  • 问:ES 和 DB 不一致怎么办?答:重试、补偿重建索引,接受短暂最终一致。

05.5.2.3-017 对 text 字段用 term 查询为什么查不到?

频率 ★★★☆☆ | 难度 进阶

一句话结论

text 字段写入时已被分词成多个词项,term 用未分词原值精确匹配,找不到对应词项;应改用 match 或查 keyword 子字段。

概念解释

  • 分词存储:"Red Car" 存为 red、car 等词项。
  • term 原值:查 "Red Car" 需存在完整词项,通常没有。
  • 正确做法:match 走分析,或用 .keyword 精确匹配。

原理流程

写入 text → 分词 → 倒排词项
term "Red Car" → 找完整词项 → 无命中
match "Red Car" → 分词后匹配 → 命中

代码 / 命令

// 错误:text 字段 term 原值
{ "term": { "name": "Red Car" } }
// 正确:match
{ "match": { "name": "Red Car" } }
// 正确:keyword 子字段精确匹配
{ "term": { "name.keyword": "Red Car" } }

常见误区

  • 误区:term 就是等于查询,所有字段通用。正解:term 不分析,只适合已分词前的词项/keyword。
  • 误区:查询词大小写敏感问题。正解:分析器小写化后,原值大小写也会导致不匹配。

追问

  • 问:怎么确认字段被分成哪些词?答:_analyze 或 _termvectors 查看词项。
  • 问:既要全文检索又要精确匹配怎么办?答:text + keyword 多字段设计。

05.5.2.3-018 为什么 ES 一般不作为主数据库?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

ES 面向检索与分析,事务、更新一致性、磁盘 durability 与强约束能力弱于关系库;作为派生检索视图,主数据应落在业务库。

概念解释

  • 写入近实时:refresh 延迟,非事务即时可见。
  • 更新代价:不可变段 + 墓碑,频繁更新效率低。
  • 一致性:分布式副本最终一致,不做强事务约束。

原理流程

业务库:权威数据 + 事务
ES:检索副本,由同步管道维护

代码 / 命令

GET /products/_search { "query": { "match_all": {} } }

常见误区

  • 误区:ES 能直接承接订单账务等强一致写。正解:这类数据应在关系库/事务型存储。
  • 误区:ES 删除更新即时回收空间。正解:墓碑 + merge,物理回收滞后。

追问

  • 问:哪些场景 ES 可作主存?答:日志、内容检索等可重建、弱事务数据,按风险评估。
  • 问:ES 数据丢了怎么办?答:从主库/日志重建索引,不依赖 ES 作为唯一副本。

参考来源