罗罗编程学习记录
本页内容 展开查看

05.6.1.1 架构部署与集群运维

所属:全栈开发面试题库 / 05 数据库与存储 / 05.6 向量数据库与语义检索 / 05.6.1 Milvus

覆盖范围

  • Milvus 的定位、与 pgvector / Qdrant / ES 的差异
  • 2.x 架构:接入层、协调层、执行层、存储层四段职责与数据流
  • Standalone 与 Cluster 两种部署形态、依赖中间件、资源规划
  • segment、flush、compaction、负载均衡等运行期机制
  • 一致性等级、主键与写入路径、容量评估
  • 监控指标、故障排查、备份恢复、升级与多租户
  • 自建与云托管形态的取舍

架构主线

客户端 SDK
   ↓ gRPC / REST
Proxy(无状态接入、路由、结果归并)
   ↓
Coordinator(Root / Query / Data / Index:元数据与任务编排)
   ↓                        ↘
Query Node(段加载、检索执行)   Data Node(写入、落盘)
   ↓                        ↙
Index Node(异步构建索引)
   ↓
对象存储(段文件 / 索引文件) + 元数据存储(etcd) + 消息队列(日志流)

高频题速览

编号 题目 难度 频率
05.6.1.1-002 Milvus 2.x 组件职责划分 进阶 ★★★★★
05.6.1.1-005 消息队列在写入链路中的作用 高级 ★★★★☆
05.6.1.1-011 Standalone 与 Cluster 选型 进阶 ★★★★★
05.6.1.1-014 内存与磁盘容量估算 高级 ★★★★★
05.6.1.1-016 Query Node 副本数与吞吐 高级 ★★★★☆
05.6.1.1-020 growing / sealed segment 与 flush 高级 ★★★★★
05.6.1.1-023 一致性等级怎么选 高级 ★★★★☆
05.6.1.1-031 备份恢复方案 进阶 ★★★☆☆
05.6.1.1-040 Query Node OOM 排查 高级 ★★★★☆
05.6.1.1-048 一套完整的架构与容量设计 高级 ★★★★★

05.6.1.1-001 Milvus 的定位是什么,什么场景该选它?

频率 ★★★★★ | 难度 基础

一句话结论

Milvus 是面向十亿级向量规模、需要独立扩缩容与多租户的分布式向量数据库;数据量小或已在 PostgreSQL 体系内时,pgvector 往往更划算。

概念解释

  • 定位:专用向量数据库,负责向量存储、ANN 索引、标量过滤与近邻检索,不承担事务型业务主库职责。
  • 优势:水平扩展、索引与查询解耦、多索引类型、多租户与配额能力。
  • 代价:部署组件多、运维复杂度高、需要独立的一套监控与容量规划。

原理流程

选型判断:向量规模 → 更新频率 → 过滤复杂度 → 一致性要求 → 运维能力
规模大 + 高并发 → 独立向量库(Milvus / Qdrant)
已在 PG + 规模中等 → pgvector
关键词与语义都要 → ES / OpenSearch

代码 / 命令

# 面试表达模板
# 1) 说明数据规模与 QPS 目标  2) 说明过滤与多租户需求  3) 说明运维与成本约束
# 4) 给出候选库与取舍理由    5) 给出压测验证方式

常见误区

  • 误区:向量库可以替代业务主库。正解:业务数据仍关系型库持有,向量库只存向量与检索所需字段。
  • 误区:数据量小也上分布式向量库。正解:小规模用内嵌或 pgvector 更省运维成本。

追问

  • 问:Milvus 与 Faiss 的区别?答:Faiss 是算法库,无服务化、无元数据与多租户;Milvus 是完整数据库系统。
  • 问:什么时候会从 Milvus 退回 pgvector?答:向量规模与 QPS 下降、或希望减少一套中间件时。

05.6.1.1-002 Milvus 2.x 由哪些组件组成,各自职责是什么?

频率 ★★★★★ | 难度 进阶

一句话结论

2.x 按「接入层 Proxy、协调层 Coordinator、执行层 Node、存储层对象存储 + etcd + 消息队列」四段解耦,各组件无状态或有状态职责清晰,可独立扩缩容。

概念解释

  • Proxy:对外暴露 gRPC / REST,做请求校验、路由、结果归并与负载均衡。
  • Coordinator:Root(DDL 与拓扑)、Query(段分配与查询调度)、Data(写入与 flush 编排)、Index(索引任务编排)。
  • 执行层:Query Node(加载段并执行检索)、Data Node(消费写入日志并落盘)、Index Node(构建索引)。
  • 存储层:对象存储放段与索引文件,etcd 存元数据与拓扑,消息队列承载写入日志流。

原理流程

写:Proxy → Data Coordinator 分配 → 写 MQ → Data Node 消费 → 落 growing segment → flush → 对象存储
读:Proxy → Query Coordinator 定位段 → Query Node 加载段 → 检索 → 归并 → 返回
索引:Index Coordinator 派发任务 → Index Node 构建 → 写回对象存储 → 元数据登记

代码 / 命令

# 观察组件角色:集群部署时按组件分别扩副本
# 面试要点:先把「谁负责什么」讲清,再说「为什么这样拆能独立扩展」

常见误区

  • 误区:所有组件都必须多副本。正解:Proxy 与 Query Node 可水平扩展,Coordinator 与元数据存储的高可用方式不同。
  • 误区:Coordinator 直接读写数据。正解:Coordinator 只做编排与元数据,数据面在执行层与存储层。

追问

  • 问:为什么把索引构建拆成异步任务?答:构建耗 CPU 与内存,异步化避免阻塞写入与查询。
  • 问:etcd 存什么?答:集合 schema、段元数据、节点拓扑与任务状态等(具体键空间以官方文档为准)。

05.6.1.1-003 Proxy 为什么设计成无状态,有什么好处?

频率 ★★★☆☆ | 难度 进阶

一句话结论

Proxy 无状态才能水平扩展、快速重启、按请求量弹性伸缩,并在故障时被任意替换而不丢上下文。

概念解释

  • 无状态:不持有数据与索引,只持有连接与请求上下文。
  • 好处:横向扩容简单、故障恢复只需重启、滚动升级不影响数据面。
  • 代价:每次请求都要查元数据或依赖缓存,需要控制元数据访问频率。

原理流程

请求 → Proxy 校验 → 查 Coordinator 元数据(定位段与节点)→ 转发 Query Node → 归并 TopK

代码 / 命令

# 扩展方式:增加 Proxy 副本,前面挂负载均衡
# 注意:客户端连接数、超时、重试策略要与副本数匹配

常见误区

  • 误区:Proxy 缓存了全部段信息。正解:以元数据服务为准,缓存只是性能优化且需失效机制。
  • 误区:Proxy 扩容就能提升所有性能。正解:瓶颈常在 Query Node 或索引侧,先定位再扩。

追问

  • 问:Proxy 断开重连影响查询吗?答:单请求失败可重试,无状态故不丢数据。
  • 问:为什么客户端要复用连接?答:减少握手与元数据查询开销。

05.6.1.1-004 Root Coordinator 与 Query Coordinator 的边界在哪?

频率 ★★★☆☆ | 难度 进阶

一句话结论

Root 管「集合、分区、索引、节点」这类全局 DDL 与拓扑;Query 管「段怎么分配给哪个 Query Node、查询任务怎么调度」这类运行期读路径编排。

概念解释

  • Root:集合与分区生命周期、索引元数据、节点注册与心跳、权限相关元数据。
  • Query:段到 Query Node 的分配与再均衡、查询请求的调度与超时控制。
  • 边界意义:DDL 与读调度解耦,避免 DDL 抖动影响正在跑的查询。

原理流程

CREATE COLLECTION → Root 校验并写元数据 → Query 侧准备可服务状态
查询 → Proxy → Query Coordinator 选节点 → Query Node 执行

代码 / 命令

# 排障顺序:DDL 卡住先看 Root,查询慢先看 Query 与 Query Node 资源

常见误区

  • 误区:两者可合并部署就无需区分。正解:逻辑职责仍需分清,否则排障会误判。

追问

  • 问:段再均衡由谁触发?答:Query Coordinator 依据负载与资源做调度(具体策略以官方文档为准)。
  • 问:DDL 与查询互相影响怎么隔离?答:控制 DDL 频率、错峰执行、必要时独立部署协调组件。

05.6.1.1-005 消息队列(Pulsar / Kafka)在写入链路里起什么作用?

频率 ★★★★☆ | 难度 高级

一句话结论

消息队列把写入请求与落盘执行解耦,让 Data Node 按日志流顺序消费,从而支持削峰、重放与多消费者扩展。

概念解释

  • 作用一:解耦 —— Proxy/Coordinator 只登记写入,实际落盘由 Data Node 消费日志完成。
  • 作用二:削峰 —— 突发写入先进队列,避免直接打爆 Data Node。
  • 作用三:可重放 —— 消费位点可回退,便于故障恢复与一致性修复。
  • 代价:多一跳延迟、多一套中间件运维,队列堆积会直接表现为写入延迟上升。

原理流程

Insert → Proxy → 分配 channel → 写 MQ → Data Node 消费 → 内存 growing segment → flush → 对象存储

代码 / 命令

# 排障关注:队列堆积量、消费延迟、consumer 数量与分区数是否匹配

常见误区

  • 误区:MQ 只是可选组件,去掉更快。正解:去掉会失去写入解耦与重放能力,集群形态依赖它。
  • 误区:写入返回成功等于已持久化。正解:返回成功通常表示已接收,落盘与可搜索还依赖 flush 与一致性等级。

追问

  • 问:Pulsar 与 Kafka 的取舍?答:看团队运维经验与多租户、消息保留策略需求,功能上都可承载日志流。
  • 问:队列堆积怎么处理?答:扩 Data Node 消费能力、检查是否有慢 flush、必要时限流上游写入。

05.6.1.1-006 Query Node 在做什么,为什么它最吃内存?

频率 ★★★★☆ | 难度 进阶

一句话结论

Query Node 负责把分配到的段(向量与索引)加载进内存并执行检索,向量数据与 HNSW 图本身驻留内存,所以内存是它的第一约束。

概念解释

  • 职责:段加载与卸载、向量索引驻留、过滤与 TopK 计算、结果归并前的局部排序。
  • 内存构成:原始向量、索引结构(如图与邻接表)、标量字段、查询期临时缓冲。
  • 约束:加载的段越多、维度越高、副本越多,内存占用线性上升。

原理流程

段分配 → 加载索引与向量 → 建查询上下文 → 执行 ANN + 过滤 → 返回局部 TopK

代码 / 命令

# 容量估算:内存 ≈ 段向量数 × 维度 × 每维字节 × 放大系数(含索引结构)
# 索引结构开销按索引类型单独估算,不要只用原始向量大小

常见误区

  • 误区:磁盘够就行。正解:查询期数据需驻留内存或走磁盘索引,内存不足会频繁换入换出。
  • 误区:加副本一定提升吞吐。正解:副本也占内存,先看单节点是否已饱和。

追问

  • 问:Query Node 内存告急的现象?答:延迟抖动、加载失败、查询超时甚至节点被驱逐。
  • 问:如何降低单节点内存?答:降维、量化、减少副本、分片更细或用磁盘索引。

05.6.1.1-007 Data Node 的写入路径是怎样的?

频率 ★★★★☆ | 难度 进阶

一句话结论

Data Node 从消息队列消费写入,先写内存中的 growing segment,达到阈值后 flush 成 sealed segment 落到对象存储。

概念解释

  • growing segment:可写的内存段,承接新写入。
  • sealed segment:flush 后不可变,进入对象存储,可被索引与查询。
  • 写入放大:同一条数据会经历内存、日志、对象存储多份形态。

原理流程

消费日志 → 校验主键与 schema → 写 growing segment(含删除标记)→ 触发 flush → 生成 binlog 与段文件 → 落对象存储 → 元数据登记

代码 / 命令

# 观察点:growing segment 数量、flush 频率、段文件大小分布

常见误区

  • 误区:写入立即对查询可见。正解:可见性取决于 flush 与一致性等级。
  • 误区:flush 越频繁越好。正解:过频会产生大量小段,加重查询与 compaction 负担。

追问

  • 问:为什么要控制段大小?答:小段多会增加扫描与元数据开销,大段则使 compaction 与重建更重。
  • 问:写入失败怎么重试?答:按主键幂等重试,避免重复插入。

05.6.1.1-008 Index Node 的职责与索引构建流程?

频率 ★★★★☆ | 难度 进阶

一句话结论

Index Node 消费索引构建任务,把 sealed segment 的向量构建成指定索引文件并写回对象存储,构建过程与在线查询互不阻塞。

概念解释

  • 任务来源:Index Coordinator 依据索引定义与段状态派发。
  • 执行:读取段向量 → 训练(部分索引需要)→ 构建图或聚类 → 写索引文件 → 登记元数据。
  • 特点:CPU 与内存密集、可并行多任务、失败可重试。

原理流程

新 sealed segment → 任务入队 → Index Node 领取 → 读段 → 构建 → 写对象存储 → 元数据标记已索引 → Query Node 可加载

代码 / 命令

# 观察点:待构建任务数、构建耗时、Index Node CPU 与内存峰值

常见误区

  • 误区:建索引要在业务低峰手工触发。正解:通常是异步自动流程,但大批量导入时可主动控制节奏。
  • 误区:索引建完自动生效无需加载。正解:Query Node 需加载新段与索引才会参与检索。

追问

  • 问:构建失败会怎样?答:段保持未索引状态、可重试,检索侧通常退化或用其他索引兜底。
  • 问:构建期间能查询吗?答:能,查询走已有段;新段在构建完成并加载后参与。

05.6.1.1-009 为什么元数据放在 etcd,而不是业务数据库?

频率 ★★★☆☆ | 难度 进阶

一句话结论

元数据需要强一致的小数据量读写、watch 变更通知与高可用,etcd 的 Raft 共识与 watch 机制正好匹配这类协调型数据。

概念解释

  • 存什么:集合与分区 schema、段与索引元数据、节点注册与心跳、任务状态。
  • 为什么合适:数据量小、读写频繁、需强一致与变更通知。
  • 不适合存:向量本体与段文件,数据量大且是顺序读。

原理流程

组件启动 → 注册到 etcd → 心跳保活 → 元数据变更写 etcd → 其他组件 watch 感知

代码 / 命令

# 运维要点:etcd 集群奇数节点、独立磁盘、快照备份、容量与延迟监控

常见误区

  • 误区:etcd 可以随便放在业务节点上。正解:etcd 对磁盘延迟敏感,混部易引发抖动。
  • 误区:etcd 数据丢了能自动恢复。正解:需要备份策略,元数据丢失影响面很大。

追问

  • 问:etcd 变慢会怎样?答:组件心跳与元数据操作受阻,表现为整体不可用或操作超时。
  • 问:etcd 与对象存储的分工?答:前者存“指向哪里”,后者存“数据本身”。

05.6.1.1-010 对象存储(MinIO / S3)承担什么角色?

频率 ★★★☆☆ | 难度 进阶

一句话结论

对象存储是段文件、索引文件与 binlog 的最终落点,提供低成本大容量持久化,使计算层可以无状态化与弹性伸缩。

概念解释

  • 存什么:sealed segment 的数据文件、索引文件、删除日志与 binlog。
  • 价值:容量与计算解耦,节点重建只需重新加载,不必本地持久化。
  • 要求:吞吐与延迟要能支撑加载与 flush,否则查询冷启动会变慢。

原理流程

flush → 写对象存储 → 元数据登记路径 → Query Node 加载时按路径拉取 → 本地缓存

代码 / 命令

# 运维要点:对象存储带宽、并发连接、分片上传、生命周期与备份策略

常见误区

  • 误区:对象存储慢一点没关系。正解:冷段加载与重建都依赖它,是隐性瓶颈。
  • 误区:用了对象存储就不需要备份。正解:误删与元数据损坏仍需独立备份。

追问

  • 问:本地盘还要吗?答:通常用作缓存或 WAL 类临时空间,最终数据仍在对象存储。
  • 问:对象存储故障的表现?答:加载失败、flush 卡住、查询命中冷段时延迟飙升。

05.6.1.1-011 Standalone 与 Cluster 怎么选?

频率 ★★★★★ | 难度 进阶

一句话结论

数据量在单机内存与容量可承载范围内、且无高可用要求时用 Standalone;需要水平扩展、故障隔离与多副本时用 Cluster。

概念解释

  • Standalone:单进程内含全部角色,部署简单,适合开发、测试、中小规模生产。
  • Cluster:组件分离、可独立扩缩容,支持副本与多节点容错。
  • 判断依据:向量总量、QPS、可用性要求、是否需要滚动升级。

原理流程

估算内存 → 判断单机是否够用 → 评估 HA 与扩展需求 → 选形态 → 规划资源与监控

代码 / 命令

# 开发环境:单机容器一键起
# 生产:按组件部署,至少保证查询与数据面多副本、元数据三节点

常见误区

  • 误区:先上 Cluster 再考虑规模。正解:运维成本与组件数量成正比,规模不到就先用单机。
  • 误区:Standalone 不能用于生产。正解:中小规模、可接受停机窗口的场景可用,但要接受单点风险。

追问

  • 问:从 Standalone 迁到 Cluster 麻烦吗?答:需要按备份导出与导入流程迁移,不能简单换部署形态。
  • 问:Cluster 最少几个节点?答:取决于组件与副本规划,重点是 etcd 与协调组件的容错。

05.6.1.1-012 容器化部署(Docker Compose)要注意什么?

频率 ★★★☆☆ | 难度 基础

一句话结论

Compose 部署适合开发与演示,关键是数据卷持久化、组件启动顺序与依赖服务健康检查,不能直接照搬到生产。

概念解释

  • 数据卷:etcd、对象存储、消息队列的数据必须挂持久卷,容器重建不能丢。
  • 启动顺序:依赖服务(etcd、对象存储、消息队列)先就绪,再起组件。
  • 资源限制:给容器设置内存与 CPU 上限,避免单机互相挤占。

原理流程

compose up → 依赖服务健康 → 组件注册 etcd → Proxy 可接入 → 客户端连通性验证

代码 / 命令

# 验证顺序:容器状态 → 组件日志无报错 → 端口可访问 → 建集合 → 写入检索闭环

常见误区

  • 误区:容器内数据目录不挂卷也能跑。正解:容器重建即丢数据。
  • 误区:本机端口冲突不影响。正解:端口映射冲突会导致组件注册失败。

追问

  • 问:开发环境要开监控吗?答:至少保留日志与基础指标,便于提前发现问题。
  • 问:多环境配置差异怎么管?答:用配置模板 + 环境变量,避免手改文件。

05.6.1.1-013 Kubernetes / Helm 部署的关键点?

频率 ★★★★☆ | 难度 高级

一句话结论

K8s 部署的关键是有状态依赖与无状态组件分开对待:元数据与对象存储走稳定存储,执行层按负载水平扩展,并用探针与资源限额兜底。

概念解释

  • 无状态:Proxy、Query Node、Index Node 可多副本水平扩展。
  • 有状态:etcd 需持久卷与奇数副本;对象存储建议用成熟的对象存储服务。
  • 关键配置:requests/limits、readiness 探针、反亲和、PDB。

原理流程

依赖服务就绪 → 协调组件起 → 执行层起 → 探针通过 → 客户端接入 → 压测验证

代码 / 命令

# 编排要点:资源限额 + 探针 + 反亲和 + 优雅停机
# 有状态组件不要与执行层混布在同一批节点上

常见误区

  • 误区:所有组件都设成无状态多副本。正解:元数据组件有状态,扩副本方式不同。
  • 误区:没有 readiness 探针也能上线。正解:未就绪即接流量会放大启动期错误。

追问

  • 问:滚动升级会不会丢查询?答:无状态层可滚动,注意在途请求与超时;有状态层需谨慎。
  • 问:节点驱逐时怎么办?答:设 PDB 与优先级,保证关键组件不集中被驱逐。

05.6.1.1-014 如何估算 Milvus 的内存与磁盘容量?

频率 ★★★★★ | 难度 高级

一句话结论

内存按「向量原始大小 + 索引结构开销 + 标量字段 + 查询缓冲」估算并乘以副本数;磁盘按「原始数据 + 多版本段 + 索引文件 + 日志」估算,留出 compaction 余量。

概念解释

  • 向量内存:数量 × 维度 × 每维字节(float32 为 4 字节,half 为 2 字节)。
  • 索引开销:HNSW 图结构额外占用显著,量化索引可大幅压缩,磁盘索引走磁盘。
  • 副本放大:每个 Query Node 副本都持有一份可服务数据。
  • 磁盘放大:flush 产生新段,旧段在 compaction 前并存。

原理流程

确定规模与维度 → 选类型与量化 → 算单份内存 → × 副本 → 加索引与缓冲 → 得到内存
再算磁盘:原始 + 索引 + 历史段 + 日志 → 留 30% 以上余量

代码 / 命令

# 估算示例(数值按实际替换,不要背结论)
# 内存 ≈ N × D × bytes × (1 + 索引放大) × 副本数 + 查询缓冲
# 常见结论:量化能把内存降一个量级,但召回需要重打分兜底

常见误区

  • 误区:只按向量原始大小买内存。正解:索引结构与副本会让实际占用翻倍甚至更多。
  • 误区:磁盘按原始数据一比一。正解:多版本段与索引文件会显著放大。

追问

  • 问:内存不够优先压缩还是扩节点?答:先量化与降维,再考虑扩节点,注意召回验证。
  • 问:怎么验证估算?答:小规模真数据导入后读实际内存占用,按比例放大。

05.6.1.1-015 维度对资源的影响有多大,怎么降维?

频率 ★★★★☆ | 难度 进阶

一句话结论

内存、索引构建时间与查询计算量都随维度近似线性增长,降维或量化是控制成本最直接的手段。

概念解释

  • 内存:维度减半,向量本体减半,索引开销也同步下降。
  • 计算:距离计算量与维度成正比,高维还会加剧 ANN 的召回难度。
  • 降维手段:换更小维度模型、PCA / 投影、量化。

原理流程

评估现有维度 → 试验更低维模型 → 用召回指标对比 → 达标则切换 → 全量重建

代码 / 命令

# 验证:同一查询集,比较不同维度下的 recall@k 与 P99

常见误区

  • 误区:维度可以直接截断。正解:简单截断破坏语义,应使用有训练的降维或换模型。
  • 误区:换模型不影响历史数据。正解:新旧向量不可混用,必须全量重建。

追问

  • 问:降维后召回下降怎么办?答:加重打分、混合检索或接受更高维的折中。
  • 问:换 Embedding 模型的迁移步骤?答:双写新向量 → 影子读对比 → 灰度切流。

05.6.1.1-016 副本数怎么定,副本与分片有什么区别?

频率 ★★★★☆ | 难度 高级

一句话结论

分片解决容量与单节点上限,副本解决吞吐与可用性;副本增加内存占用与写入成本,不能无脑加。

概念解释

  • 分片:把集合数据切到多个物理单元,降低单节点内存压力。
  • 副本:同一份数据的多份可服务拷贝,提升并发查询能力与容灾。
  • 代价:副本越多,索引构建任务与内存总量越大。

原理流程

容量不足 → 增加分片;QPS 不足且单节点未饱和 → 增加副本
两者都缺 → 先分片再副本,避免副本放大内存

代码 / 命令

# 判断依据:看 Query Node CPU 与内存使用率、查询排队与 P99

常见误区

  • 误区:加副本能解决所有慢查询。正解:慢在过滤或索引参数时,加副本只是分摊不解决根因。
  • 误区:分片越多越好。正解:分片过多增加调度与元数据开销。

追问

  • 问:副本一致性如何保证?答:写入经日志流统一下发,副本按同一数据源加载。
  • 问:副本数改变要重建吗?答:调整副本会触发数据再分配与加载,需评估窗口。

05.6.1.1-017 集群如何水平扩容,扩容后注意什么?

频率 ★★★☆☆ | 难度 进阶

一句话结论

扩容以「加执行层节点」为主,新节点注册后由协调层做段再均衡;扩容后要观察再均衡进度与内存峰值,避免瞬时压力叠加。

概念解释

  • 扩容对象:Proxy(接入并发)、Query Node(查询能力)、Data/Index Node(写入与构建)。
  • 再均衡:协调层把部分段迁到新节点,过程中会加载数据,产生带宽与内存峰值。
  • 注意:扩容不等于性能线性提升,段分布不均会限制收益。

原理流程

新增节点 → 注册心跳 → 协调层感知 → 段再均衡 → 加载完成 → 流量自然分摊

代码 / 命令

# 观察:新节点内存爬升曲线、段数量分布、查询 P99 是否改善

常见误区

  • 误区:扩容立即生效。正解:要等段加载完成才具备服务能力。
  • 误区:只扩 Query Node 就够。正解:写入或构建瓶颈需扩对应组件。

追问

  • 问:再均衡会不会拖慢查询?答:会有阶段性的资源竞争,建议低峰扩容并限速。
  • 问:缩容要注意什么?答:先确保剩余节点容量足够,再迁段,最后下线节点。

05.6.1.1-018 growing 与 sealed segment 的差别是什么?

频率 ★★★★☆ | 难度 进阶

一句话结论

growing 是可写、在内存中、尚未持久化的段;sealed 是已 flush、不可变、落对象存储并可建索引的段。

概念解释

  • growing:承接增量写入,数据仅部分持久化,查询可见性受一致性等级影响。
  • sealed:flush 后固定,作为索引构建与查询的基本单位。
  • 生命周期:growing → flush → sealed → 建索引 → compaction 合并。

原理流程

写入 growing → 达阈值触发 flush → sealed 生成 → 索引任务 → compaction 合并小段

代码 / 命令

# 观察:growing 段数量过多说明 flush 节奏或写入模式有问题

常见误区

  • 误区:sealed 后立即可查。正解:需加载到 Query Node 且受一致性等级约束。
  • 误区:段越小越好。正解:小段多会显著增加查询与元数据开销。

追问

  • 问:删除的数据怎么处理?答:以删除标记形式记录,compaction 时物理清理。
  • 问:flush 由谁触发?答:Data Node 依据阈值与协调层指令触发。

05.6.1.1-019 flush 的作用与代价?

频率 ★★★★☆ | 难度 进阶

一句话结论

flush 把内存 growing segment 固化并持久化到对象存储,是数据可恢复与可索引的前提,但会带来 IO 与段数量增长。

概念解释

  • 作用:持久化、生成不可变段、触发后续索引构建。
  • 代价:IO 抖动、产生小段、频繁 flush 加重 compaction。
  • 触发:写入量阈值、时间窗口或显式请求。

原理流程

阈值到达 → 封段 → 写数据文件与 binlog → 对象存储 → 元数据登记 → 可建索引

代码 / 命令

# 观察点:flush 耗时、频率、段文件大小分布

常见误区

  • 误区:flush 等于数据已可查。正解:可见性还取决于加载与一致性等级。
  • 误区:手工频繁 flush 能让数据更快可查。正解:会增加小段与 IO 压力,破坏批量写入效率。

追问

  • 问:批量导入时怎么调?答:批量写入并控制 flush 节奏,减少小段。
  • 问:flush 卡住怎么查?答:看对象存储可用性与带宽、Data Node IO 队列。

05.6.1.1-020 compaction 解决什么问题?

频率 ★★★★★ | 难度 高级

一句话结论

compaction 把多个小段合并成大段并物理清理已删除数据,降低查询扫描成本、回收空间、提升检索效率。

概念解释

  • 合并:小段 → 大段,减少段数量与元数据开销。
  • 清理:把删除标记对应的数据物理移除,实际释放空间。
  • 代价:读写放大、短时 IO 与 CPU 升高,可能影响查询延迟。

原理流程

小段集合 → 选策略(按大小/数量)→ 合并重写 → 生成新段 → 替换旧段 → 更新元数据

代码 / 命令

# 观察:段数量趋势、删除比例、compaction 任务积压

常见误区

  • 误区:删除后空间立即释放。正解:需 compaction 物理清理。
  • 误区:compaction 不影响线上。正解:会有 IO 与 CPU 竞争,建议限速与错峰。

追问

  • 问:段数量一直增长说明什么?答:写入频繁 flush 产生小段,或 compaction 跟不上。
  • 问:大量删除后要注意什么?答:尽快让 compaction 清理,避免空间与查询效率持续恶化。

05.6.1.1-021 一致性等级有哪几种,怎么选?

频率 ★★★★☆ | 难度 高级

一句话结论

一致性等级从强到弱通常是 Strong、Bounded、Session、Eventually 四档;越强越安全但延迟与吞吐代价越大,检索场景常用 Bounded 或 Session 折中。

概念解释

  • Strong:写入完成后立即可见,代价最高。
  • Bounded:有明确的时间上界后可见,工程上常用的折中。
  • Session:同一客户端会话内保证读到自己写入。
  • Eventually:最快,但可能读不到刚写入的数据。

原理流程

写入 → 日志流 → flush → 段加载 → 可见
等级决定在链路哪一步返回成功、读侧是否等待

代码 / 命令

# 选择:写入后立即检索(如审核流)用强;离线批量入库用弱;在线增量用中间档

常见误区

  • 误区:所有场景都用 Strong 最保险。正解:会拉高写入延迟并降低吞吐。
  • 误区:弱一致一定读到旧数据。正解:只是不保证立即可见,通常在秒级窗口内可见。

追问

  • 问:写入后马上搜索不到怎么办?答:检查一致性等级、flush 与段加载状态。
  • 问:等级能按请求指定吗?答:通常可在客户端搜索/查询参数中指定,具体以 SDK 为准。

05.6.1.1-022 主键设计要注意什么,自增主键有什么坑?

频率 ★★★☆☆ | 难度 进阶

一句话结论

主键决定幂等 upsert 与删除定位,自增主键在分布式写入下可能出现空洞与分配开销,业务主键映射更可控。

概念解释

  • 主键类型:整型或字符串,需在 schema 中显式定义。
  • 自增:由系统分配的单调标识,便于生成但不利于与业务 id 对齐。
  • 业务主键:用业务唯一 id 便于对账、幂等与迁移。

原理流程

写入携带主键 → 校验是否已存在 → 覆盖或拒绝 → 删除按主键定位 → 标记删除

代码 / 命令

# 建议:保留 biz_id 作为标量字段 + 主键映射表,方便迁移与对账

常见误区

  • 误区:主键可以随意改。正解:主键变更通常意味着重写数据。
  • 误区:重复主键会报错。正解:默认 upsert 覆盖语义,需确认是否符合预期。

追问

  • 问:删除是物理删除吗?答:标记删除,compaction 后物理清理。
  • 问:主键冲突怎么排查?答:按主键查写入日志与幂等记录。

05.6.1.1-023 集群的负载均衡体现在哪些层面?

频率 ★★★☆☆ | 难度 进阶

一句话结论

负载均衡分三层:接入层(Proxy 之间)、调度层(段到 Query Node 的分配)、存储层(数据分布与访问热点)。

概念解释

  • 接入层:负载均衡器把请求分到多个 Proxy。
  • 调度层:Query Coordinator 按资源与段规模做再均衡。
  • 存储层:段分布不均会导致个别节点热,需 compaction 与再分配配合。

原理流程

请求分发 → 元数据定位 → 段加载分布 → 观察各节点 QPS/CPU/内存 → 触发再均衡

代码 / 命令

# 观察:各 Query Node 的查询量、段数量、内存使用是否接近

常见误区

  • 误区:负载均衡只靠前端。正解:段分布不均时,前端均衡也救不了热点节点。
  • 误区:再均衡越频繁越好。正解:频繁迁移会产生持续 IO 与内存波动。

追问

  • 问:出现单节点热怎么做?答:检查该节点段数量与大小,必要时手工触发再均衡或扩容。
  • 问:分区能帮忙吗?答:分区可把查询限定到子集,间接降低跨节点扫描。

05.6.1.1-024 慢查询怎么定位,常见原因有哪些?

频率 ★★★★☆ | 难度 高级

一句话结论

先分清慢在过滤、扫描规模、索引参数还是资源不足,再用指标与请求画像逐层收敛,而不是直接调参。

概念解释

  • 常见原因:topK 过大、过滤选择率低、nprobe/ef 参数过大、段过多、内存不足、网络与归并开销。
  • 定位手段:请求级耗时拆分、节点资源指标、段扫描量与候选数。
  • 优化方向:缩小候选、优化过滤顺序、调整索引参数、减少小段。

原理流程

采集慢请求 → 拆分耗时(接入/调度/检索/归并)→ 对症调参或扩容 → 回归压测

代码 / 命令

# 排查顺序:资源是否饱和 → 段是否过多 → 过滤是否失效 → 参数是否过大

常见误区

  • 误区:慢查询一律调大参数。正解:参数越大越慢,方向常常相反。
  • 误区:只看平均值。正解:P99 才反映真实体验。

追问

  • 问:过滤条件多列怎么写?答:优先高选择性字段,并确认索引与下推能力。
  • 问:批量查询会更快吗?答:可减少往返与元数据开销,但总计算量不变。

05.6.1.1-025 需要监控哪些核心指标?

频率 ★★★★☆ | 难度 进阶

一句话结论

按「请求 → 资源 → 存储 → 队列」四层建指标:延迟与错误率、CPU/内存/IO、段与索引状态、队列堆积与任务积压。

概念解释

  • 请求层:QPS、P50/P99、错误率、超时数。
  • 资源层:CPU、内存、磁盘 IO、网络带宽、GC 类指标。
  • 存储层:段数量与大小分布、索引构建任务、compaction 进度。
  • 依赖层:etcd 延迟、对象存储错误、MQ 堆积。

原理流程

埋点采集 → 汇聚到时序库 → 配阈值告警 → 建看板 → 与变更记录关联

代码 / 命令

# 常见组合:组件暴露指标 → Prometheus 抓取 → Grafana 看板 → 告警规则

常见误区

  • 误区:只看 QPS 与延迟。正解:资源与队列指标才能提前预警。
  • 误区:告警阈值照抄默认。正解:要按自有业务基线校准。

追问

  • 问:先看哪个指标?答:先看 P99 与错误率,再看资源是否饱和。
  • 问:如何避免告警风暴?答:分层告警 + 抑制规则 + 明确责任归属。

05.6.1.1-026 日志与链路追踪怎么用?

频率 ★★★☆☆ | 难度 进阶

一句话结论

排查要能把「一次请求」在 Proxy、协调层、执行层之间的耗时串起来,日志加请求 id 透传比逐台翻日志有效得多。

概念解释

  • 日志分层:接入日志、协调调度日志、执行层检索日志、依赖组件日志。
  • 透传:请求 id 贯穿各层,便于串联。
  • 采样:高频场景做采样,避免日志本身成为瓶颈。

原理流程

客户端生成 request id → 各层日志带 id → 按 id 聚合 → 找出耗时最长环节

代码 / 命令

# 排查模板:request id → 各层时间戳 → 差值定位 → 对照当时资源指标

常见误区

  • 误区:日志级别开到最详细最好。正解:高并发下会拖慢系统并淹没关键信息。
  • 误区:只看错误日志。正解:慢但成功才是主要体验问题。

追问

  • 问:日志保留多久?答:覆盖一个完整故障周期与复盘窗口即可。
  • 问:如何避免日志泄露敏感信息?答:向量与文本字段脱敏,只保留摘要与 id。

05.6.1.1-027 备份与恢复怎么做?

频率 ★★★☆☆ | 难度 进阶

一句话结论

备份要同时覆盖元数据与数据文件,优先用官方备份工具做集合级导出,并把恢复演练纳入例行流程。

概念解释

  • 备份对象:集合 schema、段与索引文件、必要的元数据快照。
  • 方式:官方备份工具导出到对象存储或本地;或按集合全量导出后重建。
  • 恢复验证:恢复后必须跑召回与行数校验,不能只看“导入成功”。

原理流程

选集合 → 全量导出 → 校验文件完整性 → 异机恢复 → 校验行数与抽样检索 → 记录耗时

代码 / 命令

# 要点:备份与恢复用同一版本工具;恢复环境先建同名集合 schema

常见误区

  • 误区:备份了对象存储就等于备份了数据。正解:元数据缺失同样无法恢复。
  • 误区:恢复后直接切流量。正解:要做抽样检索与召回对比。

追问

  • 问:增量备份可做吗?答:可实现但复杂度高,常见做法是全量 + 定期校验。
  • 问:RPO/RTO 怎么定?答:按业务可接受的数据丢失窗口与恢复时长反推方案。

05.6.1.1-028 版本升级要注意哪些兼容性问题?

频率 ★★★☆☆ | 难度 高级

一句话结论

升级前要核对索引兼容、SDK 版本、配置项变更与依赖组件版本,并在预发环境做完整回归,不能只验证能启动。

概念解释

  • 索引兼容:旧索引文件可能需重建。
  • SDK 兼容:客户端版本与服务的接口契约要匹配。
  • 配置变更:参数改名、默认值变化会影响行为。
  • 依赖:etcd、对象存储、MQ 版本要求。

原理流程

读变更说明 → 预发升级 → 回归写入/检索/过滤/索引 → 灰度 → 观察 → 全量

代码 / 命令

# 上线前检查:索引是否需要重建、SDK 是否升级、监控看板是否同步

常见误区

  • 误区:小版本升级无风险。正解:配置默认值与索引实现都可能变化。
  • 误区:升级完不重建索引也一致。正解:部分索引类型需重建才能用新特性。

追问

  • 问:升级失败怎么回滚?答:保留旧版本镜像与数据快照,回滚后校验元数据。
  • 问:滚动升级能做吗?答:视组件是否有状态而定,有状态需更谨慎。

05.6.1.1-029 多环境(开发、预发、生产)怎么隔离?

频率 ★★☆☆☆ | 难度 基础

一句话结论

按环境物理隔离集群与依赖组件,配置用模板管理,数据不跨环境复制(除脱敏样本),避免测试流量污染生产指标。

概念解释

  • 隔离层级:集群、命名空间/数据库、依赖组件、凭据。
  • 配置管理:模板 + 环境变量,禁止手改生产配置。
  • 数据:用脱敏小样本,不整库复制。

原理流程

模板 → 各环境渲染 → 独立部署 → 独立监控 → 独立凭据与配额

代码 / 命令

# 检查:生产凭据不出现在测试配置;测试集合命名带前缀避免误连

常见误区

  • 误区:共用一套集群只靠集合名区分。正解:误操作与资源争抢风险高。
  • 误区:测试数据随便造。正解:维度与分布要与真实一致,否则压测结论无效。

追问

  • 问:预发要多大?答:能承载生产量级的缩比压测即可。
  • 问:如何防止误连生产?答:网络隔离 + 凭据分离 + 客户端环境校验。

05.6.1.1-030 混合部署(与其他服务共用节点)有什么风险?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

向量检索是内存与 IO 密集型,混部会与邻居争抢资源导致延迟抖动,生产建议核心组件独占节点或用强隔离。

概念解释

  • 冲突资源:内存、页缓存、磁盘 IO、网络带宽。
  • 典型后果:查询 P99 抖动、加载变慢、OOM 风险上升。
  • 缓解:资源限额、cgroup 隔离、反亲和调度、独立磁盘。

原理流程

评估资源画像 → 设限额与隔离 → 观察邻居影响 → 必要时拆分

代码 / 命令

# 关键:内存不设限额的混部最危险,OOM 会连带影响其他服务

常见误区

  • 误区:CPU 有空闲就能混部。正解:内存与 IO 才是向量检索的主要争抢点。
  • 误区:限额设了就不受影响。正解:限额只能限制自己,邻居峰值仍会挤压共享 IO。

追问

  • 问:etcd 能混部吗?答:不建议,磁盘延迟敏感。
  • 问:如何判断混部影响?答:对比独占与混部下的 P99 曲线。

05.6.1.1-031 冷热数据分层怎么做?

频率 ★★★☆☆ | 难度 高级

一句话结论

把高频访问的近期数据放内存型索引,历史冷数据用磁盘索引或分区冷存,用分区与路由把查询限定在热集合内。

概念解释

  • 热数据:近期、高频、要求低延迟,走内存索引与更多副本。
  • 冷数据:历史归档,允许高延迟,走磁盘索引或独立集合。
  • 路由:按时间/租户分区,查询显式限定范围。

原理流程

按时间或租户分区 → 热分区高副本高内存 → 冷分区磁盘索引 → 查询带分区过滤

代码 / 命令

# 落地:按月分区 + 冷分区迁移到低成本索引类型 + 归档到对象存储

常见误区

  • 误区:冷数据也应该随时低延迟可查。正解:按业务 SLA 分级,否则成本失控。
  • 误区:分区不影响查询。正解:查询不带分区过滤会扫描全部分区。

追问

  • 问:冷数据怎么迁移?答:按分区导出重建到冷集合,保留映射关系。
  • 问:冷热边界怎么定?答:按访问频次统计与业务 SLA 定,定期复盘。

05.6.1.1-032 容量评估的完整步骤是什么?

频率 ★★★★☆ | 难度 高级

一句话结论

容量评估是「规模 → 单条成本 → 总量 → 冗余 → 增长」的链条,必须落到可核对的数字与假设,而不是凭经验拍脑袋。

概念解释

  • 规模:文档数、chunk 数、向量维度、日增量。
  • 单条成本:向量内存、索引放大、元数据与标量字段。
  • 冗余:副本、多版本段、compaction 余量。
  • 增长:按季度预估,预留扩容周期。

原理流程

需求量化 → 单条成本 → 总量 → 加冗余 → 加增长 → 出资源清单 → 压测校准

代码 / 命令

# 输出物:内存/磁盘/CPU/带宽清单 + 假设条件 + 校准方法

常见误区

  • 误区:按峰值一次性买满。正解:要给出扩容路径与触发阈值。
  • 误区:忽略索引构建期的额外内存。正解:构建峰值往往高于稳态。

追问

  • 问:增长不确定怎么办?答:按区间给方案,并明确扩容触发条件。
  • 问:评估错了怎么纠偏?答:上线后用真实指标回填模型。

05.6.1.1-033 etcd 不可用会有什么表现,怎么处理?

频率 ★★★☆☆ | 难度 高级

一句话结论

etcd 不可用会导致元数据读写失败,表现为集合操作卡住、组件心跳丢失、集群无法调度,必须优先恢复 etcd。

概念解释

  • 表现:DDL 超时、Proxy 无法定位段、节点被判离线、任务不推进。
  • 原因:磁盘 IO 抖动、数据目录损坏、集群失去多数派。
  • 处理:恢复多数派、从快照恢复、隔离故障节点。

原理流程

确认 etcd 集群状态 → 若失多数派先恢复成员 → 校验数据完整性 → 观察组件重新注册

代码 / 命令

# 预防:独立磁盘、奇数节点、定期快照、延迟告警

常见误区

  • 误区:重启所有组件能解决。正解:根因在 etcd,重启组件只会扩大影响。
  • 误区:etcd 恢复后状态自动一致。正解:需检查元数据与对象存储的实际文件是否匹配。

追问

  • 问:如何降低风险?答:etcd 独占磁盘 + 快照备份 + 变更前备份。
  • 问:恢复后要验证什么?答:集合可读写、段可加载、索引任务能推进。

05.6.1.1-034 对象存储异常怎么排查?

频率 ★★★☆☆ | 难度 高级

一句话结论

对象存储异常首先表现为 flush 卡住与段加载失败,排查顺序是连通性与凭据、带宽与并发、对象生命周期与配额。

概念解释

  • 连通性:端点、证书、网络策略。
  • 权限:AccessKey、桶策略、路径前缀。
  • 容量与配额:桶配额、请求限流。
  • 性能:带宽饱和、并发连接不足。

原理流程

看 Data Node flush 错误 → 检查对象存储请求错误码 → 校验凭据与桶 → 检查带宽与限流

代码 / 命令

# 快速验证:用同凭据在宿主机直连对象存储做一次小对象写入

常见误区

  • 误区:只看服务日志。正解:对象存储侧的错误码与限流信息更直接。
  • 误区:凭据过期不影响运行。正解:会在下一次写入或加载时集中爆发。

追问

  • 问:加载冷段很慢怎么办?答:提高带宽、增加本地缓存、调整段大小与冷热分层。
  • 问:如何避免单桶热点?答:路径分片与请求分散。

05.6.1.1-035 消息队列堆积怎么处理?

频率 ★★★☆☆ | 难度 高级

一句话结论

堆积说明消费能力不足或消费被阻塞,先判断是写入突增还是 Data Node 慢,再决定扩消费者、限流上游还是修复阻塞点。

概念解释

  • 突增:业务批量导入导致瞬时写入过高。
  • 消费慢:flush 慢、对象存储慢、Data Node 资源不足。
  • 后果:写入延迟上升、可见性延后、元数据与段状态滞后。

原理流程

看堆积曲线 → 对照写入 QPS → 查消费延迟与 flush 耗时 → 定位瓶颈 → 扩容或限流

代码 / 命令

# 处置优先级:先恢复消费能力,再考虑限流,最后做业务侧削峰

常见误区

  • 误区:无限扩消费者最快。正解:下游对象存储与磁盘会成为新瓶颈。
  • 误区:堆积只影响写入。正解:可见性延后也会影响依赖“写后读”的业务。

追问

  • 问:批量导入怎么控速?答:分批 + 客户端限速 + 观察队列水位。
  • 问:堆积清空后要注意什么?答:compaction 压力与段数量增长。

05.6.1.1-036 Query Node OOM 怎么排查与预防?

频率 ★★★★☆ | 难度 高级

一句话结论

OOM 多因加载段过多或单段过大,叠加高并发查询的临时缓冲;预防靠容量模型、加载上限与查询侧限制。

概念解释

  • 原因:段分配不均、副本过多、维度高、topK 与过滤参数过大、并发峰值。
  • 表现:节点重启、段反复加载、查询超时。
  • 预防:均衡段、限制单节点可加载量、降低 topK、量化与降维。

原理流程

看内存曲线与段数量 → 找出热点节点 → 再均衡或扩容 → 限制查询侧资源 → 回归验证

代码 / 命令

# 关键动作:给单节点设加载上限,避免“一个节点扛全量”

常见误区

  • 误区:加内存就能解决。正解:段分布不均会再次打满新节点。
  • 误区:OOM 只是查询问题。正解:加载与 compaction 也会推高内存。

追问

  • 问:如何快速止血?答:临时下线热点集合的副本或限制并发。
  • 问:长期怎么改?答:分片更细 + 均衡策略 + 量化。

05.6.1.1-037 索引构建很慢怎么办?

频率 ★★★★☆ | 难度 高级

一句话结论

构建慢通常是 CPU 不足、段过多过散、参数过大或 IO 受限;优化方向是合并小段、提升并行度、换更轻的索引类型。

概念解释

  • 影响因素:向量数量与维度、索引类型与参数、CPU 核数、IO 带宽。
  • 现象:待构建任务积压、查询只能用未索引段兜底。
  • 手段:compaction 减少段数、扩 Index Node、调小构建参数。

原理流程

查看任务积压 → 统计单任务耗时 → 判断是 CPU/IO/参数 → 针对性优化

代码 / 命令

# 优先合并小段再建索引,避免为大量碎片段重复付出固定开销

常见误区

  • 误区:加节点一定快。正解:段太碎时并行度上不去。
  • 误区:构建参数越大越好。正解:构建更慢且内存更高。

追问

  • 问:构建期能限速吗?答:可通过任务并发度控制,避免挤占查询。
  • 问:构建失败重试会重复劳动吗?答:会,需定位失败原因而不是无限重试。

05.6.1.1-038 灰度发布与蓝绿部署怎么做?

频率 ★★★☆☆ | 难度 高级

一句话结论

数据类系统的灰度要「双环境 + 双写或影子读 + 结果对比」,先小流量验证召回与延迟,再逐步切流并保留回滚路径。

概念解释

  • 双环境:新旧集群并存,同一份数据双写。
  • 影子读:主链路走旧,旁路走新,比较结果差异。
  • 切流:按租户或百分比逐步切换,观察指标。

原理流程

建新集群 → 双写 → 影子读比对 → 5% 切流 → 50% → 全量 → 下线旧集群

代码 / 命令

# 对比维度:行数一致、抽样命中一致、recall 对比、P99 对比、成本

常见误区

  • 误区:直接切全量再回滚。正解:向量重建成本高,回滚代价大。
  • 误区:只看接口成功率。正解:检索质量差异不一定表现为错误。

追问

  • 问:双写期间如何保证一致?答:按主键幂等 + 定时对账 + 差异修复任务。
  • 问:切流后旧集群何时下线?答:观察一个完整业务周期且无回滚需求后。

05.6.1.1-039 限流与降级怎么做?

频率 ★★★☆☆ | 难度 高级

一句话结论

在接入层做租户级限流,在检索层做「缩小候选、降 topK、关重排」的分级降级,保证核心链路可用。

概念解释

  • 限流维度:租户、接口、集合。
  • 降级手段:减少 topK、关闭 rerank、跳过混合检索、返回缓存结果。
  • 保护目标:避免单个租户打爆共享资源。

原理流程

配额分配 → 超限拒绝或排队 → 压力升高触发降级开关 → 恢复后逐级放开

代码 / 命令

# 客户端侧配合:超时 + 熔断 + 重试退避,避免雪崩

常见误区

  • 误区:只在客户端重试。正解:重试会放大压力,必须配合服务端限流。
  • 误区:降级会伤害体验不能做。正解:降级是保可用,比整体超时更好。

追问

  • 问:如何定配额?答:按租户历史峰值与 SLA 定,并保留突发额度。
  • 问:降级开关怎么验证?答:定期演练,确认降级路径真的生效。

05.6.1.1-040 多租户隔离有哪几种做法?

频率 ★★★★☆ | 难度 高级

一句话结论

按隔离强度从弱到强是「共享集合 + 租户字段过滤 → 独立分区 → 独立集合 → 独立集群」,隔离越强成本越高。

概念解释

  • 共享集合 + 过滤:成本最低,但过滤选择性差时性能与隔离性都弱。
  • 分区:逻辑隔离,查询可裁剪。
  • 独立集合:schema 与索引参数可按租户调。
  • 独立集群:最强隔离,成本最高。

原理流程

评估租户数量与数据量 → 定隔离级别 → 设计路由与配额 → 观测租户级指标

代码 / 命令

# 关键:无论哪级隔离,都要有租户级限流与指标,否则无法定位问题

常见误区

  • 误区:只靠 where tenant_id 就够。正解:大租户会拖慢同集合的其他租户。
  • 误区:每个租户一个集群最稳。正解:运维与成本不可承受。

追问

  • 问:大租户怎么单独处理?答:单独集合或独立集群,按收入与 SLA 分级。
  • 问:租户迁移怎么做?答:按租户维度导出重建,双写灰度。

05.6.1.1-041 权限与数据安全怎么设计?

频率 ★★☆☆☆ | 难度 进阶

一句话结论

从「网络隔离、身份认证、集合级授权、字段脱敏」四层做防护,向量库不当业务主库,敏感原文尽量不进库。

概念解释

  • 网络:内网访问、白名单、TLS。
  • 认证:账号与角色,按集合授权。
  • 数据:原文脱敏、向量不可逆假设需谨慎(存在反演风险)。
  • 审计:记录 DDL 与高危操作。

原理流程

划分环境与网络 → 建账号与角色 → 集合级授权 → 敏感字段脱敏 → 审计与巡检

代码 / 命令

# 注意:Embedding 不等于匿名化,原文反演风险要在文档中说明

常见误区

  • 误区:只存向量就安全。正解:向量可被用于反演与关联,仍需访问控制。
  • 误区:一个超级账号走天下。正解:最小权限 + 分环境凭据。

追问

  • 问:多租户下如何做行级隔离?答:集合或分区隔离 + 查询强制带租户条件。
  • 问:审计要记录什么?答:谁在何时做了哪些 DDL 与批量删除。

05.6.1.1-042 自建与云托管(如 Zilliz Cloud)怎么选?

频率 ★★★☆☆ | 难度 进阶

一句话结论

自建换取可控与边际成本优势,前提是有专职运维;托管换取免运维与弹性,代价是单价更高与能力受限于厂商。

概念解释

  • 自建:资源可控、可深度调优、数据自主,但需承担组件运维与故障处理。
  • 托管:开箱可用、自动扩缩容与备份,但需接受配额、区域与合规限制。
  • 判断:团队规模、数据合规、成本曲线、峰值弹性需求。

原理流程

评估运维人力 → 估算三年成本 → 检查合规与地域 → 选形态 → 保留迁移方案

代码 / 命令

# 成本对比要含:机器、存储、带宽、人力、故障损失

常见误区

  • 误区:托管一定更贵。正解:把人力与故障成本算进来常相反。
  • 误区:托管就无法迁移。正解:仍应保留导出与自建兼容方案。

追问

  • 问:混合形态可行吗?答:核心自建 + 弹性峰值走托管是常见折中。
  • 问:如何避免厂商锁定?答:统一抽象层 + 定期导出演练。

05.6.1.1-043 集群上线前的检查清单有哪些?

频率 ★★★★☆ | 难度 进阶

一句话结论

上线检查覆盖「依赖就绪、容量达标、监控告警、备份恢复、压测结论、回滚方案」六块,缺一项都算未完成。

概念解释

  • 依赖:etcd、对象存储、MQ 的健康与容量。
  • 容量:内存与磁盘余量、扩容阈值。
  • 观测:看板、告警、日志采集。
  • 兜底:备份、回滚、限流与降级开关。

原理流程

依赖巡检 → 容量核对 → 监控验证 → 备份演练 → 压测回归 → 回滚演练 → 签字上线

代码 / 命令

# 验收:写入/检索/过滤/删除/重建索引 五条主链路各跑一遍

常见误区

  • 误区:只验证能写入能查询。正解:删除、重建索引、恢复才是高发故障点。
  • 误区:压测用随机向量就行。正解:分布与维度要与真实一致。

追问

  • 问:压测通过标准是什么?答:在目标 QPS 下 P99 与 recall 均达标且资源有余量。
  • 问:回滚演练有必要吗?答:有,否则真故障时不敢回滚。

05.6.1.1-044 一次典型的写入超时怎么排查?

频率 ★★★★☆ | 难度 进阶

一句话结论

按链路倒推:客户端超时设置 → Proxy 与协调层 → MQ 堆积 → Data Node 消费与 flush → 对象存储,逐段排除。

概念解释

  • 客户端侧:超时过短、批量过大、单条 payload 过大。
  • 服务侧:MQ 堆积、Data Node 资源饱和、flush 卡住。
  • 存储侧:对象存储限流或带宽不足。

原理流程

复现并记录 request id → 查各段耗时 → 对照资源指标 → 定位瓶颈段 → 处置并回归

代码 / 命令

# 常见处置:降批量、扩 Data Node、修对象存储限流、调整超时

常见误区

  • 误区:直接调大客户端超时。正解:只是掩盖,堆积仍会持续恶化。
  • 误区:只看错误率不看堆积。正解:超时往往伴随队列水位上升。

追问

  • 问:批量多大合适?答:以单批耗时可观测且可重试为准,压测确定。
  • 问:超时后要重试吗?答:按主键幂等重试,并加退避避免放大。

05.6.1.1-045 检索结果的可见性与“写后读”怎么保证?

频率 ★★★★☆ | 难度 高级

一句话结论

写后读依赖一致性等级与段加载状态:需要立即可见就读 Strong 级并在写后等待确认,否则用 Bounded 并在业务侧容忍窗口。

概念解释

  • 影响因素:一致性等级、flush 是否完成、段是否被 Query Node 加载。
  • 手段:写后按主键做点查确认、读取时指定更强一致性、业务侧加幂等与延迟容忍。
  • 风险:强一致会显著降低写入吞吐。

原理流程

写入 → 等待可见确认 → 业务侧再查 → 若不可见按策略重试 → 记录窗口指标

代码 / 命令

# 实践:把“写完必须能搜到”的需求识别出来,单独走强一致链路

常见误区

  • 误区:写入成功就等于能检索。正解:可见性是独立语义。
  • 误区:全局强一致最省心。正解:成本高,应按场景分级。

追问

  • 问:如何度量可见性延迟?答:埋点记录写入时间与首次可检索时间的差值分布。
  • 问:强一致下吞吐不够怎么办?答:拆分关键链路与批量链路,各自用不同等级。

05.6.1.1-046 数据删除与合规(如被遗忘权)怎么落地?

频率 ★★☆☆☆ | 难度 高级

一句话结论

删除要覆盖「检索库标记删除 + compaction 物理清理 + 备份与日志中的副本」,并保留可审计的删除记录。

概念解释

  • 检索库:标记删除后需 compaction 才真正释放。
  • 备份:历史备份中仍存在,需要按合规要求处理保留期。
  • 旁路:日志、消息队列、缓存中可能留有原文。

原理流程

接收删除请求 → 按主键标记删除 → 触发 compaction → 清理缓存与日志副本 → 记录审计 → 定期核验

代码 / 命令

# 核验:抽样按主键查询确认已不可检索;统计剩余命中数

常见误区

  • 误区:删除接口返回成功即合规。正解:物理清理与备份处理才算闭环。
  • 误区:向量不含原文所以无需删除。正解:向量可关联回原文,仍需删除。

追问

  • 问:如何证明已删除?答:审计日志 + 抽样核验报告 + 备份处理记录。
  • 问:compaction 不及时怎么办?答:设置删除比例阈值主动触发。

05.6.1.1-047 集群成本怎么优化?

频率 ★★★☆☆ | 难度 高级

一句话结论

成本优化抓四件事:量化与降维降内存、冷热分层降存储、按负载弹性伸缩、减少无谓副本与重复索引。

概念解释

  • 内存是大头:量化能把内存降一个量级,需用重打分保召回。
  • 存储:冷数据走低成本存储与磁盘索引。
  • 弹性:低峰缩容、高峰扩容,注意加载窗口。
  • 冗余:副本按 SLA 定,不必全域高副本。

原理流程

成本拆解(内存/存储/带宽/人力)→ 找最大项 → 对应优化 → 验证召回与延迟 → 固化

代码 / 命令

# 顺序建议:先量化与冷热分层,再谈弹性与副本

常见误区

  • 误区:只砍机器数量。正解:可能换来延迟与稳定性下降,需指标验证。
  • 误区:量化一定安全。正解:低比特量化需要重打分与召回验证。

追问

  • 问:如何量化收益?答:单位千次查询成本 + 内存占用对比。
  • 问:降本会不会影响 SLA?答:要做压测与灰度,逐项确认。

05.6.1.1-048 给你一个日均千万级文档的 RAG 场景,怎么设计 Milvus 架构?

频率 ★★★★★ | 难度 高级

一句话结论

按「规模估容量 → 定索引与量化 → 定分片与副本 → 定一致性等级 → 设计写入与冷热分层 → 配监控与压测」给出完整方案,并明确假设与验证方式。

概念解释

  • 输入:文档数与 chunk 数、维度、日增量、QPS 与 P99 目标、过滤维度(租户/时间/权限)。
  • 关键决策:索引类型与量化、分片数、副本数、一致性等级、是否需要混合检索。
  • 交付物:资源清单、部署拓扑、容量与扩容阈值、监控与告警、压测计划。

原理流程

1) 估算向量数与内存  2) 选索引与量化  3) 定分片与副本  4) 定写入链路与一致性
5) 冷热分层与归档     6) 监控告警        7) 压测校准       8) 灰度上线与回滚

代码 / 命令

# 面试表达:先说假设 → 再说方案 → 再说取舍理由 → 最后说如何验证
# 示例结构:规模/维度/过滤 → 索引与量化 → 分片副本 → 一致性 → 运维兜底 → 压测指标

常见误区

  • 误区:直接说“上大集群”。正解:无假设与数字的方案不可信。
  • 误区:忽略过滤维度。正解:租户与权限过滤会显著改变索引与分片设计。

追问

  • 问:如果 QPS 只有峰值时段高怎么办?答:弹性扩容 + 限流 + 降级,避免长期高配。
  • 问:如何验证方案?答:构造真实分布数据集压测 recall@k 与 P99,并用小规模真实数据回填内存模型。

参考来源