05.6.1.1 架构部署与集群运维
所属:全栈开发面试题库 / 05 数据库与存储 / 05.6 向量数据库与语义检索 / 05.6.1 Milvus
覆盖范围
- Milvus 的定位、与 pgvector / Qdrant / ES 的差异
- 2.x 架构:接入层、协调层、执行层、存储层四段职责与数据流
- Standalone 与 Cluster 两种部署形态、依赖中间件、资源规划
- segment、flush、compaction、负载均衡等运行期机制
- 一致性等级、主键与写入路径、容量评估
- 监控指标、故障排查、备份恢复、升级与多租户
- 自建与云托管形态的取舍
架构主线
客户端 SDK
↓ gRPC / REST
Proxy(无状态接入、路由、结果归并)
↓
Coordinator(Root / Query / Data / Index:元数据与任务编排)
↓ ↘
Query Node(段加载、检索执行) Data Node(写入、落盘)
↓ ↙
Index Node(异步构建索引)
↓
对象存储(段文件 / 索引文件) + 元数据存储(etcd) + 消息队列(日志流)
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.6.1.1-002 | Milvus 2.x 组件职责划分 | 进阶 | ★★★★★ |
| 05.6.1.1-005 | 消息队列在写入链路中的作用 | 高级 | ★★★★☆ |
| 05.6.1.1-011 | Standalone 与 Cluster 选型 | 进阶 | ★★★★★ |
| 05.6.1.1-014 | 内存与磁盘容量估算 | 高级 | ★★★★★ |
| 05.6.1.1-016 | Query Node 副本数与吞吐 | 高级 | ★★★★☆ |
| 05.6.1.1-020 | growing / sealed segment 与 flush | 高级 | ★★★★★ |
| 05.6.1.1-023 | 一致性等级怎么选 | 高级 | ★★★★☆ |
| 05.6.1.1-031 | 备份恢复方案 | 进阶 | ★★★☆☆ |
| 05.6.1.1-040 | Query Node OOM 排查 | 高级 | ★★★★☆ |
| 05.6.1.1-048 | 一套完整的架构与容量设计 | 高级 | ★★★★★ |
05.6.1.1-001 Milvus 的定位是什么,什么场景该选它?
频率 ★★★★★ | 难度 基础
一句话结论
Milvus 是面向十亿级向量规模、需要独立扩缩容与多租户的分布式向量数据库;数据量小或已在 PostgreSQL 体系内时,pgvector 往往更划算。
概念解释
- 定位:专用向量数据库,负责向量存储、ANN 索引、标量过滤与近邻检索,不承担事务型业务主库职责。
- 优势:水平扩展、索引与查询解耦、多索引类型、多租户与配额能力。
- 代价:部署组件多、运维复杂度高、需要独立的一套监控与容量规划。
原理流程
选型判断:向量规模 → 更新频率 → 过滤复杂度 → 一致性要求 → 运维能力
规模大 + 高并发 → 独立向量库(Milvus / Qdrant)
已在 PG + 规模中等 → pgvector
关键词与语义都要 → ES / OpenSearch
代码 / 命令
# 面试表达模板
# 1) 说明数据规模与 QPS 目标 2) 说明过滤与多租户需求 3) 说明运维与成本约束
# 4) 给出候选库与取舍理由 5) 给出压测验证方式
常见误区
- 误区:向量库可以替代业务主库。正解:业务数据仍关系型库持有,向量库只存向量与检索所需字段。
- 误区:数据量小也上分布式向量库。正解:小规模用内嵌或 pgvector 更省运维成本。
追问
- 问:Milvus 与 Faiss 的区别?答:Faiss 是算法库,无服务化、无元数据与多租户;Milvus 是完整数据库系统。
- 问:什么时候会从 Milvus 退回 pgvector?答:向量规模与 QPS 下降、或希望减少一套中间件时。
05.6.1.1-002 Milvus 2.x 由哪些组件组成,各自职责是什么?
频率 ★★★★★ | 难度 进阶
一句话结论
2.x 按「接入层 Proxy、协调层 Coordinator、执行层 Node、存储层对象存储 + etcd + 消息队列」四段解耦,各组件无状态或有状态职责清晰,可独立扩缩容。
概念解释
- Proxy:对外暴露 gRPC / REST,做请求校验、路由、结果归并与负载均衡。
- Coordinator:Root(DDL 与拓扑)、Query(段分配与查询调度)、Data(写入与 flush 编排)、Index(索引任务编排)。
- 执行层:Query Node(加载段并执行检索)、Data Node(消费写入日志并落盘)、Index Node(构建索引)。
- 存储层:对象存储放段与索引文件,etcd 存元数据与拓扑,消息队列承载写入日志流。
原理流程
写:Proxy → Data Coordinator 分配 → 写 MQ → Data Node 消费 → 落 growing segment → flush → 对象存储
读:Proxy → Query Coordinator 定位段 → Query Node 加载段 → 检索 → 归并 → 返回
索引:Index Coordinator 派发任务 → Index Node 构建 → 写回对象存储 → 元数据登记
代码 / 命令
# 观察组件角色:集群部署时按组件分别扩副本
# 面试要点:先把「谁负责什么」讲清,再说「为什么这样拆能独立扩展」
常见误区
- 误区:所有组件都必须多副本。正解:Proxy 与 Query Node 可水平扩展,Coordinator 与元数据存储的高可用方式不同。
- 误区:Coordinator 直接读写数据。正解:Coordinator 只做编排与元数据,数据面在执行层与存储层。
追问
- 问:为什么把索引构建拆成异步任务?答:构建耗 CPU 与内存,异步化避免阻塞写入与查询。
- 问:etcd 存什么?答:集合 schema、段元数据、节点拓扑与任务状态等(具体键空间以官方文档为准)。
05.6.1.1-003 Proxy 为什么设计成无状态,有什么好处?
频率 ★★★☆☆ | 难度 进阶
一句话结论
Proxy 无状态才能水平扩展、快速重启、按请求量弹性伸缩,并在故障时被任意替换而不丢上下文。
概念解释
- 无状态:不持有数据与索引,只持有连接与请求上下文。
- 好处:横向扩容简单、故障恢复只需重启、滚动升级不影响数据面。
- 代价:每次请求都要查元数据或依赖缓存,需要控制元数据访问频率。
原理流程
请求 → Proxy 校验 → 查 Coordinator 元数据(定位段与节点)→ 转发 Query Node → 归并 TopK
代码 / 命令
# 扩展方式:增加 Proxy 副本,前面挂负载均衡
# 注意:客户端连接数、超时、重试策略要与副本数匹配
常见误区
- 误区:Proxy 缓存了全部段信息。正解:以元数据服务为准,缓存只是性能优化且需失效机制。
- 误区:Proxy 扩容就能提升所有性能。正解:瓶颈常在 Query Node 或索引侧,先定位再扩。
追问
- 问:Proxy 断开重连影响查询吗?答:单请求失败可重试,无状态故不丢数据。
- 问:为什么客户端要复用连接?答:减少握手与元数据查询开销。
05.6.1.1-004 Root Coordinator 与 Query Coordinator 的边界在哪?
频率 ★★★☆☆ | 难度 进阶
一句话结论
Root 管「集合、分区、索引、节点」这类全局 DDL 与拓扑;Query 管「段怎么分配给哪个 Query Node、查询任务怎么调度」这类运行期读路径编排。
概念解释
- Root:集合与分区生命周期、索引元数据、节点注册与心跳、权限相关元数据。
- Query:段到 Query Node 的分配与再均衡、查询请求的调度与超时控制。
- 边界意义:DDL 与读调度解耦,避免 DDL 抖动影响正在跑的查询。
原理流程
CREATE COLLECTION → Root 校验并写元数据 → Query 侧准备可服务状态
查询 → Proxy → Query Coordinator 选节点 → Query Node 执行
代码 / 命令
# 排障顺序:DDL 卡住先看 Root,查询慢先看 Query 与 Query Node 资源
常见误区
- 误区:两者可合并部署就无需区分。正解:逻辑职责仍需分清,否则排障会误判。
追问
- 问:段再均衡由谁触发?答:Query Coordinator 依据负载与资源做调度(具体策略以官方文档为准)。
- 问:DDL 与查询互相影响怎么隔离?答:控制 DDL 频率、错峰执行、必要时独立部署协调组件。
05.6.1.1-005 消息队列(Pulsar / Kafka)在写入链路里起什么作用?
频率 ★★★★☆ | 难度 高级
一句话结论
消息队列把写入请求与落盘执行解耦,让 Data Node 按日志流顺序消费,从而支持削峰、重放与多消费者扩展。
概念解释
- 作用一:解耦 —— Proxy/Coordinator 只登记写入,实际落盘由 Data Node 消费日志完成。
- 作用二:削峰 —— 突发写入先进队列,避免直接打爆 Data Node。
- 作用三:可重放 —— 消费位点可回退,便于故障恢复与一致性修复。
- 代价:多一跳延迟、多一套中间件运维,队列堆积会直接表现为写入延迟上升。
原理流程
Insert → Proxy → 分配 channel → 写 MQ → Data Node 消费 → 内存 growing segment → flush → 对象存储
代码 / 命令
# 排障关注:队列堆积量、消费延迟、consumer 数量与分区数是否匹配
常见误区
- 误区:MQ 只是可选组件,去掉更快。正解:去掉会失去写入解耦与重放能力,集群形态依赖它。
- 误区:写入返回成功等于已持久化。正解:返回成功通常表示已接收,落盘与可搜索还依赖 flush 与一致性等级。
追问
- 问:Pulsar 与 Kafka 的取舍?答:看团队运维经验与多租户、消息保留策略需求,功能上都可承载日志流。
- 问:队列堆积怎么处理?答:扩 Data Node 消费能力、检查是否有慢 flush、必要时限流上游写入。
05.6.1.1-006 Query Node 在做什么,为什么它最吃内存?
频率 ★★★★☆ | 难度 进阶
一句话结论
Query Node 负责把分配到的段(向量与索引)加载进内存并执行检索,向量数据与 HNSW 图本身驻留内存,所以内存是它的第一约束。
概念解释
- 职责:段加载与卸载、向量索引驻留、过滤与 TopK 计算、结果归并前的局部排序。
- 内存构成:原始向量、索引结构(如图与邻接表)、标量字段、查询期临时缓冲。
- 约束:加载的段越多、维度越高、副本越多,内存占用线性上升。
原理流程
段分配 → 加载索引与向量 → 建查询上下文 → 执行 ANN + 过滤 → 返回局部 TopK
代码 / 命令
# 容量估算:内存 ≈ 段向量数 × 维度 × 每维字节 × 放大系数(含索引结构)
# 索引结构开销按索引类型单独估算,不要只用原始向量大小
常见误区
- 误区:磁盘够就行。正解:查询期数据需驻留内存或走磁盘索引,内存不足会频繁换入换出。
- 误区:加副本一定提升吞吐。正解:副本也占内存,先看单节点是否已饱和。
追问
- 问:Query Node 内存告急的现象?答:延迟抖动、加载失败、查询超时甚至节点被驱逐。
- 问:如何降低单节点内存?答:降维、量化、减少副本、分片更细或用磁盘索引。
05.6.1.1-007 Data Node 的写入路径是怎样的?
频率 ★★★★☆ | 难度 进阶
一句话结论
Data Node 从消息队列消费写入,先写内存中的 growing segment,达到阈值后 flush 成 sealed segment 落到对象存储。
概念解释
- growing segment:可写的内存段,承接新写入。
- sealed segment:flush 后不可变,进入对象存储,可被索引与查询。
- 写入放大:同一条数据会经历内存、日志、对象存储多份形态。
原理流程
消费日志 → 校验主键与 schema → 写 growing segment(含删除标记)→ 触发 flush → 生成 binlog 与段文件 → 落对象存储 → 元数据登记
代码 / 命令
# 观察点:growing segment 数量、flush 频率、段文件大小分布
常见误区
- 误区:写入立即对查询可见。正解:可见性取决于 flush 与一致性等级。
- 误区:flush 越频繁越好。正解:过频会产生大量小段,加重查询与 compaction 负担。
追问
- 问:为什么要控制段大小?答:小段多会增加扫描与元数据开销,大段则使 compaction 与重建更重。
- 问:写入失败怎么重试?答:按主键幂等重试,避免重复插入。
05.6.1.1-008 Index Node 的职责与索引构建流程?
频率 ★★★★☆ | 难度 进阶
一句话结论
Index Node 消费索引构建任务,把 sealed segment 的向量构建成指定索引文件并写回对象存储,构建过程与在线查询互不阻塞。
概念解释
- 任务来源:Index Coordinator 依据索引定义与段状态派发。
- 执行:读取段向量 → 训练(部分索引需要)→ 构建图或聚类 → 写索引文件 → 登记元数据。
- 特点:CPU 与内存密集、可并行多任务、失败可重试。
原理流程
新 sealed segment → 任务入队 → Index Node 领取 → 读段 → 构建 → 写对象存储 → 元数据标记已索引 → Query Node 可加载
代码 / 命令
# 观察点:待构建任务数、构建耗时、Index Node CPU 与内存峰值
常见误区
- 误区:建索引要在业务低峰手工触发。正解:通常是异步自动流程,但大批量导入时可主动控制节奏。
- 误区:索引建完自动生效无需加载。正解:Query Node 需加载新段与索引才会参与检索。
追问
- 问:构建失败会怎样?答:段保持未索引状态、可重试,检索侧通常退化或用其他索引兜底。
- 问:构建期间能查询吗?答:能,查询走已有段;新段在构建完成并加载后参与。
05.6.1.1-009 为什么元数据放在 etcd,而不是业务数据库?
频率 ★★★☆☆ | 难度 进阶
一句话结论
元数据需要强一致的小数据量读写、watch 变更通知与高可用,etcd 的 Raft 共识与 watch 机制正好匹配这类协调型数据。
概念解释
- 存什么:集合与分区 schema、段与索引元数据、节点注册与心跳、任务状态。
- 为什么合适:数据量小、读写频繁、需强一致与变更通知。
- 不适合存:向量本体与段文件,数据量大且是顺序读。
原理流程
组件启动 → 注册到 etcd → 心跳保活 → 元数据变更写 etcd → 其他组件 watch 感知
代码 / 命令
# 运维要点:etcd 集群奇数节点、独立磁盘、快照备份、容量与延迟监控
常见误区
- 误区:etcd 可以随便放在业务节点上。正解:etcd 对磁盘延迟敏感,混部易引发抖动。
- 误区:etcd 数据丢了能自动恢复。正解:需要备份策略,元数据丢失影响面很大。
追问
- 问:etcd 变慢会怎样?答:组件心跳与元数据操作受阻,表现为整体不可用或操作超时。
- 问:etcd 与对象存储的分工?答:前者存“指向哪里”,后者存“数据本身”。
05.6.1.1-010 对象存储(MinIO / S3)承担什么角色?
频率 ★★★☆☆ | 难度 进阶
一句话结论
对象存储是段文件、索引文件与 binlog 的最终落点,提供低成本大容量持久化,使计算层可以无状态化与弹性伸缩。
概念解释
- 存什么:sealed segment 的数据文件、索引文件、删除日志与 binlog。
- 价值:容量与计算解耦,节点重建只需重新加载,不必本地持久化。
- 要求:吞吐与延迟要能支撑加载与 flush,否则查询冷启动会变慢。
原理流程
flush → 写对象存储 → 元数据登记路径 → Query Node 加载时按路径拉取 → 本地缓存
代码 / 命令
# 运维要点:对象存储带宽、并发连接、分片上传、生命周期与备份策略
常见误区
- 误区:对象存储慢一点没关系。正解:冷段加载与重建都依赖它,是隐性瓶颈。
- 误区:用了对象存储就不需要备份。正解:误删与元数据损坏仍需独立备份。
追问
- 问:本地盘还要吗?答:通常用作缓存或 WAL 类临时空间,最终数据仍在对象存储。
- 问:对象存储故障的表现?答:加载失败、flush 卡住、查询命中冷段时延迟飙升。
05.6.1.1-011 Standalone 与 Cluster 怎么选?
频率 ★★★★★ | 难度 进阶
一句话结论
数据量在单机内存与容量可承载范围内、且无高可用要求时用 Standalone;需要水平扩展、故障隔离与多副本时用 Cluster。
概念解释
- Standalone:单进程内含全部角色,部署简单,适合开发、测试、中小规模生产。
- Cluster:组件分离、可独立扩缩容,支持副本与多节点容错。
- 判断依据:向量总量、QPS、可用性要求、是否需要滚动升级。
原理流程
估算内存 → 判断单机是否够用 → 评估 HA 与扩展需求 → 选形态 → 规划资源与监控
代码 / 命令
# 开发环境:单机容器一键起
# 生产:按组件部署,至少保证查询与数据面多副本、元数据三节点
常见误区
- 误区:先上 Cluster 再考虑规模。正解:运维成本与组件数量成正比,规模不到就先用单机。
- 误区:Standalone 不能用于生产。正解:中小规模、可接受停机窗口的场景可用,但要接受单点风险。
追问
- 问:从 Standalone 迁到 Cluster 麻烦吗?答:需要按备份导出与导入流程迁移,不能简单换部署形态。
- 问:Cluster 最少几个节点?答:取决于组件与副本规划,重点是 etcd 与协调组件的容错。
05.6.1.1-012 容器化部署(Docker Compose)要注意什么?
频率 ★★★☆☆ | 难度 基础
一句话结论
Compose 部署适合开发与演示,关键是数据卷持久化、组件启动顺序与依赖服务健康检查,不能直接照搬到生产。
概念解释
- 数据卷:etcd、对象存储、消息队列的数据必须挂持久卷,容器重建不能丢。
- 启动顺序:依赖服务(etcd、对象存储、消息队列)先就绪,再起组件。
- 资源限制:给容器设置内存与 CPU 上限,避免单机互相挤占。
原理流程
compose up → 依赖服务健康 → 组件注册 etcd → Proxy 可接入 → 客户端连通性验证
代码 / 命令
# 验证顺序:容器状态 → 组件日志无报错 → 端口可访问 → 建集合 → 写入检索闭环
常见误区
- 误区:容器内数据目录不挂卷也能跑。正解:容器重建即丢数据。
- 误区:本机端口冲突不影响。正解:端口映射冲突会导致组件注册失败。
追问
- 问:开发环境要开监控吗?答:至少保留日志与基础指标,便于提前发现问题。
- 问:多环境配置差异怎么管?答:用配置模板 + 环境变量,避免手改文件。
05.6.1.1-013 Kubernetes / Helm 部署的关键点?
频率 ★★★★☆ | 难度 高级
一句话结论
K8s 部署的关键是有状态依赖与无状态组件分开对待:元数据与对象存储走稳定存储,执行层按负载水平扩展,并用探针与资源限额兜底。
概念解释
- 无状态:Proxy、Query Node、Index Node 可多副本水平扩展。
- 有状态:etcd 需持久卷与奇数副本;对象存储建议用成熟的对象存储服务。
- 关键配置:requests/limits、readiness 探针、反亲和、PDB。
原理流程
依赖服务就绪 → 协调组件起 → 执行层起 → 探针通过 → 客户端接入 → 压测验证
代码 / 命令
# 编排要点:资源限额 + 探针 + 反亲和 + 优雅停机
# 有状态组件不要与执行层混布在同一批节点上
常见误区
- 误区:所有组件都设成无状态多副本。正解:元数据组件有状态,扩副本方式不同。
- 误区:没有 readiness 探针也能上线。正解:未就绪即接流量会放大启动期错误。
追问
- 问:滚动升级会不会丢查询?答:无状态层可滚动,注意在途请求与超时;有状态层需谨慎。
- 问:节点驱逐时怎么办?答:设 PDB 与优先级,保证关键组件不集中被驱逐。
05.6.1.1-014 如何估算 Milvus 的内存与磁盘容量?
频率 ★★★★★ | 难度 高级
一句话结论
内存按「向量原始大小 + 索引结构开销 + 标量字段 + 查询缓冲」估算并乘以副本数;磁盘按「原始数据 + 多版本段 + 索引文件 + 日志」估算,留出 compaction 余量。
概念解释
- 向量内存:数量 × 维度 × 每维字节(float32 为 4 字节,half 为 2 字节)。
- 索引开销:HNSW 图结构额外占用显著,量化索引可大幅压缩,磁盘索引走磁盘。
- 副本放大:每个 Query Node 副本都持有一份可服务数据。
- 磁盘放大:flush 产生新段,旧段在 compaction 前并存。
原理流程
确定规模与维度 → 选类型与量化 → 算单份内存 → × 副本 → 加索引与缓冲 → 得到内存
再算磁盘:原始 + 索引 + 历史段 + 日志 → 留 30% 以上余量
代码 / 命令
# 估算示例(数值按实际替换,不要背结论)
# 内存 ≈ N × D × bytes × (1 + 索引放大) × 副本数 + 查询缓冲
# 常见结论:量化能把内存降一个量级,但召回需要重打分兜底
常见误区
- 误区:只按向量原始大小买内存。正解:索引结构与副本会让实际占用翻倍甚至更多。
- 误区:磁盘按原始数据一比一。正解:多版本段与索引文件会显著放大。
追问
- 问:内存不够优先压缩还是扩节点?答:先量化与降维,再考虑扩节点,注意召回验证。
- 问:怎么验证估算?答:小规模真数据导入后读实际内存占用,按比例放大。
05.6.1.1-015 维度对资源的影响有多大,怎么降维?
频率 ★★★★☆ | 难度 进阶
一句话结论
内存、索引构建时间与查询计算量都随维度近似线性增长,降维或量化是控制成本最直接的手段。
概念解释
- 内存:维度减半,向量本体减半,索引开销也同步下降。
- 计算:距离计算量与维度成正比,高维还会加剧 ANN 的召回难度。
- 降维手段:换更小维度模型、PCA / 投影、量化。
原理流程
评估现有维度 → 试验更低维模型 → 用召回指标对比 → 达标则切换 → 全量重建
代码 / 命令
# 验证:同一查询集,比较不同维度下的 recall@k 与 P99
常见误区
- 误区:维度可以直接截断。正解:简单截断破坏语义,应使用有训练的降维或换模型。
- 误区:换模型不影响历史数据。正解:新旧向量不可混用,必须全量重建。
追问
- 问:降维后召回下降怎么办?答:加重打分、混合检索或接受更高维的折中。
- 问:换 Embedding 模型的迁移步骤?答:双写新向量 → 影子读对比 → 灰度切流。
05.6.1.1-016 副本数怎么定,副本与分片有什么区别?
频率 ★★★★☆ | 难度 高级
一句话结论
分片解决容量与单节点上限,副本解决吞吐与可用性;副本增加内存占用与写入成本,不能无脑加。
概念解释
- 分片:把集合数据切到多个物理单元,降低单节点内存压力。
- 副本:同一份数据的多份可服务拷贝,提升并发查询能力与容灾。
- 代价:副本越多,索引构建任务与内存总量越大。
原理流程
容量不足 → 增加分片;QPS 不足且单节点未饱和 → 增加副本
两者都缺 → 先分片再副本,避免副本放大内存
代码 / 命令
# 判断依据:看 Query Node CPU 与内存使用率、查询排队与 P99
常见误区
- 误区:加副本能解决所有慢查询。正解:慢在过滤或索引参数时,加副本只是分摊不解决根因。
- 误区:分片越多越好。正解:分片过多增加调度与元数据开销。
追问
- 问:副本一致性如何保证?答:写入经日志流统一下发,副本按同一数据源加载。
- 问:副本数改变要重建吗?答:调整副本会触发数据再分配与加载,需评估窗口。
05.6.1.1-017 集群如何水平扩容,扩容后注意什么?
频率 ★★★☆☆ | 难度 进阶
一句话结论
扩容以「加执行层节点」为主,新节点注册后由协调层做段再均衡;扩容后要观察再均衡进度与内存峰值,避免瞬时压力叠加。
概念解释
- 扩容对象:Proxy(接入并发)、Query Node(查询能力)、Data/Index Node(写入与构建)。
- 再均衡:协调层把部分段迁到新节点,过程中会加载数据,产生带宽与内存峰值。
- 注意:扩容不等于性能线性提升,段分布不均会限制收益。
原理流程
新增节点 → 注册心跳 → 协调层感知 → 段再均衡 → 加载完成 → 流量自然分摊
代码 / 命令
# 观察:新节点内存爬升曲线、段数量分布、查询 P99 是否改善
常见误区
- 误区:扩容立即生效。正解:要等段加载完成才具备服务能力。
- 误区:只扩 Query Node 就够。正解:写入或构建瓶颈需扩对应组件。
追问
- 问:再均衡会不会拖慢查询?答:会有阶段性的资源竞争,建议低峰扩容并限速。
- 问:缩容要注意什么?答:先确保剩余节点容量足够,再迁段,最后下线节点。
05.6.1.1-018 growing 与 sealed segment 的差别是什么?
频率 ★★★★☆ | 难度 进阶
一句话结论
growing 是可写、在内存中、尚未持久化的段;sealed 是已 flush、不可变、落对象存储并可建索引的段。
概念解释
- growing:承接增量写入,数据仅部分持久化,查询可见性受一致性等级影响。
- sealed:flush 后固定,作为索引构建与查询的基本单位。
- 生命周期:growing → flush → sealed → 建索引 → compaction 合并。
原理流程
写入 growing → 达阈值触发 flush → sealed 生成 → 索引任务 → compaction 合并小段
代码 / 命令
# 观察:growing 段数量过多说明 flush 节奏或写入模式有问题
常见误区
- 误区:sealed 后立即可查。正解:需加载到 Query Node 且受一致性等级约束。
- 误区:段越小越好。正解:小段多会显著增加查询与元数据开销。
追问
- 问:删除的数据怎么处理?答:以删除标记形式记录,compaction 时物理清理。
- 问:flush 由谁触发?答:Data Node 依据阈值与协调层指令触发。
05.6.1.1-019 flush 的作用与代价?
频率 ★★★★☆ | 难度 进阶
一句话结论
flush 把内存 growing segment 固化并持久化到对象存储,是数据可恢复与可索引的前提,但会带来 IO 与段数量增长。
概念解释
- 作用:持久化、生成不可变段、触发后续索引构建。
- 代价:IO 抖动、产生小段、频繁 flush 加重 compaction。
- 触发:写入量阈值、时间窗口或显式请求。
原理流程
阈值到达 → 封段 → 写数据文件与 binlog → 对象存储 → 元数据登记 → 可建索引
代码 / 命令
# 观察点:flush 耗时、频率、段文件大小分布
常见误区
- 误区:flush 等于数据已可查。正解:可见性还取决于加载与一致性等级。
- 误区:手工频繁 flush 能让数据更快可查。正解:会增加小段与 IO 压力,破坏批量写入效率。
追问
- 问:批量导入时怎么调?答:批量写入并控制 flush 节奏,减少小段。
- 问:flush 卡住怎么查?答:看对象存储可用性与带宽、Data Node IO 队列。
05.6.1.1-020 compaction 解决什么问题?
频率 ★★★★★ | 难度 高级
一句话结论
compaction 把多个小段合并成大段并物理清理已删除数据,降低查询扫描成本、回收空间、提升检索效率。
概念解释
- 合并:小段 → 大段,减少段数量与元数据开销。
- 清理:把删除标记对应的数据物理移除,实际释放空间。
- 代价:读写放大、短时 IO 与 CPU 升高,可能影响查询延迟。
原理流程
小段集合 → 选策略(按大小/数量)→ 合并重写 → 生成新段 → 替换旧段 → 更新元数据
代码 / 命令
# 观察:段数量趋势、删除比例、compaction 任务积压
常见误区
- 误区:删除后空间立即释放。正解:需 compaction 物理清理。
- 误区:compaction 不影响线上。正解:会有 IO 与 CPU 竞争,建议限速与错峰。
追问
- 问:段数量一直增长说明什么?答:写入频繁 flush 产生小段,或 compaction 跟不上。
- 问:大量删除后要注意什么?答:尽快让 compaction 清理,避免空间与查询效率持续恶化。
05.6.1.1-021 一致性等级有哪几种,怎么选?
频率 ★★★★☆ | 难度 高级
一句话结论
一致性等级从强到弱通常是 Strong、Bounded、Session、Eventually 四档;越强越安全但延迟与吞吐代价越大,检索场景常用 Bounded 或 Session 折中。
概念解释
- Strong:写入完成后立即可见,代价最高。
- Bounded:有明确的时间上界后可见,工程上常用的折中。
- Session:同一客户端会话内保证读到自己写入。
- Eventually:最快,但可能读不到刚写入的数据。
原理流程
写入 → 日志流 → flush → 段加载 → 可见
等级决定在链路哪一步返回成功、读侧是否等待
代码 / 命令
# 选择:写入后立即检索(如审核流)用强;离线批量入库用弱;在线增量用中间档
常见误区
- 误区:所有场景都用 Strong 最保险。正解:会拉高写入延迟并降低吞吐。
- 误区:弱一致一定读到旧数据。正解:只是不保证立即可见,通常在秒级窗口内可见。
追问
- 问:写入后马上搜索不到怎么办?答:检查一致性等级、flush 与段加载状态。
- 问:等级能按请求指定吗?答:通常可在客户端搜索/查询参数中指定,具体以 SDK 为准。
05.6.1.1-022 主键设计要注意什么,自增主键有什么坑?
频率 ★★★☆☆ | 难度 进阶
一句话结论
主键决定幂等 upsert 与删除定位,自增主键在分布式写入下可能出现空洞与分配开销,业务主键映射更可控。
概念解释
- 主键类型:整型或字符串,需在 schema 中显式定义。
- 自增:由系统分配的单调标识,便于生成但不利于与业务 id 对齐。
- 业务主键:用业务唯一 id 便于对账、幂等与迁移。
原理流程
写入携带主键 → 校验是否已存在 → 覆盖或拒绝 → 删除按主键定位 → 标记删除
代码 / 命令
# 建议:保留 biz_id 作为标量字段 + 主键映射表,方便迁移与对账
常见误区
- 误区:主键可以随意改。正解:主键变更通常意味着重写数据。
- 误区:重复主键会报错。正解:默认 upsert 覆盖语义,需确认是否符合预期。
追问
- 问:删除是物理删除吗?答:标记删除,compaction 后物理清理。
- 问:主键冲突怎么排查?答:按主键查写入日志与幂等记录。
05.6.1.1-023 集群的负载均衡体现在哪些层面?
频率 ★★★☆☆ | 难度 进阶
一句话结论
负载均衡分三层:接入层(Proxy 之间)、调度层(段到 Query Node 的分配)、存储层(数据分布与访问热点)。
概念解释
- 接入层:负载均衡器把请求分到多个 Proxy。
- 调度层:Query Coordinator 按资源与段规模做再均衡。
- 存储层:段分布不均会导致个别节点热,需 compaction 与再分配配合。
原理流程
请求分发 → 元数据定位 → 段加载分布 → 观察各节点 QPS/CPU/内存 → 触发再均衡
代码 / 命令
# 观察:各 Query Node 的查询量、段数量、内存使用是否接近
常见误区
- 误区:负载均衡只靠前端。正解:段分布不均时,前端均衡也救不了热点节点。
- 误区:再均衡越频繁越好。正解:频繁迁移会产生持续 IO 与内存波动。
追问
- 问:出现单节点热怎么做?答:检查该节点段数量与大小,必要时手工触发再均衡或扩容。
- 问:分区能帮忙吗?答:分区可把查询限定到子集,间接降低跨节点扫描。
05.6.1.1-024 慢查询怎么定位,常见原因有哪些?
频率 ★★★★☆ | 难度 高级
一句话结论
先分清慢在过滤、扫描规模、索引参数还是资源不足,再用指标与请求画像逐层收敛,而不是直接调参。
概念解释
- 常见原因:topK 过大、过滤选择率低、nprobe/ef 参数过大、段过多、内存不足、网络与归并开销。
- 定位手段:请求级耗时拆分、节点资源指标、段扫描量与候选数。
- 优化方向:缩小候选、优化过滤顺序、调整索引参数、减少小段。
原理流程
采集慢请求 → 拆分耗时(接入/调度/检索/归并)→ 对症调参或扩容 → 回归压测
代码 / 命令
# 排查顺序:资源是否饱和 → 段是否过多 → 过滤是否失效 → 参数是否过大
常见误区
- 误区:慢查询一律调大参数。正解:参数越大越慢,方向常常相反。
- 误区:只看平均值。正解:P99 才反映真实体验。
追问
- 问:过滤条件多列怎么写?答:优先高选择性字段,并确认索引与下推能力。
- 问:批量查询会更快吗?答:可减少往返与元数据开销,但总计算量不变。
05.6.1.1-025 需要监控哪些核心指标?
频率 ★★★★☆ | 难度 进阶
一句话结论
按「请求 → 资源 → 存储 → 队列」四层建指标:延迟与错误率、CPU/内存/IO、段与索引状态、队列堆积与任务积压。
概念解释
- 请求层:QPS、P50/P99、错误率、超时数。
- 资源层:CPU、内存、磁盘 IO、网络带宽、GC 类指标。
- 存储层:段数量与大小分布、索引构建任务、compaction 进度。
- 依赖层:etcd 延迟、对象存储错误、MQ 堆积。
原理流程
埋点采集 → 汇聚到时序库 → 配阈值告警 → 建看板 → 与变更记录关联
代码 / 命令
# 常见组合:组件暴露指标 → Prometheus 抓取 → Grafana 看板 → 告警规则
常见误区
- 误区:只看 QPS 与延迟。正解:资源与队列指标才能提前预警。
- 误区:告警阈值照抄默认。正解:要按自有业务基线校准。
追问
- 问:先看哪个指标?答:先看 P99 与错误率,再看资源是否饱和。
- 问:如何避免告警风暴?答:分层告警 + 抑制规则 + 明确责任归属。
05.6.1.1-026 日志与链路追踪怎么用?
频率 ★★★☆☆ | 难度 进阶
一句话结论
排查要能把「一次请求」在 Proxy、协调层、执行层之间的耗时串起来,日志加请求 id 透传比逐台翻日志有效得多。
概念解释
- 日志分层:接入日志、协调调度日志、执行层检索日志、依赖组件日志。
- 透传:请求 id 贯穿各层,便于串联。
- 采样:高频场景做采样,避免日志本身成为瓶颈。
原理流程
客户端生成 request id → 各层日志带 id → 按 id 聚合 → 找出耗时最长环节
代码 / 命令
# 排查模板:request id → 各层时间戳 → 差值定位 → 对照当时资源指标
常见误区
- 误区:日志级别开到最详细最好。正解:高并发下会拖慢系统并淹没关键信息。
- 误区:只看错误日志。正解:慢但成功才是主要体验问题。
追问
- 问:日志保留多久?答:覆盖一个完整故障周期与复盘窗口即可。
- 问:如何避免日志泄露敏感信息?答:向量与文本字段脱敏,只保留摘要与 id。
05.6.1.1-027 备份与恢复怎么做?
频率 ★★★☆☆ | 难度 进阶
一句话结论
备份要同时覆盖元数据与数据文件,优先用官方备份工具做集合级导出,并把恢复演练纳入例行流程。
概念解释
- 备份对象:集合 schema、段与索引文件、必要的元数据快照。
- 方式:官方备份工具导出到对象存储或本地;或按集合全量导出后重建。
- 恢复验证:恢复后必须跑召回与行数校验,不能只看“导入成功”。
原理流程
选集合 → 全量导出 → 校验文件完整性 → 异机恢复 → 校验行数与抽样检索 → 记录耗时
代码 / 命令
# 要点:备份与恢复用同一版本工具;恢复环境先建同名集合 schema
常见误区
- 误区:备份了对象存储就等于备份了数据。正解:元数据缺失同样无法恢复。
- 误区:恢复后直接切流量。正解:要做抽样检索与召回对比。
追问
- 问:增量备份可做吗?答:可实现但复杂度高,常见做法是全量 + 定期校验。
- 问:RPO/RTO 怎么定?答:按业务可接受的数据丢失窗口与恢复时长反推方案。
05.6.1.1-028 版本升级要注意哪些兼容性问题?
频率 ★★★☆☆ | 难度 高级
一句话结论
升级前要核对索引兼容、SDK 版本、配置项变更与依赖组件版本,并在预发环境做完整回归,不能只验证能启动。
概念解释
- 索引兼容:旧索引文件可能需重建。
- SDK 兼容:客户端版本与服务的接口契约要匹配。
- 配置变更:参数改名、默认值变化会影响行为。
- 依赖:etcd、对象存储、MQ 版本要求。
原理流程
读变更说明 → 预发升级 → 回归写入/检索/过滤/索引 → 灰度 → 观察 → 全量
代码 / 命令
# 上线前检查:索引是否需要重建、SDK 是否升级、监控看板是否同步
常见误区
- 误区:小版本升级无风险。正解:配置默认值与索引实现都可能变化。
- 误区:升级完不重建索引也一致。正解:部分索引类型需重建才能用新特性。
追问
- 问:升级失败怎么回滚?答:保留旧版本镜像与数据快照,回滚后校验元数据。
- 问:滚动升级能做吗?答:视组件是否有状态而定,有状态需更谨慎。
05.6.1.1-029 多环境(开发、预发、生产)怎么隔离?
频率 ★★☆☆☆ | 难度 基础
一句话结论
按环境物理隔离集群与依赖组件,配置用模板管理,数据不跨环境复制(除脱敏样本),避免测试流量污染生产指标。
概念解释
- 隔离层级:集群、命名空间/数据库、依赖组件、凭据。
- 配置管理:模板 + 环境变量,禁止手改生产配置。
- 数据:用脱敏小样本,不整库复制。
原理流程
模板 → 各环境渲染 → 独立部署 → 独立监控 → 独立凭据与配额
代码 / 命令
# 检查:生产凭据不出现在测试配置;测试集合命名带前缀避免误连
常见误区
- 误区:共用一套集群只靠集合名区分。正解:误操作与资源争抢风险高。
- 误区:测试数据随便造。正解:维度与分布要与真实一致,否则压测结论无效。
追问
- 问:预发要多大?答:能承载生产量级的缩比压测即可。
- 问:如何防止误连生产?答:网络隔离 + 凭据分离 + 客户端环境校验。
05.6.1.1-030 混合部署(与其他服务共用节点)有什么风险?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
向量检索是内存与 IO 密集型,混部会与邻居争抢资源导致延迟抖动,生产建议核心组件独占节点或用强隔离。
概念解释
- 冲突资源:内存、页缓存、磁盘 IO、网络带宽。
- 典型后果:查询 P99 抖动、加载变慢、OOM 风险上升。
- 缓解:资源限额、cgroup 隔离、反亲和调度、独立磁盘。
原理流程
评估资源画像 → 设限额与隔离 → 观察邻居影响 → 必要时拆分
代码 / 命令
# 关键:内存不设限额的混部最危险,OOM 会连带影响其他服务
常见误区
- 误区:CPU 有空闲就能混部。正解:内存与 IO 才是向量检索的主要争抢点。
- 误区:限额设了就不受影响。正解:限额只能限制自己,邻居峰值仍会挤压共享 IO。
追问
- 问:etcd 能混部吗?答:不建议,磁盘延迟敏感。
- 问:如何判断混部影响?答:对比独占与混部下的 P99 曲线。
05.6.1.1-031 冷热数据分层怎么做?
频率 ★★★☆☆ | 难度 高级
一句话结论
把高频访问的近期数据放内存型索引,历史冷数据用磁盘索引或分区冷存,用分区与路由把查询限定在热集合内。
概念解释
- 热数据:近期、高频、要求低延迟,走内存索引与更多副本。
- 冷数据:历史归档,允许高延迟,走磁盘索引或独立集合。
- 路由:按时间/租户分区,查询显式限定范围。
原理流程
按时间或租户分区 → 热分区高副本高内存 → 冷分区磁盘索引 → 查询带分区过滤
代码 / 命令
# 落地:按月分区 + 冷分区迁移到低成本索引类型 + 归档到对象存储
常见误区
- 误区:冷数据也应该随时低延迟可查。正解:按业务 SLA 分级,否则成本失控。
- 误区:分区不影响查询。正解:查询不带分区过滤会扫描全部分区。
追问
- 问:冷数据怎么迁移?答:按分区导出重建到冷集合,保留映射关系。
- 问:冷热边界怎么定?答:按访问频次统计与业务 SLA 定,定期复盘。
05.6.1.1-032 容量评估的完整步骤是什么?
频率 ★★★★☆ | 难度 高级
一句话结论
容量评估是「规模 → 单条成本 → 总量 → 冗余 → 增长」的链条,必须落到可核对的数字与假设,而不是凭经验拍脑袋。
概念解释
- 规模:文档数、chunk 数、向量维度、日增量。
- 单条成本:向量内存、索引放大、元数据与标量字段。
- 冗余:副本、多版本段、compaction 余量。
- 增长:按季度预估,预留扩容周期。
原理流程
需求量化 → 单条成本 → 总量 → 加冗余 → 加增长 → 出资源清单 → 压测校准
代码 / 命令
# 输出物:内存/磁盘/CPU/带宽清单 + 假设条件 + 校准方法
常见误区
- 误区:按峰值一次性买满。正解:要给出扩容路径与触发阈值。
- 误区:忽略索引构建期的额外内存。正解:构建峰值往往高于稳态。
追问
- 问:增长不确定怎么办?答:按区间给方案,并明确扩容触发条件。
- 问:评估错了怎么纠偏?答:上线后用真实指标回填模型。
05.6.1.1-033 etcd 不可用会有什么表现,怎么处理?
频率 ★★★☆☆ | 难度 高级
一句话结论
etcd 不可用会导致元数据读写失败,表现为集合操作卡住、组件心跳丢失、集群无法调度,必须优先恢复 etcd。
概念解释
- 表现:DDL 超时、Proxy 无法定位段、节点被判离线、任务不推进。
- 原因:磁盘 IO 抖动、数据目录损坏、集群失去多数派。
- 处理:恢复多数派、从快照恢复、隔离故障节点。
原理流程
确认 etcd 集群状态 → 若失多数派先恢复成员 → 校验数据完整性 → 观察组件重新注册
代码 / 命令
# 预防:独立磁盘、奇数节点、定期快照、延迟告警
常见误区
- 误区:重启所有组件能解决。正解:根因在 etcd,重启组件只会扩大影响。
- 误区:etcd 恢复后状态自动一致。正解:需检查元数据与对象存储的实际文件是否匹配。
追问
- 问:如何降低风险?答:etcd 独占磁盘 + 快照备份 + 变更前备份。
- 问:恢复后要验证什么?答:集合可读写、段可加载、索引任务能推进。
05.6.1.1-034 对象存储异常怎么排查?
频率 ★★★☆☆ | 难度 高级
一句话结论
对象存储异常首先表现为 flush 卡住与段加载失败,排查顺序是连通性与凭据、带宽与并发、对象生命周期与配额。
概念解释
- 连通性:端点、证书、网络策略。
- 权限:AccessKey、桶策略、路径前缀。
- 容量与配额:桶配额、请求限流。
- 性能:带宽饱和、并发连接不足。
原理流程
看 Data Node flush 错误 → 检查对象存储请求错误码 → 校验凭据与桶 → 检查带宽与限流
代码 / 命令
# 快速验证:用同凭据在宿主机直连对象存储做一次小对象写入
常见误区
- 误区:只看服务日志。正解:对象存储侧的错误码与限流信息更直接。
- 误区:凭据过期不影响运行。正解:会在下一次写入或加载时集中爆发。
追问
- 问:加载冷段很慢怎么办?答:提高带宽、增加本地缓存、调整段大小与冷热分层。
- 问:如何避免单桶热点?答:路径分片与请求分散。
05.6.1.1-035 消息队列堆积怎么处理?
频率 ★★★☆☆ | 难度 高级
一句话结论
堆积说明消费能力不足或消费被阻塞,先判断是写入突增还是 Data Node 慢,再决定扩消费者、限流上游还是修复阻塞点。
概念解释
- 突增:业务批量导入导致瞬时写入过高。
- 消费慢:flush 慢、对象存储慢、Data Node 资源不足。
- 后果:写入延迟上升、可见性延后、元数据与段状态滞后。
原理流程
看堆积曲线 → 对照写入 QPS → 查消费延迟与 flush 耗时 → 定位瓶颈 → 扩容或限流
代码 / 命令
# 处置优先级:先恢复消费能力,再考虑限流,最后做业务侧削峰
常见误区
- 误区:无限扩消费者最快。正解:下游对象存储与磁盘会成为新瓶颈。
- 误区:堆积只影响写入。正解:可见性延后也会影响依赖“写后读”的业务。
追问
- 问:批量导入怎么控速?答:分批 + 客户端限速 + 观察队列水位。
- 问:堆积清空后要注意什么?答:compaction 压力与段数量增长。
05.6.1.1-036 Query Node OOM 怎么排查与预防?
频率 ★★★★☆ | 难度 高级
一句话结论
OOM 多因加载段过多或单段过大,叠加高并发查询的临时缓冲;预防靠容量模型、加载上限与查询侧限制。
概念解释
- 原因:段分配不均、副本过多、维度高、topK 与过滤参数过大、并发峰值。
- 表现:节点重启、段反复加载、查询超时。
- 预防:均衡段、限制单节点可加载量、降低 topK、量化与降维。
原理流程
看内存曲线与段数量 → 找出热点节点 → 再均衡或扩容 → 限制查询侧资源 → 回归验证
代码 / 命令
# 关键动作:给单节点设加载上限,避免“一个节点扛全量”
常见误区
- 误区:加内存就能解决。正解:段分布不均会再次打满新节点。
- 误区:OOM 只是查询问题。正解:加载与 compaction 也会推高内存。
追问
- 问:如何快速止血?答:临时下线热点集合的副本或限制并发。
- 问:长期怎么改?答:分片更细 + 均衡策略 + 量化。
05.6.1.1-037 索引构建很慢怎么办?
频率 ★★★★☆ | 难度 高级
一句话结论
构建慢通常是 CPU 不足、段过多过散、参数过大或 IO 受限;优化方向是合并小段、提升并行度、换更轻的索引类型。
概念解释
- 影响因素:向量数量与维度、索引类型与参数、CPU 核数、IO 带宽。
- 现象:待构建任务积压、查询只能用未索引段兜底。
- 手段:compaction 减少段数、扩 Index Node、调小构建参数。
原理流程
查看任务积压 → 统计单任务耗时 → 判断是 CPU/IO/参数 → 针对性优化
代码 / 命令
# 优先合并小段再建索引,避免为大量碎片段重复付出固定开销
常见误区
- 误区:加节点一定快。正解:段太碎时并行度上不去。
- 误区:构建参数越大越好。正解:构建更慢且内存更高。
追问
- 问:构建期能限速吗?答:可通过任务并发度控制,避免挤占查询。
- 问:构建失败重试会重复劳动吗?答:会,需定位失败原因而不是无限重试。
05.6.1.1-038 灰度发布与蓝绿部署怎么做?
频率 ★★★☆☆ | 难度 高级
一句话结论
数据类系统的灰度要「双环境 + 双写或影子读 + 结果对比」,先小流量验证召回与延迟,再逐步切流并保留回滚路径。
概念解释
- 双环境:新旧集群并存,同一份数据双写。
- 影子读:主链路走旧,旁路走新,比较结果差异。
- 切流:按租户或百分比逐步切换,观察指标。
原理流程
建新集群 → 双写 → 影子读比对 → 5% 切流 → 50% → 全量 → 下线旧集群
代码 / 命令
# 对比维度:行数一致、抽样命中一致、recall 对比、P99 对比、成本
常见误区
- 误区:直接切全量再回滚。正解:向量重建成本高,回滚代价大。
- 误区:只看接口成功率。正解:检索质量差异不一定表现为错误。
追问
- 问:双写期间如何保证一致?答:按主键幂等 + 定时对账 + 差异修复任务。
- 问:切流后旧集群何时下线?答:观察一个完整业务周期且无回滚需求后。
05.6.1.1-039 限流与降级怎么做?
频率 ★★★☆☆ | 难度 高级
一句话结论
在接入层做租户级限流,在检索层做「缩小候选、降 topK、关重排」的分级降级,保证核心链路可用。
概念解释
- 限流维度:租户、接口、集合。
- 降级手段:减少 topK、关闭 rerank、跳过混合检索、返回缓存结果。
- 保护目标:避免单个租户打爆共享资源。
原理流程
配额分配 → 超限拒绝或排队 → 压力升高触发降级开关 → 恢复后逐级放开
代码 / 命令
# 客户端侧配合:超时 + 熔断 + 重试退避,避免雪崩
常见误区
- 误区:只在客户端重试。正解:重试会放大压力,必须配合服务端限流。
- 误区:降级会伤害体验不能做。正解:降级是保可用,比整体超时更好。
追问
- 问:如何定配额?答:按租户历史峰值与 SLA 定,并保留突发额度。
- 问:降级开关怎么验证?答:定期演练,确认降级路径真的生效。
05.6.1.1-040 多租户隔离有哪几种做法?
频率 ★★★★☆ | 难度 高级
一句话结论
按隔离强度从弱到强是「共享集合 + 租户字段过滤 → 独立分区 → 独立集合 → 独立集群」,隔离越强成本越高。
概念解释
- 共享集合 + 过滤:成本最低,但过滤选择性差时性能与隔离性都弱。
- 分区:逻辑隔离,查询可裁剪。
- 独立集合:schema 与索引参数可按租户调。
- 独立集群:最强隔离,成本最高。
原理流程
评估租户数量与数据量 → 定隔离级别 → 设计路由与配额 → 观测租户级指标
代码 / 命令
# 关键:无论哪级隔离,都要有租户级限流与指标,否则无法定位问题
常见误区
- 误区:只靠 where tenant_id 就够。正解:大租户会拖慢同集合的其他租户。
- 误区:每个租户一个集群最稳。正解:运维与成本不可承受。
追问
- 问:大租户怎么单独处理?答:单独集合或独立集群,按收入与 SLA 分级。
- 问:租户迁移怎么做?答:按租户维度导出重建,双写灰度。
05.6.1.1-041 权限与数据安全怎么设计?
频率 ★★☆☆☆ | 难度 进阶
一句话结论
从「网络隔离、身份认证、集合级授权、字段脱敏」四层做防护,向量库不当业务主库,敏感原文尽量不进库。
概念解释
- 网络:内网访问、白名单、TLS。
- 认证:账号与角色,按集合授权。
- 数据:原文脱敏、向量不可逆假设需谨慎(存在反演风险)。
- 审计:记录 DDL 与高危操作。
原理流程
划分环境与网络 → 建账号与角色 → 集合级授权 → 敏感字段脱敏 → 审计与巡检
代码 / 命令
# 注意:Embedding 不等于匿名化,原文反演风险要在文档中说明
常见误区
- 误区:只存向量就安全。正解:向量可被用于反演与关联,仍需访问控制。
- 误区:一个超级账号走天下。正解:最小权限 + 分环境凭据。
追问
- 问:多租户下如何做行级隔离?答:集合或分区隔离 + 查询强制带租户条件。
- 问:审计要记录什么?答:谁在何时做了哪些 DDL 与批量删除。
05.6.1.1-042 自建与云托管(如 Zilliz Cloud)怎么选?
频率 ★★★☆☆ | 难度 进阶
一句话结论
自建换取可控与边际成本优势,前提是有专职运维;托管换取免运维与弹性,代价是单价更高与能力受限于厂商。
概念解释
- 自建:资源可控、可深度调优、数据自主,但需承担组件运维与故障处理。
- 托管:开箱可用、自动扩缩容与备份,但需接受配额、区域与合规限制。
- 判断:团队规模、数据合规、成本曲线、峰值弹性需求。
原理流程
评估运维人力 → 估算三年成本 → 检查合规与地域 → 选形态 → 保留迁移方案
代码 / 命令
# 成本对比要含:机器、存储、带宽、人力、故障损失
常见误区
- 误区:托管一定更贵。正解:把人力与故障成本算进来常相反。
- 误区:托管就无法迁移。正解:仍应保留导出与自建兼容方案。
追问
- 问:混合形态可行吗?答:核心自建 + 弹性峰值走托管是常见折中。
- 问:如何避免厂商锁定?答:统一抽象层 + 定期导出演练。
05.6.1.1-043 集群上线前的检查清单有哪些?
频率 ★★★★☆ | 难度 进阶
一句话结论
上线检查覆盖「依赖就绪、容量达标、监控告警、备份恢复、压测结论、回滚方案」六块,缺一项都算未完成。
概念解释
- 依赖:etcd、对象存储、MQ 的健康与容量。
- 容量:内存与磁盘余量、扩容阈值。
- 观测:看板、告警、日志采集。
- 兜底:备份、回滚、限流与降级开关。
原理流程
依赖巡检 → 容量核对 → 监控验证 → 备份演练 → 压测回归 → 回滚演练 → 签字上线
代码 / 命令
# 验收:写入/检索/过滤/删除/重建索引 五条主链路各跑一遍
常见误区
- 误区:只验证能写入能查询。正解:删除、重建索引、恢复才是高发故障点。
- 误区:压测用随机向量就行。正解:分布与维度要与真实一致。
追问
- 问:压测通过标准是什么?答:在目标 QPS 下 P99 与 recall 均达标且资源有余量。
- 问:回滚演练有必要吗?答:有,否则真故障时不敢回滚。
05.6.1.1-044 一次典型的写入超时怎么排查?
频率 ★★★★☆ | 难度 进阶
一句话结论
按链路倒推:客户端超时设置 → Proxy 与协调层 → MQ 堆积 → Data Node 消费与 flush → 对象存储,逐段排除。
概念解释
- 客户端侧:超时过短、批量过大、单条 payload 过大。
- 服务侧:MQ 堆积、Data Node 资源饱和、flush 卡住。
- 存储侧:对象存储限流或带宽不足。
原理流程
复现并记录 request id → 查各段耗时 → 对照资源指标 → 定位瓶颈段 → 处置并回归
代码 / 命令
# 常见处置:降批量、扩 Data Node、修对象存储限流、调整超时
常见误区
- 误区:直接调大客户端超时。正解:只是掩盖,堆积仍会持续恶化。
- 误区:只看错误率不看堆积。正解:超时往往伴随队列水位上升。
追问
- 问:批量多大合适?答:以单批耗时可观测且可重试为准,压测确定。
- 问:超时后要重试吗?答:按主键幂等重试,并加退避避免放大。
05.6.1.1-045 检索结果的可见性与“写后读”怎么保证?
频率 ★★★★☆ | 难度 高级
一句话结论
写后读依赖一致性等级与段加载状态:需要立即可见就读 Strong 级并在写后等待确认,否则用 Bounded 并在业务侧容忍窗口。
概念解释
- 影响因素:一致性等级、flush 是否完成、段是否被 Query Node 加载。
- 手段:写后按主键做点查确认、读取时指定更强一致性、业务侧加幂等与延迟容忍。
- 风险:强一致会显著降低写入吞吐。
原理流程
写入 → 等待可见确认 → 业务侧再查 → 若不可见按策略重试 → 记录窗口指标
代码 / 命令
# 实践:把“写完必须能搜到”的需求识别出来,单独走强一致链路
常见误区
- 误区:写入成功就等于能检索。正解:可见性是独立语义。
- 误区:全局强一致最省心。正解:成本高,应按场景分级。
追问
- 问:如何度量可见性延迟?答:埋点记录写入时间与首次可检索时间的差值分布。
- 问:强一致下吞吐不够怎么办?答:拆分关键链路与批量链路,各自用不同等级。
05.6.1.1-046 数据删除与合规(如被遗忘权)怎么落地?
频率 ★★☆☆☆ | 难度 高级
一句话结论
删除要覆盖「检索库标记删除 + compaction 物理清理 + 备份与日志中的副本」,并保留可审计的删除记录。
概念解释
- 检索库:标记删除后需 compaction 才真正释放。
- 备份:历史备份中仍存在,需要按合规要求处理保留期。
- 旁路:日志、消息队列、缓存中可能留有原文。
原理流程
接收删除请求 → 按主键标记删除 → 触发 compaction → 清理缓存与日志副本 → 记录审计 → 定期核验
代码 / 命令
# 核验:抽样按主键查询确认已不可检索;统计剩余命中数
常见误区
- 误区:删除接口返回成功即合规。正解:物理清理与备份处理才算闭环。
- 误区:向量不含原文所以无需删除。正解:向量可关联回原文,仍需删除。
追问
- 问:如何证明已删除?答:审计日志 + 抽样核验报告 + 备份处理记录。
- 问:compaction 不及时怎么办?答:设置删除比例阈值主动触发。
05.6.1.1-047 集群成本怎么优化?
频率 ★★★☆☆ | 难度 高级
一句话结论
成本优化抓四件事:量化与降维降内存、冷热分层降存储、按负载弹性伸缩、减少无谓副本与重复索引。
概念解释
- 内存是大头:量化能把内存降一个量级,需用重打分保召回。
- 存储:冷数据走低成本存储与磁盘索引。
- 弹性:低峰缩容、高峰扩容,注意加载窗口。
- 冗余:副本按 SLA 定,不必全域高副本。
原理流程
成本拆解(内存/存储/带宽/人力)→ 找最大项 → 对应优化 → 验证召回与延迟 → 固化
代码 / 命令
# 顺序建议:先量化与冷热分层,再谈弹性与副本
常见误区
- 误区:只砍机器数量。正解:可能换来延迟与稳定性下降,需指标验证。
- 误区:量化一定安全。正解:低比特量化需要重打分与召回验证。
追问
- 问:如何量化收益?答:单位千次查询成本 + 内存占用对比。
- 问:降本会不会影响 SLA?答:要做压测与灰度,逐项确认。
05.6.1.1-048 给你一个日均千万级文档的 RAG 场景,怎么设计 Milvus 架构?
频率 ★★★★★ | 难度 高级
一句话结论
按「规模估容量 → 定索引与量化 → 定分片与副本 → 定一致性等级 → 设计写入与冷热分层 → 配监控与压测」给出完整方案,并明确假设与验证方式。
概念解释
- 输入:文档数与 chunk 数、维度、日增量、QPS 与 P99 目标、过滤维度(租户/时间/权限)。
- 关键决策:索引类型与量化、分片数、副本数、一致性等级、是否需要混合检索。
- 交付物:资源清单、部署拓扑、容量与扩容阈值、监控与告警、压测计划。
原理流程
1) 估算向量数与内存 2) 选索引与量化 3) 定分片与副本 4) 定写入链路与一致性
5) 冷热分层与归档 6) 监控告警 7) 压测校准 8) 灰度上线与回滚
代码 / 命令
# 面试表达:先说假设 → 再说方案 → 再说取舍理由 → 最后说如何验证
# 示例结构:规模/维度/过滤 → 索引与量化 → 分片副本 → 一致性 → 运维兜底 → 压测指标
常见误区
- 误区:直接说“上大集群”。正解:无假设与数字的方案不可信。
- 误区:忽略过滤维度。正解:租户与权限过滤会显著改变索引与分片设计。
追问
- 问:如果 QPS 只有峰值时段高怎么办?答:弹性扩容 + 限流 + 降级,避免长期高配。
- 问:如何验证方案?答:构造真实分布数据集压测 recall@k 与 P99,并用小规模真实数据回填内存模型。
参考来源
- Milvus 官方文档(架构与组件):https://milvus.io/docs
- Milvus 部署与运维:https://milvus.io/docs/install-overview.md
- Milvus 一致性等级说明:https://milvus.io/docs/consistency.md
- Faiss 索引与量化参考:https://github.com/facebookresearch/faiss/wiki