罗罗编程学习记录 全栈面试题库
本页导航 展开查看

13.10 从单机部署到多集群演进

所属:全栈开发面试题库 / 学习路径 / 13 DevOps 与 SRE

本篇把前面 9 个阶段串成一条演进主线:从一台机器跑脚本,到多集群多活。每一步都给出「触发条件(什么时候该做)、改造动作(做什么)、验证指标(怎么知道做对了)」。不要在流量只有几百 QPS 时就上多集群——每一步的复杂度都是成本,提前做就是浪费。

一、阶段 0:单机起步(一台机器)

触发条件:服务刚上线,每天几百访问,团队 1–2 人,没有专职运维。

改造动作:

  • 一台 Linux 机器,服务用 systemd 跑,Nginx 反代。
  • 数据库在本机,定时备份到另一块盘。
  • 日志写本地文件,用 logrotate 轮转。
  • 发布靠脚本:scp 二进制 → systemctl restart。

验证指标:

  • 服务能 7×24 运行,崩了能自动拉起。
  • 故障时 30 分钟内能手动恢复。
  • 备份文件每周验证一次能恢复。

什么时候该往下走:单机 CPU 持续 > 60%,或数据库磁盘快满,或一个人维护忙不过来。

二、阶段 1:容器化与单机编排

触发条件:服务多了(3–5 个),手动部署容易乱,环境不一致(开发能跑、生产挂)。

改造动作:

  • 所有服务打成 Docker 镜像,推到私有仓库。
  • 用 Docker Compose 在单机上跑多容器。
  • 配置拆到环境变量或 .env 文件,不进镜像。
  • 日志用 json-file driver 或本地采集。

验证指标:

  • 新机器上一条 docker compose up 能拉起所有服务。
  • 镜像构建可复现,不同人 build 出的镜像一致。
  • 服务崩了 Docker 自动重启。

什么时候该往下走:需要多实例(单台机器扛不住),或需要滚动发布不中断流量。

三、阶段 2:单集群 K8s

触发条件:需要弹性伸缩、滚动发布、服务发现;单机资源不够用;团队有 2–3 人懂 K8s。

改造动作:

  • 搭一个 K8s 集群(3 节点起步:1 master + 2 worker)。
  • 所有服务写成 Deployment + Service YAML,配探针(liveness/readiness)。
  • 用 Helm 管理复杂应用(数据库、中间件)。
  • Ingress 暴露 HTTP 服务。
  • 开始配 Prometheus 监控和基础告警。

验证指标:

  • kubectl rollout 发布不中断流量。
  • 杀一个 Pod,Deployment 自动拉起新的。
  • 节点宕机,Pod 自动漂移到其他节点。
  • 核心指标(QPS、错误率、CPU)有看板。

什么时候该往下走:单集群资源不够、多环境(dev/staging/prod)隔离、需要高可用(单集群挂了业务不能断)。

四、阶段 3:CI/CD 与 GitOps

触发条件:手动 kubectl apply 容易出错,多人协作时谁改了什么不清楚。

改造动作:

  • 建 CI 流水线:commit → lint → test → build 镜像 → 推仓库。
  • 部署 YAML 单独放 Git 仓库(deploy manifests)。
  • 用 Argo CD 监听 Git,自动同步到集群。
  • 镜像 tag 用 git sha,不用 latest。
  • 配多环境 overlay(base + dev/staging/prod)。

验证指标:

  • 改 Git 后集群自动收敛,不需要手动 kubectl apply。
  • 回滚 30 秒内完成,且能精确回退到某个版本。
  • 所有变更都能在 Git 历史里追溯。

什么时候该往下走:故障时发现「只监控没告警」,或「告警误报一堆没人看」。

五、阶段 4:可观测性体系

触发条件:用户报障时找不到日志,接口变慢不知道哪一段慢,告警靠感觉配。

改造动作:

  • 部署 Prometheus + Grafana,采集主机、Pod、应用指标。
  • 配 Loki 收集容器日志,按 label 检索。
  • 应用接入 OpenTelemetry,有 traceId 串联跨服务调用。
  • 告警分级:page(打电话)、ticket(工单)、info(群通知)。
  • 每条告警附 runbook 链接。

验证指标:

  • 用户报障后,5 分钟内能通过 traceId 定位到慢的那一段。
  • 告警触发时 oncall 能收到通知,且能照 runbook 处理。
  • 误报率 < 20%(一个月里误报的告警占比)。

什么时候该往下走:配置和密钥管理混乱,或有安全合规要求。

六、阶段 5:配置、密钥与安全基线

触发条件:密钥写在代码里被传到 GitHub,或 Pod 以 root 跑,或多环境配置复制粘贴出错。

改造动作:

  • ConfigMap 管非敏感配置,Secret 管敏感配置。
  • 用 Sealed Secrets 或 Vault 管理密钥,密钥不进 Git 明文。
  • Pod 配 non-root、只读根文件系统、禁止提权。
  • 配 Network Policy 默认拒绝,按需放行。
  • 每个应用用独立 ServiceAccount,RBAC 最小权限。
  • 定期用 Trivy 扫镜像漏洞。

验证指标:

  • Git 仓库里搜不到明文密钥。
  • 任意 Pod 不以 root 跑,根文件系统只读。
  • 非授权 Pod 访问数据库被 Network Policy 拒绝。
  • 镜像高危漏洞数逐周下降。

什么时候该往下走:流量涨了要扩容,或云账单涨太快,或故障时手忙脚乱。

七、阶段 6:容量、成本与故障应急

触发条件:大促前不知道要备多少机器,云账单每月涨 30%,故障时没人指挥。

改造动作:

  • 做单实例压测,算出单实例能扛的 QPS 和资源。
  • 配 HPA 自动扩缩,Cluster Autoscaler 自动加节点。
  • 分析云账单,右尺寸 Pod requests,清理测试环境。
  • 建立故障应急流程:IC 指挥、止损优先、每 15 分钟同步。
  • 写 runbook,每季度演练一次。
  • 做故障复盘,每条行动项有 owner 和截止日。

验证指标:

  • 大促前能给出实例数和资源估算,并有压测报告支撑。
  • 流量涨 3 倍时 HPA 自动扩容,不中断业务。
  • 云账单环比下降 15%–20%。
  • 故障恢复时间从小时级降到 15 分钟级。

什么时候该往下走:需要定义「什么叫稳定」,或需要在多集群之间容灾。

八、阶段 7:SLO 与多集群高可用

触发条件:业务有合规要求(如 99.99% 可用性),或单集群故障影响太大,或需要就近服务不同地域用户。

改造动作:

  • 给核心服务定义 SLI/SLO,算错误预算。
  • 错误预算耗尽时冻结新功能发布,优先修稳定性。
  • 搭第二个集群(不同可用区或不同云厂商)。
  • 配全局负载均衡:流量按地域/健康状态路由到不同集群。
  • 数据库做主从跨集群同步,或用云厂商托管多区域数据库。
  • 做混沌工程:定期杀 Pod、断依赖,验证系统韧性。

验证指标:

  • 单集群故障时,全局负载均衡自动切到备用集群,用户无感知。
  • 月度 SLO 达成率 ≥ 99.9%,错误预算消耗可追踪。
  • 混沌实验(杀 10% Pod、延迟数据库 500ms)不触发全站故障。
  • 跨集群数据同步延迟 < 1 秒。

九、演进主线总结

阶段 规模 核心标志 不该提前做的事
单机起步 1 台机器,百级 QPS systemd + Nginx 不要上 K8s
容器化 3–5 个服务 Docker Compose 不要上 K8s
单集群 K8s 千级 QPS Deployment + Prometheus 不要上多集群
CI/CD GitOps 多人协作 Argo CD 自动同步 不要上多环境 overlay
可观测 有故障靠人找 三件套 + 告警分级 不要堆告警
安全基线 有合规要求 non-root + Network Policy 不要上 Service Mesh
容量应急 万级 QPS HPA + 故障流程 不要上多集群
SLO 多集群 十万级 QPS 跨集群容灾 不要上多活双写

核心判断:每一步的复杂度都是成本。提前做就是浪费钱和时间。用触发条件判断「什么时候该做」,用验证指标判断「做得对不对」。