13.10 从单机部署到多集群演进
所属:全栈开发面试题库 / 学习路径 / 13 DevOps 与 SRE
本篇把前面 9 个阶段串成一条演进主线:从一台机器跑脚本,到多集群多活。每一步都给出「触发条件(什么时候该做)、改造动作(做什么)、验证指标(怎么知道做对了)」。不要在流量只有几百 QPS 时就上多集群——每一步的复杂度都是成本,提前做就是浪费。
一、阶段 0:单机起步(一台机器)
触发条件:服务刚上线,每天几百访问,团队 1–2 人,没有专职运维。
改造动作:
- 一台 Linux 机器,服务用 systemd 跑,Nginx 反代。
- 数据库在本机,定时备份到另一块盘。
- 日志写本地文件,用 logrotate 轮转。
- 发布靠脚本:scp 二进制 → systemctl restart。
验证指标:
- 服务能 7×24 运行,崩了能自动拉起。
- 故障时 30 分钟内能手动恢复。
- 备份文件每周验证一次能恢复。
什么时候该往下走:单机 CPU 持续 > 60%,或数据库磁盘快满,或一个人维护忙不过来。
二、阶段 1:容器化与单机编排
触发条件:服务多了(3–5 个),手动部署容易乱,环境不一致(开发能跑、生产挂)。
改造动作:
- 所有服务打成 Docker 镜像,推到私有仓库。
- 用 Docker Compose 在单机上跑多容器。
- 配置拆到环境变量或 .env 文件,不进镜像。
- 日志用 json-file driver 或本地采集。
验证指标:
- 新机器上一条
docker compose up能拉起所有服务。 - 镜像构建可复现,不同人 build 出的镜像一致。
- 服务崩了 Docker 自动重启。
什么时候该往下走:需要多实例(单台机器扛不住),或需要滚动发布不中断流量。
三、阶段 2:单集群 K8s
触发条件:需要弹性伸缩、滚动发布、服务发现;单机资源不够用;团队有 2–3 人懂 K8s。
改造动作:
- 搭一个 K8s 集群(3 节点起步:1 master + 2 worker)。
- 所有服务写成 Deployment + Service YAML,配探针(liveness/readiness)。
- 用 Helm 管理复杂应用(数据库、中间件)。
- Ingress 暴露 HTTP 服务。
- 开始配 Prometheus 监控和基础告警。
验证指标:
kubectl rollout发布不中断流量。- 杀一个 Pod,Deployment 自动拉起新的。
- 节点宕机,Pod 自动漂移到其他节点。
- 核心指标(QPS、错误率、CPU)有看板。
什么时候该往下走:单集群资源不够、多环境(dev/staging/prod)隔离、需要高可用(单集群挂了业务不能断)。
四、阶段 3:CI/CD 与 GitOps
触发条件:手动 kubectl apply 容易出错,多人协作时谁改了什么不清楚。
改造动作:
- 建 CI 流水线:commit → lint → test → build 镜像 → 推仓库。
- 部署 YAML 单独放 Git 仓库(deploy manifests)。
- 用 Argo CD 监听 Git,自动同步到集群。
- 镜像 tag 用 git sha,不用 latest。
- 配多环境 overlay(base + dev/staging/prod)。
验证指标:
- 改 Git 后集群自动收敛,不需要手动 kubectl apply。
- 回滚 30 秒内完成,且能精确回退到某个版本。
- 所有变更都能在 Git 历史里追溯。
什么时候该往下走:故障时发现「只监控没告警」,或「告警误报一堆没人看」。
五、阶段 4:可观测性体系
触发条件:用户报障时找不到日志,接口变慢不知道哪一段慢,告警靠感觉配。
改造动作:
- 部署 Prometheus + Grafana,采集主机、Pod、应用指标。
- 配 Loki 收集容器日志,按 label 检索。
- 应用接入 OpenTelemetry,有 traceId 串联跨服务调用。
- 告警分级:page(打电话)、ticket(工单)、info(群通知)。
- 每条告警附 runbook 链接。
验证指标:
- 用户报障后,5 分钟内能通过 traceId 定位到慢的那一段。
- 告警触发时 oncall 能收到通知,且能照 runbook 处理。
- 误报率 < 20%(一个月里误报的告警占比)。
什么时候该往下走:配置和密钥管理混乱,或有安全合规要求。
六、阶段 5:配置、密钥与安全基线
触发条件:密钥写在代码里被传到 GitHub,或 Pod 以 root 跑,或多环境配置复制粘贴出错。
改造动作:
- ConfigMap 管非敏感配置,Secret 管敏感配置。
- 用 Sealed Secrets 或 Vault 管理密钥,密钥不进 Git 明文。
- Pod 配 non-root、只读根文件系统、禁止提权。
- 配 Network Policy 默认拒绝,按需放行。
- 每个应用用独立 ServiceAccount,RBAC 最小权限。
- 定期用 Trivy 扫镜像漏洞。
验证指标:
- Git 仓库里搜不到明文密钥。
- 任意 Pod 不以 root 跑,根文件系统只读。
- 非授权 Pod 访问数据库被 Network Policy 拒绝。
- 镜像高危漏洞数逐周下降。
什么时候该往下走:流量涨了要扩容,或云账单涨太快,或故障时手忙脚乱。
七、阶段 6:容量、成本与故障应急
触发条件:大促前不知道要备多少机器,云账单每月涨 30%,故障时没人指挥。
改造动作:
- 做单实例压测,算出单实例能扛的 QPS 和资源。
- 配 HPA 自动扩缩,Cluster Autoscaler 自动加节点。
- 分析云账单,右尺寸 Pod requests,清理测试环境。
- 建立故障应急流程:IC 指挥、止损优先、每 15 分钟同步。
- 写 runbook,每季度演练一次。
- 做故障复盘,每条行动项有 owner 和截止日。
验证指标:
- 大促前能给出实例数和资源估算,并有压测报告支撑。
- 流量涨 3 倍时 HPA 自动扩容,不中断业务。
- 云账单环比下降 15%–20%。
- 故障恢复时间从小时级降到 15 分钟级。
什么时候该往下走:需要定义「什么叫稳定」,或需要在多集群之间容灾。
八、阶段 7:SLO 与多集群高可用
触发条件:业务有合规要求(如 99.99% 可用性),或单集群故障影响太大,或需要就近服务不同地域用户。
改造动作:
- 给核心服务定义 SLI/SLO,算错误预算。
- 错误预算耗尽时冻结新功能发布,优先修稳定性。
- 搭第二个集群(不同可用区或不同云厂商)。
- 配全局负载均衡:流量按地域/健康状态路由到不同集群。
- 数据库做主从跨集群同步,或用云厂商托管多区域数据库。
- 做混沌工程:定期杀 Pod、断依赖,验证系统韧性。
验证指标:
- 单集群故障时,全局负载均衡自动切到备用集群,用户无感知。
- 月度 SLO 达成率 ≥ 99.9%,错误预算消耗可追踪。
- 混沌实验(杀 10% Pod、延迟数据库 500ms)不触发全站故障。
- 跨集群数据同步延迟 < 1 秒。
九、演进主线总结
| 阶段 | 规模 | 核心标志 | 不该提前做的事 |
|---|---|---|---|
| 单机起步 | 1 台机器,百级 QPS | systemd + Nginx | 不要上 K8s |
| 容器化 | 3–5 个服务 | Docker Compose | 不要上 K8s |
| 单集群 K8s | 千级 QPS | Deployment + Prometheus | 不要上多集群 |
| CI/CD GitOps | 多人协作 | Argo CD 自动同步 | 不要上多环境 overlay |
| 可观测 | 有故障靠人找 | 三件套 + 告警分级 | 不要堆告警 |
| 安全基线 | 有合规要求 | non-root + Network Policy | 不要上 Service Mesh |
| 容量应急 | 万级 QPS | HPA + 故障流程 | 不要上多集群 |
| SLO 多集群 | 十万级 QPS | 跨集群容灾 | 不要上多活双写 |
核心判断:每一步的复杂度都是成本。提前做就是浪费钱和时间。用触发条件判断「什么时候该做」,用验证指标判断「做得对不对」。