13.5 阶段 4 CI/CD 与发布流水线
所属:全栈开发面试题库 / 学习路径 / 13 DevOps 与 SRE
本页目录
一、阶段定位
前面三个阶段解决了「服务能跑起来」:Linux 会敲命令、会写脚本、会打镜像、会写 K8s YAML。本阶段解决「怎么把代码安全、快速、可回滚地交到生产」。没有流水线时,发布靠人手动 scp 二进制、手动改 YAML、手动 kubectl apply,一次发布半小时,半夜出问题还要回滚到旧版本——这就是阶段 4 要消灭的状态。
不掌握本阶段会在后面具体卡在哪:
- 改一个配置也要登录服务器手动改,改完没人知道谁改的、什么时候改的。
- 发布后出问题,回滚靠记忆找旧镜像 tag,找不到就重新编译旧版本。
- 多环境(dev/staging/prod)配置靠复制粘贴,经常出现 staging 能用、prod 报错。
- 代码合并前没有自动跑测试,Bug 直接进生产。
- 面试问「你们怎么发布的」,只能答「Jenkins 点一下」,讲不清流水线阶段与回滚机制。
判断卡住的标志:(1) 让你说清一次发布从 commit 到上线经过了哪几步,你只能说「构建镜像然后部署」;(2) 让你演示一次回滚,你不知道回滚到哪个版本、怎么回滚。出现任一现象,先把本阶段过一遍再进 阶段 5 可观测性与告警。
二、阶段目标与投入
| 能力目标(可验证的行为) | 验证方式 |
|---|---|
| 能写一条 CI 流水线:lint → test → build 镜像 → 推仓库 | 一个 commit 触发后镜像自动出现在仓库 |
| 能用 Argo CD 把 Git 里的 YAML 同步到 K8s 集群 | 改 Git 后集群状态自动收敛 |
| 能做一次滚动发布与一次回滚 | 发布零停机,回滚 30 秒内完成 |
| 能区分 CI 与 CD 的边界 | 讲清 Jenkins/GitHub Actions 管什么、Argo CD 管什么 |
| 能给镜像打不可变 tag(git sha)而不是 latest | 仓库里每个 tag 可追溯到 commit |
| 能写一份发布检查清单 | 发布前有 checklist,不是凭感觉点 |
建议学时:
- 全职:2 周,约 40 小时。CI 基础 10 小时、镜像仓库与构建 6 小时、GitOps 与 Argo CD 12 小时、发布策略与回滚 8 小时、流水线排障 4 小时。
- 在职:4 周,约 45 小时。
三、先修自检
| 先修项 | 合格标准 | 不合格时怎么办 |
|---|---|---|
| Git 操作 | 会 branch、commit、push、merge | 先补 Git 基础 |
| Docker | 会写 Dockerfile、build、push | 回 阶段 2 容器与镜像 |
| K8s 基础 | 会写 Deployment/Service YAML 并 apply | 回 阶段 3 Kubernetes 编排基础 |
| YAML | 会读缩进结构 | 不掌握时花 2 小时过一遍 |
四、知识地图
| 模块 | 知识点 | 掌握程度 | 对应题库章节 |
|---|---|---|---|
| CI 流水线 | lint/test/build/artifact 阶段拆分 | 能讲清原理 | 08.4 CI/CD 与可观测性 |
| 镜像构建 | Dockerfile 分层、多阶段构建、镜像 tag 策略 | 会用 | 08.1 容器化 |
| 镜像仓库 | Harbor/Registry、漏洞扫描、保留策略 | 会用 | 08.1 容器化 |
| CD 与 GitOps | Argo CD Application、同步策略、Webhook | 能讲清原理 | 08.7 IaC 与 GitOps |
| 发布策略 | 滚动、蓝绿、金丝雀、特性开关 | 会用 | 08.4 CI/CD 与可观测性 |
| 回滚 | revision history、image tag 回退、rollback | 会用 | 08.2 Kubernetes |
| 密钥与凭证 | CI 中访问仓库的 deploy key、Sealed Secrets | 会用 | 08.10 云原生安全 |
五、分模块精讲
5.1 CI 流水线:lint、test、build、push
为什么需要它:合并前自动跑一遍,把问题拦在仓库里;构建一次镜像,多环境复用同一份产物。
核心机制:
- 一条流水线拆成阶段:checkout → 依赖安装 → lint → 单元测试 → 构建产物 → 打镜像 → 推仓库。
- 镜像 tag 用不可变标识(git sha 或 semver),不用
latest,否则回滚时找不到对应版本。 - CI 里访问镜像仓库用 deploy token,不要把个人密码写在流水线变量里。
最小可运行示例(GitHub Actions):
# .github/workflows/ci.yml
name: CI
on:
push:
branches: [main]
jobs:
build:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/setup-go@v5
with:
go-version: "1.22"
- run: go vet ./...
- run: go test ./... -race
- name: Build and push image
run: |
echo "${{ secrets.REGISTRY_PASSWORD }}" | docker login reg.example.com -u ci --password-stdin
docker build -t reg.example.com/myapp:${{ github.sha }} .
docker push reg.example.com/myapp:${{ github.sha }}
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 镜像 tag 都是 latest | 用了 latest | 改用 git sha |
| CI 通过但部署挂 | 测试没覆盖集成场景 | 加 integration test 阶段 |
| docker login 失败 | 密码过期或变量名错 | 核对 Secrets 名称 |
5.2 镜像仓库与多阶段构建
为什么需要它:镜像推到仓库后才能被 K8s 拉取;多阶段构建把编译工具和运行时拆开,最终镜像小而安全。
核心机制:
- 第一阶段用编译镜像(带 Go/Node/JDK),第二阶段只拷产物到精简运行时镜像(如
distroless或alpine)。 - 仓库配置保留策略:只保留最近 N 个 tag,防止磁盘爆掉。
- 推送前跑漏洞扫描(如 Trivy),高危漏洞阻断发布。
最小可运行示例:
# 多阶段构建
FROM golang:1.22 AS builder
WORKDIR /src
COPY go.mod go.sum ./
RUN go mod download
COPY . .
RUN CGO_ENABLED=0 go build -o /app/server ./cmd/server
FROM gcr.io/distroless/static:nonroot
COPY --from=builder /app/server /server
USER nonroot:nonroot
ENTRYPOINT ["/server"]
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 镜像 800MB | 没多阶段,带了编译工具 | 拆 builder 阶段 |
| K8s 拉镜像超时 | 仓库没配 imagePullSecrets | 在 namespace 配 secret |
| 漏洞扫描报一堆 | 基础镜像太旧 | 定期更新基础镜像 |
5.3 GitOps:Argo CD 声明式同步
为什么需要它:传统 CD 是「推」(CI 工具直接连集群 apply),GitOps 是「拉」(集群里的 Agent 监听 Git,自动同步)。好处:集群状态可追溯、权限集中、断网后恢复一致。
核心机制:
- Argo CD 是装在 K8s 里的控制器,监听一个 Git 仓库(存放部署 YAML/Helm Chart)。
- Git 仓库里是「期望状态」,Argo CD 负责把集群收敛到期望状态。
- 同步策略:自动同步(改 Git 后自动 apply)或手动同步(先看 diff 再点)。
- Application 定义哪个仓库、哪个路径、目标集群、目标 namespace。
最小可运行示例(Argo CD Application):
apiVersion: argoproj.io/v1alpha1
kind: Application
metadata:
name: myapp-prod
namespace: argocd
spec:
project: default
source:
repoURL: https://github.com/example/deploy-manifests.git
targetRevision: main
path: overlays/prod
destination:
server: https://kubernetes.default.svc
namespace: myapp-prod
syncPolicy:
automated:
prune: true
selfHeal: true
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| Argo CD 一直 OutOfSync | Git 里和集群不一致 | 点 Sync,或查谁手动改了集群 |
| 同步后 Pod 没起来 | 镜像 tag 不存在 | 核对 CI 是否推了对应 tag |
| selfHeal 把手动改的覆盖了 | 开了自动修复 | 改集群必须改 Git,不要手动改 |
5.4 发布策略:滚动、蓝绿、金丝雀
为什么需要它:发布是故障高发时刻,选对策略能把影响面从「全站挂」缩到「1% 用户」。
核心机制:
- 滚动发布(Rolling Update):Deployment 默认策略,逐步替换旧 Pod。K8s 原生支持,配置
maxSurge/maxUnavailable。 - 蓝绿发布:两套环境(蓝=旧,绿=新),切换流量时整体切。回滚快,但资源占双倍。
- 金丝雀(Canary):先放 1% 流量到新版本,观察指标正常后逐步放大。用 Argo Rollouts 或 Flagger 实现。
- 特性开关:代码里埋开关,不发版也能开关功能。适合需要快速回退功能但不回滚代码。
最小可运行示例(Deployment 滚动策略):
spec:
strategy:
type: RollingUpdate
rollingUpdate:
maxSurge: 1
maxUnavailable: 0
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 发布期间接口偶发 502 | 旧 Pod 被摘但连接还在 | 加 preStop 与 terminationGracePeriodSeconds |
| 金丝雀放大后才发现问题 | 只看 Pod 状态没看业务指标 | 金丝雀必须绑定指标(错误率、P99) |
| 回滚后还有用户请求 | Service 还连旧 Pod | 等 endpoints 更新,或先缩容旧版本 |
5.5 回滚:revision history 与镜像 tag
为什么需要它:发布后出问题是常态,回滚速度决定故障时长。没有回滚能力的发布流水线等于裸奔。
核心机制:
- K8s Deployment 保留 revision history(默认 10 条),
kubectl rollout history查看。 kubectl rollout undo deployment/myapp --to-revision=2回滚到指定版本。- 镜像 tag 不可变是回滚的前提:如果 tag 是 latest,回滚到 revision 2 拉到的还是新镜像。
- 回滚后必须查根因,不能回滚完就当没事。
最小可运行示例:
# 看历史
kubectl rollout history deployment/myapp
# 回滚到上一个版本
kubectl rollout undo deployment/myapp
# 回滚到指定版本
kubectl rollout undo deployment/myapp --to-revision=3
# 看回滚进度
kubectl rollout status deployment/myapp
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 回滚后 Pod 还是新镜像 | tag 是 latest | 用不可变 tag |
| rollout history 只有 1 条 | revisionHistoryLimit=0 | 保留至少 10 条 |
| 回滚了但数据库 schema 不兼容 | 发了破坏性 DDL | 数据库变更要向后兼容 |
5.6 多环境配置与发布检查清单
为什么需要它:dev/staging/prod 配置不同(数据库地址、日志级别、副本数),但同一份代码。没有分层配置就会复制粘贴出错。
核心机制:
- 配置分层:公共基线 + 环境覆盖(Kustomize overlay 或 Helm values)。
- 生产发布要有 checklist:发布窗口、通知人、回滚方案、验证点。
- 发布节奏:固定窗口(如每周二、四),不要随时发,减少混乱。
最小可运行示例(Kustomize overlay 结构):
overlays/
base/ # 公共 Deployment、Service
dev/ # 副本数 1,镜像 tag dev
staging/ # 副本数 2,镜像 tag rc
prod/ # 副本数 5,镜像 tag semver
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| staging 用了 prod 数据库 | 配置没隔离 | overlay 里改环境变量 |
| 半夜发版出问题没人知道 | 没通知 | 发群通知 + oncall 在线 |
| 改了配置忘了改回 | 配置写在代码里 | 配置外置,按环境覆盖 |
六、分层练习
6.1 复现型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 写一条 CI | lint + test + build 镜像 | commit 后镜像自动出现在仓库 | 3 小时 |
| 部署 Argo CD | 安装 Application,同步一个样例 | Argo CD UI 显示 Synced | 2 小时 |
| 做一次回滚 | 发布新版本后 rollout undo | 30 秒内回到旧版本 | 1 小时 |
6.2 改造型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 改多阶段构建 | 把 800MB 镜像压到 50MB 以下 | distroless 运行 | 2 小时 |
| 配金丝雀 | 用 Argo Rollouts 放 10% 流量 | 能手动放大/回退 | 4 小时 |
| 拆多环境 | base + dev/staging/prod overlay | 改 base 自动同步三环境 | 3 小时 |
6.3 设计型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 设计一套发布流程 | 从 commit 到 prod 的完整链路图 | 含审批、回滚、通知 | 3 小时 |
| 写发布 checklist | 发布前/中/后各 5 项 | 新人能照做 | 2 小时 |
七、排障表
| 现象 | 可能原因 | 排查步骤 | 解决办法 |
|---|---|---|---|
| CI 构建失败 | 测试没过/依赖拉不到 | 看流水线日志最后一步 | 修测试或换镜像源 |
| Argo CD OutOfSync | Git 与集群不一致 | 点 diff 看差异 | 改 Git 或强制同步 |
| 镜像推不上去 | 认证失败/仓库满 | docker login 测试 | 核对 token、清理旧 tag |
| Pod ImagePullBackOff | tag 不存在或没权限 | kubectl describe pod | 核对 tag、配 imagePullSecrets |
| 发布后 502 增多 | 旧 Pod 摘流太快 | 看 endpoints | 加 preStop 优雅终止 |
| 回滚无效 | 镜像 tag 是 latest | kubectl describe deployment | 改用不可变 tag |
| 回滚后 Pod 起不来 | 数据库 schema 不兼容 | 看新 Pod 日志 | 回滚数据库迁移或向前兼容 |
八、出口条件
全部勾选后进入 阶段 5 可观测性与告警。
- [ ] 能写出一条从 lint 到镜像推送的 CI 流水线
- [ ] 能用 Argo CD 把 Git 里的 YAML 同步到集群
- [ ] 能演示一次滚动发布和一次回滚,且回滚 30 秒内生效
- [ ] 能说清 CI 与 CD 的边界、push 与 pull 模式的区别
- [ ] 镜像 tag 用 git sha 而非 latest
- [ ] 能列出三种发布策略(滚动/蓝绿/金丝雀)的适用场景
自测题:
- 为什么镜像 tag 不能用 latest?
- 要点:不可追溯,回滚时找不到对应版本。
- Argo CD 与 Jenkins 直接 apply 的区别?
- 要点:GitOps 是集群拉取,状态可追溯、权限集中、断网可恢复。
- 滚动发布 maxUnavailable=0 的含义?
- 要点:不减少可用 Pod,先起新的再摘旧的。
- 金丝雀发布为什么要绑指标?
- 要点:Pod Ready 不代表业务正常,要看错误率/P99。
- 回滚后 Pod 起不来可能是什么原因?
- 要点:数据库 schema 不兼容、配置变更不向后兼容。
- CI 里访问镜像仓库用什么凭证?
- 要点:deploy token,不要用个人密码。