罗罗编程学习记录
本页内容 展开查看

04.7.21.4 部署、网关与可观测性

所属:全栈开发面试题库 / 04 后端语言与运行时 / 04.7 Python / 04.7.21 Python 后端常见搭配技术

覆盖范围

  • gunicorn master/worker 模型、gthread/gevent/eventlet 取舍、优雅重启、--preload、max_requests
  • uvicorn ASGI worker、--workers/--limit-concurrency/--timeout-keep-alive
  • Nginx 反代:header 转发、buffer、超时、真实 IP、gzip、限流、负载均衡
  • Docker 多阶段构建、镜像瘦身、非 root、HEALTHCHECK、.dockerignore
  • K8s 探针、资源限制、HPA、ConfigMap/Secret、滚动更新、优雅退出
  • CI/CD 流水线、制品缓存、灰度与回滚
  • 结构化日志、Prometheus 指标、RED/USE、OpenTelemetry 链路、SLO 与容量规划

04.7.21.4-001 gunicorn 的 master/worker 进程模型是怎样的?

一句话结论

gunicorn master 是监控管理进程,负责拉起、监控、回收 worker;worker 是实际处理请求的子进程,按并发模型(sync/gthread/gevent/eventlet)处理连接。master 不处理业务请求,worker 崩溃由 master 重新 fork;进程间通过信号与管道协作。

概念解释

  • master:进程树根,加载应用配置,管理 worker 生命周期。
  • worker:独立内存空间,处理 HTTP 请求与应用逻辑。
  • 多进程隔离:单个 worker 异常不影响 master 与其他 worker。

原理流程

  1. master 启动,加载 WSGI 应用与配置。
  2. master 按配置 fork 出 N 个 worker。
  3. worker 监听/接受连接,执行应用。
  4. worker 异常退出,master 检测后重新 fork 补位。

代码或图示

master (监控/信号)
├── worker 1
├── worker 2
└── worker N

常见误区

  • 以为 master 也处理请求:master 只管理,业务都在 worker。
  • worker 间共享内存:各自独立,不能靠进程内变量共享状态。
  • 多开 worker 就一定提速:受内存、CPU、下游连接约束。

追问

  • master 收到 HUP 信号做什么?答:重载配置并优雅重启 worker(具体行为见重启题)。
  • worker 数量和 CPU 什么关系?答:CPU 密集接近核数,IO 密集可放大,最终压测确定。
  • gunicorn 支持 Windows 原生吗?答:Windows 下支持有限,生产 Linux 部署(待确认:当前版本 Windows 支持状态)。

04.7.21.4-002 sync worker 的阻塞模型有什么特点?

一句话结论

sync worker 每进程同一时刻处理一个请求,请求阻塞(等待 IO/下游)时 worker 空闲无法接新请求;并发度 = worker 进程数。实现简单、兼容同步阻塞库,适合 CPU 密集或阻塞少的任务;IO 等待多的场景吞吐不足,需 gthread/协程模型或增加进程。

概念解释

  • 阻塞点:数据库查询、HTTP 调用、文件读写等待。
  • 单 worker 串行:一个请求占住直到响应完成。
  • 并发能力靠进程数横向堆叠。

原理流程

  1. worker 接受一个连接。
  2. 调用应用处理,阻塞在 IO/计算。
  3. 响应返回后接受下一个连接。
  4. 并发 = worker 数;阻塞时长决定单 worker 吞吐。

代码或图示

gunicorn app:app -w 4 -k sync --timeout 30

常见误区

  • 同步应用里用 sync worker 开很少进程:IO 等待期间并发浪费。
  • 以为 sync worker 内部有线程池:默认没有,线程模型用 gthread。
  • 阻塞调用不设超时:worker 长期卡住,并发耗尽。

追问

  • 怎么判断 worker 阻塞?答:接口 P95 高、worker 全忙、下游等待时长占比高。
  • sync 模型适合什么?答:CPU 计算、轻 IO、兼容老同步库的服务。
  • 单 worker 每秒能处理多少请求?答:约等于 1 / 平均请求耗时,按压测值估。

04.7.21.4-003 gthread worker 怎么取舍?

一句话结论

gthread(-k gthread)在每个 worker 进程内开线程池,--threads 控制线程数;进程内多线程并发处理阻塞请求,比 sync 多进程节省内存,比协程模型兼容性好。适合既有同步阻塞库、又想在单进程内提高并发的场景;线程数受内存与 GIL/下游连接约束。

概念解释

  • 并发 = worker 数 × 线程数。
  • 线程复用处理短阻塞,线程间共享进程内存但要注意线程安全。
  • GIL 下 CPU 密集任务多线程无提速,IO 等待多线程有效。

原理流程

  1. master fork worker,每个 worker 启动线程池。
  2. 连接分配到空闲线程执行应用。
  3. 线程阻塞时释放给其他连接。
  4. 线程/进程数按内存与下游连接核算。

代码或图示

gunicorn app:app -w 4 -k gthread --threads 4 --timeout 30

常见误区

  • 线程数开过大:内存与连接膨胀,上下文切换增加。
  • 线程不安全的扩展被多线程共享:状态错乱,需加锁或线程隔离。
  • CPU 密集任务靠多线程提速:GIL 限制下收益有限。

追问

  • gthread 和 sync 怎么选?答:IO 等待多用 gthread 提并发;纯计算或兼容性优先用 sync。
  • 线程数怎么定?答:先按 worker 数 × 线程数 ≤ 下游连接/内存上限,压测调整。
  • gthread 里能用线程本地存储吗?答:能,threading.local 按线程隔离。

04.7.21.4-004 gevent/eventlet 协程 worker 有什么前提?

一句话结论

gevent/eventlet 通过 monkey patch 把标准库阻塞 IO 替换为协程非阻塞,单进程承载大量并发协程,IO 密集场景吞吐高。前提:所有依赖兼容 patch,阻塞 C 库/原生线程调用会卡住整个协程池;模型选择需在预发验证兼容性,不能盲目切换。

概念解释

  • monkey patch:替换 socket、threading 等标准库实现为协程版。
  • 协程切换在 IO 等待点发生,CPU 密集无收益。
  • gevent 与 eventlet 补丁机制不同,依赖不能混用。

原理流程

  1. 启动协程池 worker,执行 monkey patch。
  2. 连接以协程方式调度执行。
  3. IO 等待时让出协程,处理其他连接。
  4. 遇到未打补丁的阻塞调用,整个 worker 被卡住。

代码或图示

gunicorn app:app -k gevent -w 4 --worker-connections 1000
gunicorn app:app -k eventlet -w 4

常见误区

  • 协程池里跑同步阻塞驱动:事件循环被堵死,并发归零。
  • 补丁时机太晚:部分库已加载原始实现,patch 不生效。
  • CPU 密集任务用协程:GIL 与协程切换无提速,应多进程。

追问

  • 怎么验证依赖兼容 gevent?答:预发压测,检查是否有原生线程/C 阻塞卡住事件循环。
  • 协程并发数设多少?答:--worker-connections,按 IO 等待与下游上限估,常见数百到上千。
  • gevent 和 eventlet 能混用吗?答:不建议,补丁机制与依赖冲突。

04.7.21.4-005 worker 数量怎么配?受哪些约束?

一句话结论

经验起点:sync 模型 worker = 2 × 核数 + 1;IO 密集可放大,CPU 密集接近核数。硬约束:内存(worker × 单进程占用)、数据库/下游连接数、CPU limit。最终以压测拐点为准,容器按 CPU limit 而非宿主机核数计算。

概念解释

  • 经验公式只是起点,不是标准值。
  • 总连接 = worker × 每进程连接(线程/协程池),必须 ≤ DB 上限。
  • 内存 × worker 数不能超容器内存 limit。

原理流程

  1. 判断任务 CPU/IO 占比。
  2. 初始 worker:CPU 密集 ≈ 核数;IO 密集按等待比例放大。
  3. 核对内存与下游连接预算。
  4. 压测吞吐、P95、资源占用,找到拐点固定配置。

代码或图示

# 起点示例(8 核机器)
gunicorn app:app -w 17 -k gthread --threads 4

常见误区

  • worker 越多吞吐越高:CPU/连接/内存先到瓶颈,过高反而上下文切换。
  • 按宿主机核数配容器内 worker:CPU limit 限制可用核数。
  • 忽略下游连接:worker 打满数据库连接,新请求被拒。

追问

  • 怎么找最优 worker 数?答:阶梯加压测吞吐与耗时,吞吐不再增长且资源有余量即为拐点。
  • 异步 ASGI 服务 worker 数?答:每进程一个事件循环,worker ≈ 核数,并发由协程承载。
  • Worker 内存基线怎么测?答:空 worker RSS + 单请求/线程内存占用,乘以并发数估算。

04.7.21.4-006 优雅重启是怎么实现的?

一句话结论

优雅重启:master 收到重载信号(HUP)或重启命令后,拉起新 worker,旧 worker 处理完在途请求后退出(drain),不强制切断已连接请求。USR2 用于原地升级 gunicorn 二进制;重启期间请求不中断,旧 worker 退出时限受 timeout 约束。

概念解释

  • HUP:重载配置并重启 worker。
  • 旧 worker 停止接受新连接,处理完存量请求后退出。
  • 新 worker 就绪后接管流量。

原理流程

  1. master 收到重载/重启信号。
  2. fork 新 worker 进程。
  3. 通知旧 worker 停止接新请求,排空在途连接。
  4. 旧 worker 退出,master 保留新进程树;超时未退出按信号终止。

代码或图示

# 信号方式
kill -HUP <master-pid>
# 或 gunicorn 命令 reload
gunicorn app:app --reload  # 开发自动重载

常见误区

  • 重启强杀旧 worker:在途请求被中断。
  • 长事务/长任务不排空:旧 worker 迟迟不退出,重启时间拉长。
  • --reload 用于生产:文件监听重启,不应在线上开启。

追问

  • 旧 worker 排空超时怎么办?答:超过 timeout 被强制终止,长任务需拆短或异步化。
  • 优雅重启会丢请求吗?答:已接受的在途请求尽量保留;未接受的由新 worker 接管。
  • USR2 和 HUP 区别?答:USR2 原地升级程序二进制,HUP 重载配置重启 worker。

04.7.21.4-007 --preload 有什么作用?

一句话结论

--preload 在 master 进程内先加载应用,再 fork worker,子进程通过 copy-on-write 继承代码与已加载资源,降低内存占用与启动时间;代价是 fork 后应用初始化的全局状态、线程/连接不会复制到 worker,需在 worker 启动钩子内初始化。

概念解释

  • 无 preload:每个 worker 独立加载应用,重复占内存。
  • preload:master 加载一次,fork 共享只读内存页。
  • fork 后线程、套接字、数据库连接不继承,需 worker 级初始化。

原理流程

  1. master 启动,preload 模式下导入 WSGI 应用。
  2. 应用模块级对象加载完成,内存页可被子进程共享。
  3. fork worker,COW 继承已加载资源。
  4. worker 启动钩子内建立连接等进程级资源。

代码或图示

gunicorn app:app -w 4 --preload

常见误区

  • preload 后在 master 建数据库连接:fork 不继承套接字,worker 内连接失效。
  • 模块级启动线程:线程不跨 fork 复制,需在 worker 钩子初始化。
  • 应用初始化有副作用(抢资源):master 阶段执行会重复占用。

追问

  • preload 适合什么场景?答:大代码库、多 worker、内存敏感的生产部署。
  • worker 级初始化写在哪?答:post_fork/when_ready 钩子(按 gunicorn 配置方式)。
  • preload 会影响热重载吗?答:重载后仍走 master 加载再 fork,配置变更需重启生效。

04.7.21.4-008 max_requests 怎么防内存泄漏?

一句话结论

max_requests 指定 worker 处理多少请求后自动退出重启,由 master 拉起新进程,释放长期积累的内存与泄漏对象;max_requests_jitter 给数量加随机抖动,避免所有 worker 同时重启。它是内存泄漏的兜底手段,不替代根因排查。

概念解释

  • 泄漏来源:未释放大对象、第三方库缓存、循环引用、线程局部残留。
  • 重启间隔按内存增长速度定,任务后 RSS 明显上涨就调小。
  • 重启瞬间该 worker 任务排空,不影响其他 worker。

原理流程

  1. worker 每完成一个请求计数加一。
  2. 达到 max_requests(加 jitter 随机值),完成当前请求后退出。
  3. master 监控到退出,fork 新 worker 补位。
  4. 新进程内存基线重置,泄漏对象随进程销毁。

代码或图示

gunicorn app:app -w 4 --max-requests 2000 --max-requests-jitter 200

常见误区

  • 阈值过大:进程长期不重启,内存涨到 OOM。
  • 阈值过小:频繁 fork,启动与连接重建开销上升。
  • 以为重启解决泄漏:根因对象/缓存仍在代码里,需内存分析定位。

追问

  • 还有按内存重启的方式吗?答:gunicorn 主要按请求数;内存阈值回收需外部监控重启(待确认:版本是否有内存参数)。
  • 重启会丢在途请求吗?答:完成当前请求后退出,预取/在途任务按模型排空。
  • 怎么观察内存增长?答:worker RSS 随请求数趋势,结合 tracemalloc/分析工具定位。

04.7.21.4-009 gunicorn --timeout 与孤儿 worker 怎么理解?

一句话结论

--timeout(默认 30 秒)判定 worker 无响应时长,超时 master 认为 worker 卡死并终止重启;长时间阻塞、死循环、阻塞调用不返回会触发超时。孤儿 worker 指 master 已退出后残留的子进程,仍占用端口/资源,需清理。

概念解释

  • 超时监控:master 跟踪 worker 心跳/响应状态。
  • 卡死场景:死循环、阻塞系统调用、未打补丁的阻塞库。
  • 孤儿进程:master 崩溃/被 kill 后子进程未被回收。

原理流程

  1. worker 处理请求,master 监控超时状态。
  2. 超过 timeout 未响应,master 终止该 worker 并 fork 新进程。
  3. master 退出后残留子进程成为孤儿,继续占用资源。
  4. 部署脚本/监控识别并清理孤儿进程。

代码或图示

gunicorn app:app --timeout 30 --graceful-timeout 30

常见误区

  • 超时按平均耗时设:长尾任务被误杀,应按 P99 与任务类型调。
  • 长任务不异步化:反复超时重启,吞吐下降。
  • 忽略孤儿进程:端口/内存残留,下次部署端口占用。

追问

  • graceful-timeout 是什么?答:优雅退出等待在途请求的时限,超时强制终止。
  • worker 超时报什么日志?答:WORKER TIMEOUT 类告警,附堆栈/占用状态。
  • 怎么定位卡死 worker?答:现场 dump 堆栈、检查下游等待、阻塞调用来源。

04.7.21.4-010 uvicorn 单进程事件循环如何承载大量并发连接?

一句话结论

uvicorn 基于 asyncio 事件循环,单进程内通过协程承载并发连接;ASGI 服务器负责协议解析、请求收发调度到应用。多 worker 部署时每个进程一个事件循环,进程间独立;CPU 密集需进程池/多 worker,阻塞调用要隔离出事件循环。

概念解释

  • 事件循环:协程调度,IO 等待时切换其他连接。
  • 协议实现:h11/httptools 解析 HTTP,websockets 处理 WS。
  • ASGI 应用 await app(scope, receive, send)。

原理流程

  1. uvicorn 启动事件循环,监听端口。
  2. 连接进入,协议层构造 ASGI scope/receive/send。
  3. 调度应用协程处理请求。
  4. IO 等待让出循环,响应写回连接。

代码或图示

uvicorn main:app --host 0.0.0.0 --port 8000 --workers 4

常见误区

  • 事件循环里跑同步阻塞调用:循环卡住,并发能力崩塌。
  • 单 worker 处理 CPU 密集:GIL 与单循环限制吞吐。
  • 异步应用直接跑同步 WSGI 服务器:协议不兼容。

追问

  • uvicorn 和 Starlette/FastAPI 关系?答:uvicorn 是服务器,Starlette/FastAPI 是 ASGI 应用框架。
  • 多 worker 共享状态吗?答:进程独立,状态需外部存储(缓存/DB)。
  • 事件循环延迟怎么监控?答:loop lag 指标,协程排队与接口 P99 抖动。

04.7.21.4-011 --workers 与 --limit-concurrency 配置?

一句话结论

--workers 是进程数,每进程一个事件循环;--limit-concurrency 限制单进程并发连接/任务数,超出排队或拒绝。worker 数按 CPU 核数与 CPU 密集度估;limit-concurrency 保护事件循环与下游,避免并发无限堆积。两者配合控制总并发 = workers × limit。

概念解释

  • worker:水平进程扩展,利用多核。
  • limit-concurrency:单进程并发上限,背压保护。
  • 总连接预算需与下游 DB/外部接口匹配。

原理流程

  1. 按 CPU limit 确定 worker 数起点。
  2. 压测单进程并发拐点,设 limit-concurrency。
  3. 超出并发上限的请求排队/返回 503(按配置)。
  4. 监控并发数、队列长度与下游占用。

代码或图示

uvicorn main:app --workers 4 --limit-concurrency 100

常见误区

  • workers 开过多:上下文切换、内存与连接膨胀。
  • 不设并发上限:慢请求堆积占满事件循环,新请求超时。
  • limit 设超过下游承受能力:保护了循环却打垮下游。

追问

  • 异步服务需要线程池吗?答:有阻塞遗留库时用线程池隔离,纯异步不需要。
  • 并发排队怎么表现?答:等待事件循环调度,延迟上升;超上限按服务器配置拒绝。
  • worker 数怎么压测?答:阶梯加压看吞吐拐点、CPU 利用率与 P95。

04.7.21.4-012 --timeout-keep-alive 控制什么?

一句话结论

--timeout-keep-alive 控制 keep-alive 空闲连接保持时长,超时关闭空闲连接;长连接复用减少握手,过长则占用连接资源。Nginx 与后端的 keep-alive 超时要协调:后端超时应小于或匹配代理侧,避免代理复用已被后端关闭的连接。

概念解释

  • keep-alive:同一 TCP 连接复用多个请求。
  • 空闲超时:连接无请求多久后关闭。
  • 代理链超时不一致可能出现复用失效连接。

原理流程

  1. 请求完成,连接进入空闲 keep-alive 状态。
  2. 超过 timeout-keep-alive 未复用,服务器关闭连接。
  3. 代理侧连接池按各自超时管理。
  4. 两侧超时对齐,避免连接竞态关闭。

代码或图示

uvicorn main:app --timeout-keep-alive 5

常见误区

  • 后端超时大于 Nginx:Nginx 认为连接可用而后端已关,请求报错。
  • 超时设过长:大量空闲连接占用资源。
  • 长轮询/WebSocket 受 keep-alive 影响:长连接有独立生命周期,不等同空闲超时。

追问

  • keep-alive 默认值多少?答:uvicorn 默认 5 秒(待确认:当前版本默认值)。
  • 代理到后端也有 keep-alive 吗?答:Nginx keepalive 指令控制上游连接复用,超时需协调。
  • 怎么判断连接被误关?答:偶发连接重置/复用报错,检查两侧超时配置。

04.7.21.4-013 uvicorn 的 HTTP 解析器类型有哪些?

一句话结论

uvicorn 可选 HTTP 实现:h11(纯 Python,兼容性稳)、httptools(C 扩展,性能高);WebSocket 实现 websockets。--http/--ws 参数选择;生产高吞吐常用 httptools,纯环境/兼容性问题回退 h11。

概念解释

  • h11:Python 实现,依赖少,速度适中。
  • httptools:基于 C 扩展,解析性能更好。
  • WS 实现影响 WebSocket 连接稳定性与协议兼容。

原理流程

  1. 启动时按参数加载对应协议实现。
  2. 连接字节流由解析器解析为 ASGI 消息。
  3. 解析异常按协议返回错误响应。
  4. 压测对比解析 CPU 占用与兼容性后定型。

代码或图示

uvicorn main:app --http httptools --ws websockets

常见误区

  • 未安装 C 扩展却选 httptools:启动报错,需装依赖。
  • 解析器问题误判为应用 bug:先排除协议层解析异常。
  • WebSocket 场景忽略 ws 实现兼容:连接断开/帧解析问题。

追问

  • 默认 HTTP 实现是什么?答:优先 httptools,不可用回退 h11(待确认:当前版本默认选择逻辑)。
  • 解析器影响业务代码吗?答:不影响 ASGI 接口,只影响性能与兼容。
  • 怎么切换排查?答:h11/httptools 各跑一轮,对比报错与性能。

04.7.21.4-014 gunicorn 能托管 ASGI 应用吗?怎么组合?

一句话结论

gunicorn 原生是 WSGI 服务器,托管 ASGI 应用需用 uvicorn worker(-k uvicorn.workers.UvicornWorker),由 gunicorn 管理进程、uvicorn worker 跑事件循环;也可直接用 uvicorn 多 worker。组合方式兼顾 gunicorn 进程管理与 ASGI 异步能力,FastAPI/Starlette 生产常见部署。

概念解释

  • UvicornWorker:gunicorn worker 类型,内部启动 uvicorn 事件循环。
  • gunicorn 负责 master 监控、worker 回收、信号管理。
  • 直接 uvicorn 多进程也可,管理能力弱于 gunicorn。

原理流程

  1. gunicorn master 拉起 UvicornWorker。
  2. 每个 worker 内启动 uvicorn 事件循环与 ASGI 应用。
  3. gunicorn 监控 worker 存活,异常重启。
  4. 请求经 worker 事件循环调度到应用。

代码或图示

gunicorn main:app -w 4 -k uvicorn.workers.UvicornWorker --bind 0.0.0.0:8000

常见误区

  • 用普通 sync/gthread worker 跑 ASGI 应用:协议不兼容,无法服务。
  • UvicornWorker 内再开事件循环:重复初始化,状态混乱。
  • 混合 WSGI/ASGI 应用同进程:协议模型冲突,应拆分服务。

追问

  • 为什么不直接 uvicorn --workers?答:gunicorn 提供成熟的 master 监控、优雅重启与 worker 回收;小服务直接 uvicorn 也可。
  • UvicornWorker 支持 WebSocket 吗?答:支持,经 uvicorn ws 实现(待确认:版本兼容性)。
  • gthread 能跑异步应用吗?答:不能,异步应用必须 ASGI worker。

04.7.21.4-015 Nginx 反向代理承担哪些职责?

一句话结论

Nginx 作为入口反向代理:接收外部连接、负载均衡到后端应用、转发请求头、缓冲请求/响应、SSL 终止、静态资源服务、gzip 压缩、限流与访问控制。应用服务器只处理业务,连接管理与并发接入由 Nginx 承担。

概念解释

  • 反向代理:后端对客户端透明,Nginx 代表应用接收请求。
  • 职责分层:接入层(Nginx)+ 应用层(gunicorn/uvicorn)。
  • Nginx 高并发连接能力强,保护后端应用。

原理流程

  1. 客户端请求到 Nginx 监听端口。
  2. Nginx 按 upstream 选择后端,转发请求。
  3. 后端响应返回 Nginx,缓冲后发回客户端。
  4. Nginx 处理 SSL、压缩、静态资源与限流。

代码或图示

server {
    listen 443 ssl;
    location / {
        proxy_pass http://backend;
    }
}

常见误区

  • 应用服务器直接暴露公网:失去代理层缓冲、限流与 SSL 终止能力。
  • Nginx 配置与后端超时不一致:连接复用竞态与超时错误。
  • 静态文件走应用进程:占用应用 worker,应由 Nginx/CDN 服务。

追问

  • 反向代理和正向代理区别?答:反向代理代表服务器接收客户端;正向代理代表客户端访问外部。
  • Nginx 能做 API 网关吗?答:基础路由/限流/鉴权可做,复杂网关能力需专用组件。
  • 代理层做哪些高可用?答:多后端 upstream、健康检查、故障转移。

04.7.21.4-016 proxy_set_header 要转发哪些头?

一句话结论

反代必须转发 Host(原始主机名)、X-Real-IP/X-Forwarded-For(客户端 IP)、X-Forwarded-Proto(原始协议 http/https),WebSocket 场景还需 Upgrade/Connection。不转发 Host 会导致应用生成错误 URL;不透传协议会让应用判断成 http。

概念解释

  • Host:客户端访问的域名/主机,应用路由与绝对链接依赖它。
  • X-Forwarded-For:逐级追加客户端 IP 链。
  • X-Forwarded-Proto:终止 SSL 后告知应用原始协议。

原理流程

  1. Nginx 接收请求,读取原始头。
  2. proxy_set_header 构造转发头。
  3. 后端应用从头部获取真实主机/IP/协议。
  4. WebSocket 升级头随连接转发,保持长连接。

代码或图示

location / {
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_pass http://backend;
}

常见误区

  • 不转发 Host:后端收到 upstream 地址,重定向/链接生成错误。
  • 覆盖 XFF 而非追加:$proxy_add_x_forwarded_for 才追加,直接赋值会丢链。
  • HTTPS 终止后不传 proto:应用以为 http,生成 http 链接或安全判断错误。

追问

  • WebSocket 需要哪些头?答:Upgrade $http_upgrade、Connection "upgrade",并配置长连接超时。
  • 应用怎么读真实 IP?答:信任代理链解析 XFF 最右/最左有效地址,注意伪造头清洗。
  • 转发头能传递 Cookie 吗?答:Cookie 默认随代理转发,无需额外配置。

04.7.21.4-017 怎么获取客户端真实 IP?

一句话结论

多级代理下真实 IP 在 X-Forwarded-For 链中,应用按可信代理范围解析:取最靠近客户端的有效地址,剔除可信代理节点;X-Real-IP 由紧邻代理写入。不可信来源的伪造 XFF 头必须清洗,否则 IP 限制/审计被绕过。

概念解释

  • XFF 格式:client, proxy1, proxy2,逐级追加。
  • 可信代理:只有本链路代理写入的节点可信任,外部传入的伪造头要丢弃。
  • 直连场景:$remote_addr 即客户端 IP。

原理流程

  1. Nginx 用 $proxy_add_x_forwarded_for 追加 remote_addr。
  2. 应用/网关解析 XFF,按可信代理列表跳过代理节点。
  3. 取第一个不可信地址作为真实客户端 IP。
  4. 伪造头在入口代理处覆盖/清洗,不向后传递。

代码或图示

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Real-IP $remote_addr;

常见误区

  • 直接取 XFF 第一个值:可能是客户端伪造的头。
  • 多级代理只看 X-Real-IP:它是紧邻代理写入的地址,不是原始客户端。
  • 应用无条件信任所有 XFF:IP 黑名单/地域判断被绕过。

追问

  • CDN 后怎么取真实 IP?答:用 CDN 提供的真实 IP 头(如 CF-Connecting-IP),只信任 CDN 回源地址。
  • XFF 链怎么清洗?答:入口代理重置外部传入的 XFF,从可信 remote_addr 开始追加。
  • 日志应记录什么 IP?答:真实客户端 IP + 代理链,便于审计与排查。

04.7.21.4-018 代理 buffer 和上传 body 大小怎么配?

一句话结论

Nginx proxy_buffering 缓冲后端响应,client_body_buffer_size/client_max_body_size 控制请求体缓冲与上限;大文件上传需上调 client_max_body_size,否则 413 错误。缓冲影响后端连接占用:关闭缓冲时后端响应期间连接一直被占用。

概念解释

  • 请求体缓冲:超出缓冲写临时文件。
  • 响应缓冲:后端先写完到 Nginx,Nginx 再慢速发客户端。
  • 上传大小限制:client_max_body_size,默认较小(1MB 量级,待确认:默认值)。

原理流程

  1. 客户端上传 body,Nginx 按缓冲大小接收。
  2. 超缓冲写临时文件,受 client_max_body_size 上限约束。
  3. 转发后端;响应按 buffering 配置缓冲或直通。
  4. 超限返回 413,超时按代理超时配置。

代码或图示

client_max_body_size 50m;
client_body_buffer_size 128k;
proxy_buffering on;
proxy_buffer_size 16k;

常见误区

  • 上传大文件报 413:client_max_body_size 未上调。
  • 缓冲关闭给慢客户端场景:后端连接被慢速客户端占用。
  • 缓冲过大占内存:响应体大时调缓冲/临时目录配置。

追问

  • 大文件直传对象存储怎么走?答:前端经预签名 URL 直传 S3,不经过应用/Nginx body 限制。
  • 缓冲目录在哪?答:Nginx 临时文件目录,需磁盘空间与权限。
  • 响应 buffer 影响超时吗?答:后端写完即可释放连接,缓冲由 Nginx 负责慢速发送。

04.7.21.4-019 Nginx 代理连接/读取/发送超时怎么配?

一句话结论

proxy_connect_timeout:连接后端超时;proxy_read_timeout:等待后端响应读取超时;proxy_send_timeout:向后端发送请求超时。超时按业务下游耗时设置,过长让故障请求堆积,过短误杀慢请求;后端慢任务应异步化,不靠拉长超时兜底。

概念解释

  • connect:TCP 连接上游阶段。
  • read:后端处理与响应读取阶段,最易踩坑。
  • send:请求体向上游发送阶段。

原理流程

  1. Nginx 向后端建连接,受 connect 超时约束。
  2. 发送请求体,受 send 超时约束。
  3. 等待后端响应,受 read 超时约束。
  4. 超时返回 504,记录上游耗时日志。

代码或图示

proxy_connect_timeout 5s;
proxy_read_timeout 30s;
proxy_send_timeout 30s;

常见误区

  • read_timeout 设很长:后端卡死时 Nginx 连接长期占用。
  • 长报表/导出走同步接口:超时误杀,应异步任务 + 轮询下载。
  • 三个超时混为一谈:阶段不同,超时含义与排错方向不同。

追问

  • 504 和 502 区别?答:504 上游超时无响应;502 上游连接失败/返回非法响应。
  • 超时怎么按业务分级?答:不同 location 配不同超时,查询接口短,文件接口放宽。
  • 后端 keep-alive 超时和代理超时关系?答:协调避免代理复用已关闭连接。

04.7.21.4-020 gzip 压缩和静态资源缓存怎么配?

一句话结论

gzip 压缩文本类响应(HTML/JS/CSS/JSON)降低传输体积,按 MIME 类型与压缩级别配置;静态资源带 hash 文件名配长缓存 Cache-Control,HTML 等入口文件短缓存或不缓存。压缩在 CPU 与传输体积间权衡,图片/视频已压缩格式不再 gzip。

概念解释

  • gzip:文本压缩,级别越高 CPU 占用越大、压缩比提升递减。
  • 缓存:带内容 hash 的静态资源可强缓存;入口 HTML 需要校验更新。
  • 静态资源优先 CDN/Nginx 服务,不走应用进程。

原理流程

  1. 响应按 MIME 判断是否压缩。
  2. gzip 压缩后发送,客户端解压。
  3. 静态资源响应头带 Cache-Control/ETag。
  4. 浏览器/CDN 按缓存策略复用资源。

代码或图示

gzip on;
gzip_types text/css application/javascript application/json;
gzip_comp_level 5;

location /assets/ {
    expires 30d;
    add_header Cache-Control "public, immutable";
}

常见误区

  • 对图片/视频再 gzip:重复压缩浪费 CPU,收益极小。
  • HTML 也强缓存:发版后用户拿到旧页面。
  • 缓存未配 hash 文件名:内容更新后缓存不失效。

追问

  • gzip 级别怎么选?答:5 左右平衡 CPU 与体积,过高收益递减。
  • 压缩和 TLS 性能关系?答:压缩增加 CPU,高流量需评估 CPU 余量。
  • 静态资源更新怎么破缓存?答:文件名带内容 hash,发版换文件名即失效。

04.7.21.4-021 limit_req 与 limit_conn 限流区别?

一句话结论

limit_req 按请求速率限流(每秒/每分钟请求数,漏桶排队);limit_conn 限制并发连接数。按 IP/URI/业务维度定义限流区域,超限返回 503 或排队。限流保护后端不被突发流量打垮,需与应用层鉴权限流配合,避免误伤正常用户。

概念解释

  • limit_req:速率维度,控制单位时间请求量。
  • limit_conn:并发维度,控制同时在线连接。
  • 限流键:$binary_remote_addr(IP)、自定义头/参数。

原理流程

  1. limit_req_zone 定义区域、键与速率。
  2. limit_req 在 location 应用,配置 burst 排队与 nodelay。
  3. limit_conn_zone + limit_conn 限制并发连接。
  4. 超限按配置拒绝或排队,记录限流日志。

代码或图示

limit_req_zone $binary_remote_addr zone=perip:10m rate=10r/s;

location /api/ {
    limit_req zone=perip burst=20 nodelay;
    limit_conn perip 20;
}

常见误区

  • 限流键用 Nginx 变量取不到的值:规则不生效。
  • burst 过大:限流形同虚设,突发仍堆积。
  • 只在网关限流:应用内部任务/下游调用无保护。

追问

  • 限流返回什么状态码?答:默认 503,可配 limit_req_status/limit_conn_status。
  • 怎么按用户限流?答:从鉴权头/会话取用户 ID 作限流键,需应用层传递。
  • 限流和熔断区别?答:限流控入口速率;熔断在下游故障时快速失败,避免积压。

04.7.21.4-022 Nginx 负载均衡策略有哪些?

一句话结论

upstream 策略:round-robin(轮询默认)、least_conn(最少连接)、ip_hash(按客户端 IP 哈希会话绑定)、hash(自定义键哈希);支持被动健康检查与失败重试。无状态服务优先轮询/最少连接,需会话绑定才用 ip_hash,且要注意后端扩容再平衡。

概念解释

  • 轮询:均匀分配,默认策略。
  • least_conn:当前连接少的后端优先,适合请求时长差异大。
  • ip_hash:同 IP 落同一后端,有状态会话场景,扩容后映射变化。

原理流程

  1. 定义 upstream 服务器列表。
  2. 按策略选择后端处理请求。
  3. 后端失败按配置重试/摘除。
  4. 健康检查剔除不可用节点,恢复后放回。

代码或图示

upstream backend {
    least_conn;
    server 10.0.0.1:8000;
    server 10.0.0.2:8000;
}

常见误区

  • 无状态服务用 ip_hash:绑定无必要,分配不均。
  • 后端权重不按容量配:小机器接同等流量。
  • 忽略健康检查:故障节点持续收到请求。

追问

  • 怎么做主动健康检查?答:Nginx 商业版/OpenResty 支持主动探测;开源版多为被动失败摘除。
  • 会话绑定一定用 ip_hash 吗?答:更好的是会话外置(缓存/DB),后端无状态。
  • 后端宕机请求会重试吗?答:proxy_next_upstream 配置失败转移条件,注意幂等安全。

04.7.21.4-023 Docker 多阶段构建为什么能瘦身?

一句话结论

多阶段构建:第一阶段装编译/构建依赖、生成产物;最终阶段只复制运行所需产物与运行时依赖,构建工具、源码、中间层不进入最终镜像。镜像体积从「全量环境」降到「运行时最小集」,同时减少攻击面。

概念解释

  • 阶段一:builder,装工具链、依赖、构建产物。
  • 阶段二:runtime,基础运行时 + 复制产物。
  • 中间层不保留在最终镜像,层缓存复用各阶段。

原理流程

  1. builder 阶段安装编译依赖、拉源码、构建。
  2. 生成可执行产物/静态文件/依赖目录。
  3. runtime 阶段选精简基础镜像,复制产物。
  4. 最终镜像只含运行必需文件与运行时库。

代码或图示

# builder
FROM python:3.12-slim AS builder
WORKDIR /app
COPY requirements.txt .
RUN pip install --user -r requirements.txt
COPY . .

# runtime
FROM python:3.12-slim
WORKDIR /app
COPY --from=builder /root/.local /root/.local
COPY --from=builder /app .
CMD ["python", "main.py"]

常见误区

  • 最终阶段仍装构建工具:镜像没瘦下来。
  • 复制整个源码目录进运行镜像:源码与调试信息泄露。
  • 依赖分开发/运行未拆分:开发依赖进生产镜像。

追问

  • 多阶段构建影响构建速度吗?答:阶段内层缓存复用,首次构建略增,最终镜像变小。
  • Python 运行时需要哪些系统库?答:按运行时动态链接库装,编译期库不进 runtime。
  • 镜像瘦身后怎么验证?答:docker history/镜像列表看体积,运行功能正常。

04.7.21.4-024 镜像层缓存和依赖拷贝顺序怎么安排?

一句话结论

Docker 镜像按指令分层,层未变更就复用缓存;先拷贝依赖清单(requirements/package.json)安装依赖,再拷贝源码,让依赖层在源码变更时仍命中缓存。频繁变更的文件放后面,稳定依赖放前面,避免每次构建重装依赖。

概念解释

  • 缓存失效:指令或复制内容变化,该层及后续层重建。
  • 依赖安装层独立:源码改不动依赖缓存。
  • .dockerignore 排除无关文件,减少复制上下文。

原理流程

  1. 基础镜像层固定。
  2. 先拷依赖清单,安装依赖(稳定层)。
  3. 再拷源码与业务文件(易变层)。
  4. 源码修改只重建后续层,依赖层复用缓存。

代码或图示

COPY requirements.txt ./
RUN pip install -r requirements.txt
COPY . .

常见误区

  • 先 COPY . . 再装依赖:源码任何改动都重装依赖。
  • 依赖清单复制不全:缓存命中但缺包。
  • 上下文太大:.dockerignore 未排除,构建上传慢。

追问

  • 缓存什么时候失效?答:Dockerfile 指令变化、复制源内容校验变化、基础镜像变化。
  • 怎么强制重建缓存?答:--no-cache,排查缓存问题时使用。
  • 依赖锁文件要进镜像吗?答:锁文件用于安装确定版本,应在构建上下文内。

04.7.21.4-025 为什么容器要以非 root 用户运行?

一句话结论

以非 root 用户运行容器,限制容器逃逸后的权限范围:进程被攻破不能直接获得容器内 root 权限,减少对宿主与其他容器的影响。Dockerfile 创建专用用户、USER 切换,文件目录归属该用户;需要绑定特权端口或系统能力时单独评估,不默认 root。

概念解释

  • root 进程:容器内拥有最高权限,逃逸风险大。
  • 非 root:仅拥有工作目录与必要文件权限。
  • K8s 安全上下文可补充 runAsNonRoot 约束。

原理流程

  1. 基础镜像创建专用系统用户/组。
  2. 复制产物到该用户可读目录。
  3. USER 指令切换到非 root。
  4. 启动命令以该用户执行,必要文件权限最小化。

代码或图示

RUN useradd -r appuser
USER appuser
WORKDIR /app
COPY --chown=appuser:appuser . .

常见误区

  • 运行时再 su 切换:入口进程仍是 root,限制失效。
  • 工作目录归属 root:非 root 进程无法写临时/日志目录。
  • 为方便直接 root 运行:扩大逃逸爆炸半径。

追问

  • 非 root 能监听 80/443 吗?答:小于 1024 端口需特权/CAP_NET_BIND_SERVICE,应用常用高位端口由代理转发。
  • 怎么验证运行用户?答:docker exec 查看进程用户,或镜像 USER 指令检查。
  • 镜像内有 sudo 吗?答:精简镜像不装 sudo,避免提权路径。

04.7.21.4-026 HEALTHCHECK 怎么写?

一句话结论

HEALTHCHECK 定期在容器内执行探测命令,根据退出码标记 healthy/unhealthy;可设间隔、超时、重试次数与启动宽限。健康检查反映应用真实可服务状态,不只看进程存活;K8s 探针与容器 HEALTHCHECK 职责不同,容器内检查辅助编排层判断。

概念解释

  • 退出码 0 健康,1 不健康,2 保留。
  • 检查路径:本地 HTTP 健康端点、端口连通、关键依赖探测。
  • 启动慢的应用用启动宽限避免误判不健康。

原理流程

  1. Dockerfile 定义 HEALTHCHECK 命令与参数。
  2. 容器启动后按间隔执行探测。
  3. 连续失败达阈值标记 unhealthy。
  4. 编排系统按健康状态决定重启/摘除。

代码或图示

HEALTHCHECK --interval=30s --timeout=3s --retries=3 \
  CMD curl -f http://localhost:8000/health || exit 1

常见误区

  • 只检查进程存在:进程活着但应用卡死,检查通过。
  • 健康检查依赖外部下游:下游故障导致自身被标记不健康。
  • 超时/重试过短:启动慢应用被误判不健康。

追问

  • 健康端点检查什么?答:进程内基础依赖连通性,不做重型业务查询。
  • HEALTHCHECK 和 K8s 探针重复吗?答:K8s 探针从外部探测为主;Docker HEALTHCHECK 是容器内自报,编排可读取状态。
  • 镜像里没有 curl 怎么做检查?答:用应用运行时/命令内置探测,或装轻量工具。

04.7.21.4-027 .dockerignore 排除哪些文件?

一句话结论

.dockerignore 排除版本控制、虚拟环境、缓存、日志、本地配置、IDE 文件与测试产物,减小构建上下文、避免敏感文件进镜像。常见排除:.git、__pycache__、.venv、node_modules、*.log、本地环境文件、测试与文档目录。

概念解释

  • 上下文是构建时发送给 daemon 的文件集,排除项不进入层。
  • 避免本地密钥/配置被复制进镜像层。
  • 减少上下文上传时间与镜像体积。

原理流程

  1. 编写 .dockerignore 规则(同 gitignore 语法)。
  2. 构建时匹配排除,剩余文件进上下文。
  3. Dockerfile 复制只含必要业务文件。
  4. 镜像历史层不残留排除文件。

代码或图示

.git
.venv
__pycache__
*.pyc
*.log
.env.local
.idea
node_modules
tests

常见误区

  • 忽略了本地密钥文件:镜像层泄露敏感信息。
  • 排除必要配置:运行时缺文件启动失败。
  • 上下文含大体积产物:构建慢、镜像膨胀。

追问

  • .dockerignore 排除后还能在构建阶段用吗?答:不能,排除文件不进上下文。
  • 敏感配置怎么注入?答:环境变量/Secret/配置挂载,不复制进镜像。
  • 怎么检查上下文大小?答:构建上传日志或打包上下文统计。

04.7.21.4-028 基础镜像怎么选?alpine、slim、完整版区别?

一句话结论

完整版镜像依赖全但体积大;-slim Debian 系精简,兼容与体积平衡;alpine 极小但 musl libc 与部分 C 扩展兼容有坑。Python 生产常用 python:3.12-slim;需要 musl 兼容性验证再选 alpine;避免在生产镜像装整套开发工具链。

概念解释

  • slim:glibc Debian,包管理与库兼容好,体积中等。
  • alpine:musl + BusyBox,体积小,部分 wheel/C 扩展需编译。
  • 版本固定:基础镜像 tag 明确小版本,避免漂移。

原理流程

  1. 按依赖兼容性选 libc 基础镜像。
  2. 固定 Python 与系统版本 tag。
  3. 运行时只装必要系统库。
  4. 定期更新基础镜像修补安全漏洞。

代码或图示

FROM python:3.12-slim-bookworm
# 避免: FROM python:3.12  (完整版, 体积大)

常见误区

  • alpine 上装预编译 wheel 失败:musl 兼容问题,需编译工具或换 slim。
  • 基础镜像 tag 浮动:构建环境漂移,行为不一致。
  • 镜像长期不更新:基础层已知漏洞累积。

追问

  • 安全漏洞怎么扫?答:镜像扫描工具检查基础层与依赖漏洞,定期重建更新。
  • slim 缺什么常见库?答:编译工具、部分压缩/网络库,按运行时动态链接补装。
  • 静态编译语言能用 scratch 吗?答:编译出静态二进制可 FROM scratch,Python 解释器不适合。

04.7.21.4-029 K8s liveness、readiness、startup 探针区别?

一句话结论

livenessProbe 检测进程是否卡死,失败重启容器;readinessProbe 检测是否可接流量,失败从 Service 摘除;startupProbe 给慢启动应用宽限期,启动成功前不判 liveness/readiness。三者职责分离:重启 vs 摘流量 vs 启动等待,不可混用。

概念解释

  • liveness:进程僵死/死循环 → 重启。
  • readiness:依赖未就绪/过载 → 摘流量,不重启。
  • startup:应用启动慢,防止被 liveness 误杀。

原理流程

  1. startup 探针先通过,再启用 liveness/readiness。
  2. liveness 周期探测,失败达阈值重启 Pod。
  3. readiness 失败则 Pod 从 endpoints 移除。
  4. 恢复后重新加入流量。

代码或图示

readinessProbe:
  httpGet: { path: /health/ready, port: 8000 }
  initialDelaySeconds: 5
  periodSeconds: 5
livenessProbe:
  httpGet: { path: /health/live, port: 8000 }
  periodSeconds: 10

常见误区

  • 用 liveness 检查依赖:下游故障导致自身被反复重启。
  • readiness 失败触发重启:readiness 只摘流量,不重启。
  • 慢启动应用不配 startup:启动期间 liveness 超时被杀。

追问

  • 探针检查外部下游吗?答:readiness 可检查关键依赖连通;liveness 只反映进程自身健康。
  • 探针端口和业务端口一致吗?答:可用同一端口不同路径,或独立管理端口。
  • 探针失败事件在哪看?答:Pod 事件与 describe,probe 失败原因与退出码。

04.7.21.4-030 探针延迟/周期/失败阈值怎么配?

一句话结论

initialDelaySeconds 首次探测前等待;periodSeconds 探测间隔;failureThreshold 连续失败几次才判定失败;另有 timeoutSeconds 单次探测超时。按应用启动时长、健康检查耗时与故障恢复速度配置:启动慢加大 initial/startup,故障摘除要快则缩短 period 与阈值。

概念解释

  • 启动宽限:startupProbe 或 initialDelay 覆盖应用初始化。
  • 间隔与阈值决定故障判定速度与误判概率。
  • 超时避免探针挂住不返回。

原理流程

  1. 容器启动,等待 initialDelay。
  2. 按 periodSeconds 执行探测。
  3. 单次超过 timeoutSeconds 算失败。
  4. 连续失败达 failureThreshold 触发对应动作(重启/摘流量)。

代码或图示

livenessProbe:
  httpGet: { path: /health/live, port: 8000 }
  initialDelaySeconds: 10
  periodSeconds: 10
  timeoutSeconds: 2
  failureThreshold: 3

常见误区

  • initialDelay 小于实际启动时间:容器未就绪就被判失败。
  • failureThreshold=1:偶发抖动即重启/摘流量。
  • period 过短:探针自身压力大,频繁探测占用资源。

追问

  • 探针超时设多少?答:略大于健康端点正常响应时间,避免慢响应误判。
  • readiness 失败几次摘流量?答:failureThreshold 控制,恢复需成功 successThreshold 次。
  • 启动慢应用优先配哪个?答:startupProbe,成功后再启用 liveness/readiness。

04.7.21.4-031 requests、limits 和 OOMKilled 怎么理解?

一句话结论

requests 是调度保证的资源量,limits 是容器资源上限;CPU 超限被限流,内存超限触发 OOMKilled 杀死容器。requests 决定调度与节点分配,limits 防止单容器吃光节点资源。内存 limit 要高于进程实际峰值 + 余量,CPU limit 结合压测设置,避免频繁 throttling。

概念解释

  • CPU:requests 保证份额,limits 上限,超了节流不杀进程。
  • 内存:超 limit 直接 OOMKill,容器重启。
  • 未设 limits:容器可用尽节点资源,影响邻居。

原理流程

  1. 调度按 requests 选择可容纳节点。
  2. 运行中 CPU 超 limit 被限流;内存超 limit 内核 OOM 杀进程。
  3. Pod 状态显示 OOMKilled,退出码 137。
  4. 按监控峰值调整 requests/limits 与应用内存。

代码或图示

resources:
  requests: { cpu: "250m", memory: "256Mi" }
  limits: { cpu: "500m", memory: "512Mi" }

常见误区

  • limits 按平均内存设:峰值 OOMKilled,需按 P99 峰值。
  • CPU limit 过低:频繁 throttling,响应延迟上升。
  • requests 设过大:节点碎片化,调度不上。

追问

  • OOMKilled 退出码多少?答:137(128 + SIGKILL 9)。
  • 怎么区分内存泄漏还是 limit 过小?答:看内存趋势是否单调上涨,泄漏修代码;峰值超 limit 调资源。
  • CPU throttling 怎么观察?答:container_cpu_cfs_throttled_seconds_total 指标。

04.7.21.4-032 HPA 怎么按指标扩缩容?稳定性怎么保证?

一句话结论

HPA 按 CPU/内存/自定义指标(QPS、队列深度)计算副本数,自动扩缩容。稳定性靠:扩缩容冷却窗口、指标采样窗口、最小/最大副本边界、避免抖动阈值。缩容比扩容保守,防止流量波动反复增减;自定义指标需接入指标适配器。

概念解释

  • 指标目标值:如 CPU 60%、每副本 QPS 阈值。
  • 冷却:扩容/缩容后等待窗口再评估。
  • 边界:minReplicas/maxReplicas 防止极端扩缩。

原理流程

  1. HPA 周期采集指标,对比目标值。
  2. 按公式计算期望副本数。
  3. 冷却窗口内不重复调整;超边界截断。
  4. 扩容快速响应,缩容延迟保守,避免抖动。

代码或图示

minReplicas: 2
maxReplicas: 10
metrics:
  - type: Resource
    resource: { name: cpu, target: { type: Utilization, averageUtilization: 60 } }

常见误区

  • 无冷却窗口:流量毛刺导致副本反复增减。
  • 只按 CPU 扩缩:IO/队列堆积时 CPU 不高但已积压。
  • maxReplicas 过大:下游连接/数据库被打满。

追问

  • 队列深度怎么做 HPA?答:自定义指标接 KEDA/指标适配器,按队列 lag 扩缩 worker。
  • 缩容为什么慢?答:保证在途请求处理完,避免摘流量造成错误。
  • HPA 扩不出来看什么?答:指标缺失、资源不足、边界限制、适配器异常。

04.7.21.4-033 ConfigMap 和 Secret 怎么选?

一句话结论

ConfigMap 存非敏感配置(配置项、参数、配置文件),Secret 存敏感信息(密码、密钥、令牌),Secret 基础编码非加密,敏感数据应配合加密存储或外部密钥管理。两者都以环境变量或文件挂载进容器,变更后需重启/重新挂载生效(部分热加载除外)。

概念解释

  • ConfigMap:明文键值,非敏感参数。
  • Secret:base64 编码,etcd 可配置加密;权限最小化。
  • 12 因子:配置与镜像分离,按环境注入。

原理流程

  1. 配置项按敏感程度分 ConfigMap/Secret。
  2. Pod 挂载为环境变量或文件。
  3. 应用启动读取配置。
  4. 更新配置后滚动重启或触发热加载。

代码或图示

env:
  - name: DATABASE_URL
    valueFrom: { configMapKeyRef: { name: app-config, key: db-url } }
  - name: DB_PASSWORD
    valueFrom: { secretKeyRef: { name: app-secret, key: password } }

常见误区

  • 把密码写 ConfigMap:明文暴露,应放 Secret。
  • Secret 当加密保险箱:base64 可解码,高敏感用 KMS/外部密钥服务。
  • 配置变更不重启:挂载文件不一定实时更新,需确认热加载机制。

追问

  • Secret 数据大小有限制吗?答:单个 Secret 大小受限(1MB 量级,待确认:当前上限),大配置走配置文件/对象存储。
  • 怎么限制 Secret 访问?答:RBAC 限制谁能 get Secret,不在镜像内固化密钥。
  • 多环境配置怎么管理?答:每环境独立 ConfigMap/Secret,按命名空间/环境区分。

04.7.21.4-034 滚动更新怎么保证不中断?

一句话结论

滚动更新逐步用新版本 Pod 替换旧 Pod:先起新 Pod,readiness 通过后加入 Service,再逐步摘旧 Pod;配合 maxSurge/maxUnavailable 控制新旧副本比例。就绪门控保证未就绪实例不接流量,旧实例排空在途请求后终止。

概念解释

  • maxSurge:更新期间超出期望副本的数量。
  • maxUnavailable:更新期间不可用副本数。
  • readiness 是流量接入门控,未通过不进 endpoints。

原理流程

  1. 发布新镜像,控制器按策略起新 Pod。
  2. 新 Pod readiness 通过,加入 Service 端点。
  3. 旧 Pod 标记终止,摘流量后排空在途请求。
  4. 逐步替换完成,旧 Pod 退出。

代码或图示

strategy:
  type: RollingUpdate
  rollingUpdate:
    maxSurge: 1
    maxUnavailable: 0

常见误区

  • 未配 readiness:未就绪 Pod 接流量,报错请求。
  • maxUnavailable 过大:更新期间可用容量不足。
  • 旧 Pod 不排空:在途请求被切断。

追问

  • 滚动更新和蓝绿区别?答:滚动逐步替换;蓝绿两套环境并行切换。
  • 怎么控制更新批次?答:maxSurge/maxUnavailable 与批次暂停(金丝雀)。
  • 新版本启动失败怎么办?答:readiness 不通过不接流量,旧版本继续服务,触发回滚。

04.7.21.4-035 优雅退出怎么实现?preStop 和 SIGTERM 做什么?

一句话结论

容器终止流程:先发 SIGTERM,应用停止接收新请求、排空在途任务、释放资源,退出;preStop 钩子在 SIGTERM 前执行清理(摘流量、延迟)。宽限期 terminationGracePeriodSeconds 内未退出才 SIGKILL。应用必须处理 SIGTERM 信号,否则在途请求被强杀。

概念解释

  • SIGTERM:优雅终止信号,应用自行清理退出。
  • preStop:容器终止前钩子,可等待摘流量生效。
  • 宽限期:超时后 SIGKILL 强制结束。

原理流程

  1. Pod 被删除/更新,控制器发 SIGTERM。
  2. preStop 钩子执行:从负载均衡摘除、等待连接排空。
  3. 应用停止接新请求,处理完在途请求与任务。
  4. 进程退出;宽限期到未退出则 SIGKILL。

代码或图示

lifecycle:
  preStop:
    exec:
      command: ["sh", "-c", "sleep 5"]
terminationGracePeriodSeconds: 30

常见误区

  • 应用不监听 SIGTERM:默认终止行为,在途请求丢失。
  • preStop 只睡不摘流量:Service 端点摘除有延迟,需等待生效。
  • 宽限期过短:长任务未排空被强杀。

追问

  • Python 服务怎么处理信号?答:注册 SIGTERM 处理器,停止接受新连接,排空后退出;WSGI/ASGI 服务器支持优雅关闭。
  • 后台任务退出怎么办?答:收到终止信号记录进度,任务可重投/断点续跑。
  • SIGKILL 能捕获吗?答:不能,进程直接被内核终止。

04.7.21.4-036 CI/CD 流水线分哪些阶段?

一句话结论

典型流水线:源码检出 → 依赖安装/缓存 → 静态检查/测试 → 构建制品(镜像/包)→ 制品入库 → 部署到环境 → 验证/监控。各阶段失败即阻断,制品版本与代码 commit 对应;部署分环境递进(dev → staging → prod),生产发布受控。

概念解释

  • 质量门禁:测试/检查不通过不进入构建部署。
  • 制品不可变:构建一次,各环境复用同一制品。
  • 流水线与部署脚本版本化管理。

原理流程

  1. 提交触发流水线,检出代码与依赖锁文件。
  2. lint/单测/集成测试通过。
  3. 构建镜像/制品,打版本标签推送制品仓库。
  4. 按环境部署,健康检查与验证通过后进入下一环境。

代码或图示

checkout -> deps(cache) -> test -> build -> registry -> deploy(staging) -> verify -> deploy(prod)

常见误区

  • 各环境重新构建:制品不一致,问题难复现。
  • 测试阶段跳过:缺陷流入生产。
  • 部署无验证:发布后故障未及时发现。

追问

  • 流水线缓存什么?答:依赖目录、构建缓存,按锁文件命中。
  • 制品仓库存什么?答:容器镜像、二进制包、发布清单,版本可追溯。
  • 生产部署谁审批?答:按团队流程受控发布,流水线记录发布人与变更。

04.7.21.4-037 依赖缓存和制品仓库怎么管理?

一句话结论

依赖缓存按锁文件哈希缓存包目录,源码变更不重装依赖;制品仓库存储构建产物(镜像/包),版本不可变、可追溯、可回滚。缓存只加速构建不替代锁定版本;制品按环境区分,部署从仓库拉取同一制品,不在环境内现场构建。

概念解释

  • 缓存键:锁文件哈希,依赖变更才失效。
  • 制品:镜像 tag 含 commit/版本,推送后不可覆盖。
  • 制品扫描:漏洞与合规检查后才允许部署。

原理流程

  1. 流水线读取锁文件,命中缓存复用依赖。
  2. 构建产物打版本标签推送仓库。
  3. 部署环境从仓库拉取指定版本制品。
  4. 回滚时拉取历史版本制品重新部署。

代码或图示

缓存: ~/.cache/pip, node_modules (键: 锁文件哈希)
制品: registry/image:commit-sha, 不可变 tag

常见误区

  • 缓存污染:依赖损坏/版本漂移,需定期清理重建。
  • 制品 tag 浮动(latest):部署版本不可追溯。
  • 部署环境现场构建:环境差异导致制品不一致。

追问

  • 镜像怎么打版本?答:语义版本 + commit SHA,避免 latest 浮动。
  • 制品保留多久?答:按回滚需求保留历史版本,过期清理。
  • 依赖漏洞怎么拦?答:构建/制品扫描阶段检查高危漏洞,阻断部署。

04.7.21.4-038 灰度发布怎么按流量/版本控制?

一句话结论

灰度(金丝雀)先把小比例流量或少量实例切到新版本,观察指标无异常再逐步放大比例到全量。按流量比例、用户标签、实例分组路由;每阶段设置观察窗口与回滚阈值。新版本与旧版本并行,流量切换由网关/编排层控制。

概念解释

  • 灰度维度:流量百分比、用户分群、地域、实例标签。
  • 阶段:1% → 10% → 50% → 100%,每阶段观察。
  • 指标门槛:错误率、延迟、业务成功率达标才放量。

原理流程

  1. 部署少量新版本实例/配置灰度规则。
  2. 小比例流量进入新版本,监控核心指标。
  3. 达标逐步提高比例;异常立即回滚旧版本。
  4. 全量后观察稳定期,下线旧版本。

代码或图示

v1 100% -> v2 5% + v1 95% -> v2 50% -> v2 100%
每阶段: 错误率/延迟/业务指标观察窗口

常见误区

  • 灰度无指标门槛:凭感觉放量,故障扩大。
  • 灰度用户与普通用户混杂:无法隔离观察。
  • 回滚阈值不预先定义:出问题时决策延迟。

追问

  • 灰度在 K8s 怎么做?答:按 Deployment 标签/副本比例,Service/Ingress 按标签路由。
  • 网关层怎么按比例切流?答:Nginx/网关权重或路由规则按百分比分流。
  • 灰度数据兼容吗?答:新旧版本共享数据库,schema 变更需向前兼容。

04.7.21.4-039 回滚阈值和快速回滚怎么做?

一句话结论

预先定义回滚阈值:错误率、延迟、业务成功率、资源指标超线即回滚;回滚方式:切回旧版本制品/上一部署版本,快速摘除新版本。回滚要快于修复,先恢复服务再定位根因;数据库变更不兼容时回滚受限,需向前兼容设计。

概念解释

  • 回滚触发:监控指标超阈值或人工判断故障。
  • 快速回滚:部署历史版本镜像/配置,流量切回。
  • 不可逆变更:删表/收窄类型后无法靠应用回滚恢复数据。

原理流程

  1. 发布前定义指标阈值与观察窗口。
  2. 监控触发阈值,告警通知值班。
  3. 执行回滚:部署上一稳定版本,流量切回。
  4. 新版本摘除,事后复盘根因与改进。

代码或图示

阈值: 5xx 率 > 1%, P95 延迟翻倍, 业务成功率 < 99.5%
回滚:  rollout undo / 拉取上一制品版本

常见误区

  • 出问题才想怎么回滚:流程不熟,恢复时间拉长。
  • 数据库破坏性变更后回滚:数据已丢,无法恢复。
  • 回滚后不复盘:同类故障重复发生。

追问

  • 应用回滚能回退数据库吗?答:不能,回滚只切应用版本;结构变更需兼容或向前修复迁移。
  • 回滚版本从哪来?答:制品仓库历史版本与部署记录,版本可追溯。
  • 自动回滚怎么做?答:监控指标联动流水线/编排,超阈值自动切回旧版本。

04.7.21.4-040 蓝绿部署和金丝雀有什么区别?

一句话结论

蓝绿:两套完整环境并行,切换时流量整体从蓝到绿,回滚切回蓝,切换快但资源翻倍;金丝雀(灰度):新版本小比例逐步放量,风险暴露慢但资源占用低。蓝绿适合需要快速整体切换/回滚的场景,金丝雀适合渐进验证、控制爆炸半径。

概念解释

  • 蓝绿:v1/v2 两套实例,路由层整体切换。
  • 金丝雀:v2 少量实例/小比例流量,逐步放大。
  • 资源与风险权衡:蓝绿资源翻倍,金丝雀渐进暴露。

原理流程

  1. 蓝绿:部署绿色环境,验证后切流量,异常切回蓝色。
  2. 金丝雀:新版本少量实例,小流量观察,逐步放量。
  3. 两者都要求新旧版本共享数据且 schema 兼容。
  4. 按发布风险与资源预算选模式。

代码或图示

蓝绿:  blue(100%) <-> green(100%) 整体切换
金丝雀: v2 5% -> 25% -> 100% 逐步放量

常见误区

  • 蓝绿两套环境连不同库:切换后数据不一致。
  • 金丝雀一步切全量:失去灰度意义。
  • 忽略回滚路径:两种模式都要能快速切回旧版本。

追问

  • 滚动更新算哪种?答:介于两者之间,逐步替换副本,无完整并行环境。
  • 蓝绿什么时候划算?答:发布频繁、回滚要求快、资源充足的服务。
  • 金丝雀怎么选首批用户?答:内部员工/低风险分群,再扩大到普通用户。

04.7.21.4-041 日志采集为什么走 stdout?结构化字段怎么设计?

一句话结论

容器化应用把日志输出到 stdout/stderr,由节点日志采集器(容器运行时采集进程)统一收集,应用不负责落盘与轮转。结构化日志用 JSON 字段:时间、级别、traceId、请求 ID、用户/业务标识、事件、错误码、耗时;字段统一命名,便于检索与聚合。

概念解释

  • stdout 模式:应用无状态写日志,采集层负责存储/检索/轮转。
  • 结构化:机器可解析,字段固定而非自由文本。
  • 关联字段:traceId/requestId 贯穿链路与下游。

原理流程

  1. 应用输出 JSON 结构化日志到 stdout。
  2. 节点采集器采集容器标准输出。
  3. 日志写入日志平台,按字段索引检索。
  4. 排障按 traceId/业务 ID 串联全链路日志。

代码或图示

import logging, json

class JsonFormatter(logging.Formatter):
    def format(self, record):
        return json.dumps({
            "ts": self.formatTime(record),
            "level": record.levelname,
            "event": record.getMessage(),
            "trace_id": getattr(record, "trace_id", None),
        })

常见误区

  • 应用内写本地文件:容器重启丢失,轮转与采集重复建设。
  • 日志自由文本:无法按字段聚合统计。
  • 缺少关联 ID:跨服务/跨请求日志无法串联。

追问

  • 日志和事件记录怎么分?答:排障日志走日志平台;业务状态/审计落数据库或事件流。
  • 多进程日志怎么区分?答:字段加进程/实例标识,容器名由采集层补充。
  • 日志级别怎么用?答:DEBUG 调试、INFO 关键流程、WARNING 异常迹象、ERROR 失败。

04.7.21.4-042 日志级别、采样和脱敏怎么做?

一句话结论

按环境设日志级别:生产 INFO/WARNING,调试信息降级;高流量接口对重复 DEBUG/ACCESS 日志采样,避免日志量暴涨;敏感字段(手机号、证件号、密钥、令牌)脱敏或不落日志。日志中不写密码、完整密钥与个人敏感信息。

概念解释

  • 级别控制:生产关闭 DEBUG,减少 IO 与存储。
  • 采样:按比例或按事件类型抽样,保留错误全量。
  • 脱敏:掩码/哈希替换敏感值,日志平台权限受控。

原理流程

  1. 配置日志级别与采样规则。
  2. 输出前经脱敏过滤器处理敏感字段。
  3. 采集层按级别/容量保留周期管理。
  4. 安全审计检查日志无密钥与敏感明文。

代码或图示

def mask(value):
    if not value:
        return value
    return value[:3] + "***" + value[-2:]

常见误区

  • 生产开 DEBUG:日志量压垮采集与存储。
  • 异常堆栈带敏感参数:堆栈/参数一并脱敏。
  • 采样丢掉错误日志:错误与告警事件必须全量保留。

追问

  • 访问日志要不要全量?答:高流量可采样,错误与慢请求全量。
  • 密钥怎么防止进日志?答:配置对象不整体打印,参数白名单记录。
  • 日志保留多久?答:按合规与排障需求,分级存储热/冷日志。

04.7.21.4-043 Prometheus 有哪几类指标类型?

一句话结论

四类:counter(单调递增计数器,累计请求/错误数)、gauge(可增可减瞬时值,内存/队列深度/温度)、histogram(分桶统计分布,算分位数/耗时)、summary(客户端侧分位数)。选型:累计量用 counter,瞬时状态用 gauge,耗时分布用 histogram。

概念解释

  • counter:只增,重启可重置,用 rate 算速率。
  • gauge:上下波动,直接看当前值。
  • histogram:服务端分桶,可聚合计算分位数;summary 客户端算分位不可跨实例聚合。

原理流程

  1. 代码/客户端埋点注册指标类型。
  2. 运行中更新指标值(inc/set/observe)。
  3. Prometheus 抓取存储,按类型查询聚合。
  4. 告警与看板基于指标类型选择查询函数。

代码或图示

from prometheus_client import Counter, Gauge, Histogram

requests = Counter("http_requests_total", "requests", ["method", "status"])
queue_depth = Gauge("queue_depth", "pending tasks")
latency = Histogram("request_latency_seconds", "latency")

常见误区

  • 用 counter 存瞬时值:只增不减,状态错误。
  • 用 summary 想跨实例聚合:summary 分位不可聚合,多实例用 histogram。
  • 指标标签基数过高:标签组合爆炸,时序膨胀。

追问

  • counter 重启重置怎么办?答:rate 函数处理短暂重置,监控断点。
  • histogram 分位数怎么查?答:histogram_quantile(0.95, ...)。
  • 标签怎么控制基数?答:标签用有限枚举(方法/状态),不用用户 ID/URL 全量作标签。

04.7.21.4-044 RED 方法和 USE 方法分别看什么?

一句话结论

RED 面向请求服务:Rate(请求速率)、Errors(错误数)、Duration(响应耗时),覆盖接口/任务队列;USE 面向资源:Utilization(利用率)、Saturation(饱和度)、Errors(错误),覆盖 CPU/内存/磁盘/连接池。两类方法互补:RED 看用户体验,USE 看资源瓶颈。

概念解释

  • RED:每个请求路径监控速率、错误、延迟。
  • USE:每个资源看利用率、排队/饱和、错误。
  • 先 RED 发现慢/错,再 USE 定位资源瓶颈。

原理流程

  1. 接口/任务埋点:QPS、错误率、耗时分布(RED)。
  2. 主机/容器/中间件资源:CPU/内存/连接池利用率与排队(USE)。
  3. 关联分析:错误率上升对应哪类资源饱和。
  4. 看板分层:业务 RED 在上,资源 USE 在下。

代码或图示

RED:  req/s, errors, latency p50/p95/p99
USE:  CPU 利用率, 内存占用, 连接池等待/排队, 磁盘 IO

常见误区

  • 只监控资源不看请求:资源正常但接口已慢。
  • 只看错误率不看延迟:慢请求未报错但体验差。
  • 资源指标无饱和视角:利用率高但排队不严重,判断不出瓶颈。

追问

  • 队列深度属于哪类?答:USE 的饱和度(Saturation),也关联 RED 的积压。
  • Duration 用什么指标?答:Histogram 记录耗时分布,查分位数。
  • 怎么把 RED 和 USE 关联?答:按实例/服务标签串联请求指标与资源指标。

04.7.21.4-045 业务埋点应该覆盖哪些核心指标?

一句话结论

核心埋点:接口 QPS、错误率/错误码、耗时分布(P50/P95/P99)、任务队列深度与消费速率、下游调用成功率与耗时、业务关键事件计数(下单/支付/通知)。指标带有限标签(接口、状态、下游),避免高基数标签;指标与日志、trace 用同一 ID 关联。

概念解释

  • 接口层:速率、错误、延迟。
  • 异步层:队列深度、消费速率、重试/死信数。
  • 业务层:关键业务事件量与转化,脱离技术指标看业务健康。

原理流程

  1. 梳理关键请求路径与异步任务。
  2. 埋点计数/ gauge/histogram,标签用枚举值。
  3. 指标接入 Prometheus,配置看板与告警。
  4. 故障时按指标定位是接口、队列还是下游问题。

代码或图示

requests.labels(method="GET", status="200").inc()
latency.labels(route="/orders").observe(elapsed)
queue_gauge.labels(queue="notify").set(depth)

常见误区

  • 只埋技术指标:业务成功率下降看不到。
  • 标签用高基数字段:时序数据膨胀。
  • 指标无业务语义:错误率高但不知影响哪个流程。

追问

  • 下游调用怎么埋点?答:客户端包装器记录调用次数、耗时、错误码,标签为下游名/接口。
  • 任务积压看什么指标?答:队列深度增长 + 消费速率下降,结合 worker 在线数。
  • 指标和日志怎么互补?答:指标看趋势与告警,日志下钻详情,trace 看调用链。

04.7.21.4-046 OpenTelemetry 链路追踪怎么传播上下文?

一句话结论

OpenTelemetry 以 trace 标识一次完整调用链,span 标识链路内一次操作;上下文(traceId/spanId)经 HTTP 头/消息头跨服务传播,各服务挂载自己的 span 并关联父 span。SDK 自动埋点主流框架/数据库/HTTP 客户端,自定义操作手动建 span;采样率控制上报量。

概念解释

  • trace:整条调用链,traceId 全局唯一。
  • span:一次方法/远程调用,含名称、时间、属性、状态。
  • 上下文传播:W3C traceparent 头跨进程传递。

原理流程

  1. 入口服务创建 trace 与根 span。
  2. 调用下游时注入 traceparent 头,携带上下文。
  3. 下游提取上下文,创建子 span 关联父级。
  4. span 上报到链路后端,按 traceId 还原调用瀑布。

代码或图示

from opentelemetry import trace

tracer = trace.get_tracer(__name__)
with tracer.start_as_current_span("process-order") as span:
    span.set_attribute("order.id", order_id)
    ...

常见误区

  • 异步/线程切换丢上下文:contextvars 未传递,链路断裂。
  • 消息队列不传播上下文:生产消费两段 trace 无法串联。
  • 全量采样高流量链路:存储与后端成本高,按错误/采样率策略上报。

追问

  • 自动埋点覆盖什么?答:Web 框架、HTTP/gRPC 客户端、数据库驱动、消息客户端等主流组件。
  • span 属性记录什么?答:业务标识、关键参数、错误信息,不记敏感数据。
  • 采样率怎么定?答:正常流量按比例采样,错误/慢链路全量保留。

04.7.21.4-047 traceId 怎么贯穿日志和指标?

一句话结论

traceId 在入口生成后存入上下文变量,日志格式带上 traceId 字段,指标标签或附加维度携带链路标识;跨服务经上下文传播保持同一 traceId。排障时用 traceId 串联链路瀑布、相关日志与下游耗时,定位卡点层级。

概念解释

  • 上下文变量:contextvars 跨协程/线程传递 traceId。
  • 日志字段:traceId 与请求 ID 一一对应写入结构化日志。
  • 关联:指标看趋势,trace 看链路,日志看详情。

原理流程

  1. 入口生成/提取 traceId,存入上下文。
  2. 日志格式化从上下文取 traceId 输出。
  3. 下游调用传播上下文,日志延续同一 ID。
  4. 排障按 traceId 检索日志与链路,关联指标异常时段。

代码或图示

# 日志记录 trace_id
logger.info("order created", extra={"trace_id": trace_id})

常见误区

  • traceId 只在单个服务:跨服务丢失,链路断成几段。
  • 日志字段名不统一:检索时无法按字段聚合。
  • 异步任务不继承上下文:后台任务 traceId 与请求脱节。

追问

  • 请求 ID 和 traceId 一样吗?答:请求 ID 可对应一次入口请求;traceId 是链路标识,可映射关联。
  • 怎么验证链路完整?答:追踪一次请求,检查各服务 span 是否挂在同一 trace 下。
  • 指标能带 traceId 吗?答:指标标签基数受限,一般不挂;traceId 在日志/链路中关联。

04.7.21.4-048 告警规则怎么设阈值、分级和收敛?

一句话结论

告警按指标阈值触发,分级别(紧急/警告/通知)对应不同通知渠道与响应 SLA;通过持续阈值、重试窗口、抑制/沉默规则收敛噪声,避免抖动告警轰炸。告警必须可行动:每条告警对应明确排查路径与责任人。

概念解释

  • 阈值:基于 SLO 与历史基线,不是拍脑袋固定值。
  • 分级:P1 紧急电话/值班,P2 工单,P3 通知。
  • 收敛:重复告警合并、依赖告警抑制、维护期沉默。

原理流程

  1. 定义关键指标与 SLO,推导告警阈值。
  2. 配置持续时间窗口,过滤瞬时抖动。
  3. 分级路由到对应渠道与值班。
  4. 维护抑制/沉默规则,定期复盘告警有效性。

代码或图示

紧急: 错误率 > 5% 持续 2m -> 电话/值班
警告: 队列深度 > 阈值 10m -> 工单
抑制: 下游告警时抑制上游连带告警

常见误区

  • 阈值过敏感:瞬时毛刺反复告警,值班麻木。
  • 告警无可行动作:只通知不指导排查,形同虚设。
  • 不做收敛:根因告警引发大量连带告警,淹没关键信息。

追问

  • 告警阈值怎么随容量调整?答:业务增长后按新基线复核,避免阈值过时。
  • 怎么衡量告警质量?答:有效告警占比、误报率、平均响应与恢复时间。
  • 维护期怎么处理告警?答:发布/维护窗口沉默规则,避免计划内事件触发。

04.7.21.4-049 SLO、SLI、SLA 和错误预算是什么关系?

一句话结论

SLI 是服务质量度量指标(如可用性、延迟达标率);SLO 是对 SLI 设定的目标值(如 99.95% 可用);SLA 是对外承诺与违约条款;错误预算 = 1 - SLO,允许不可用的额度,预算内可发布新功能,耗尽则冻结发布先稳稳定性。

概念解释

  • SLI:实际测量值(请求成功比例、延迟分位达标比例)。
  • SLO:内部目标,高于对外 SLA。
  • 错误预算:量化可容忍故障时间,指导发布与可靠性决策。

原理流程

  1. 选取关键 SLI(可用性、延迟、成功率)。
  2. 设定 SLO 目标值,计算错误预算。
  3. 监控实际 SLI 与预算消耗。
  4. 预算耗尽:暂停高风险发布,优先修复稳定性。

代码或图示

SLO: 月可用性 99.95%
错误预算: 0.05% 不可用额度
预算内: 正常发布新功能
预算耗尽: 冻结发布, 治理稳定性

常见误区

  • SLO 定 100%:无错误预算,任何故障都违约,不可操作。
  • 只看可用性不看延迟:请求成功但超时也算体验失败。
  • 错误预算不用于决策:SLO 沦为纸面目标。

追问

  • 怎么算可用性 SLI?答:成功请求数 / 总请求数,排除客户端错误类请求按口径定义。
  • 延迟 SLO 怎么表达?答:如 P95 延迟 < 300ms 的请求占比 ≥ 99%。
  • 错误预算和回滚什么关系?答:消耗预算的故障触发回滚与根因修复,预算保护长期目标。

04.7.21.4-050 容量规划要算哪些余量?

一句话结论

容量规划按峰值业务量推算 CPU、内存、磁盘/网络、数据库与下游连接数,预留冗余(常见 20%–30%)应对增长与突发;区分常态负载与峰值,压测验证拐点。定期复盘指标趋势,提前扩容,避免临上限被动扩容;下游依赖容量一并核算。

概念解释

  • 计算基础:峰值 QPS × 单请求资源消耗。
  • 余量:突发流量、故障降级、节点维护冗余。
  • 下游瓶颈:DB 连接、外部接口 QPS、缓存容量。

原理流程

  1. 统计业务增长预测与峰值并发。
  2. 压测单实例资源消耗与吞吐拐点。
  3. 推算实例数与资源配置,加冗余余量。
  4. 核对下游连接/接口上限,周期复盘扩容。

代码或图示

实例数 ≈ 峰值 QPS / 单实例吞吐
内存/CPU 按 P99 峰值 × 冗余系数
连接预算 ≤ DB/下游上限 × 0.8

常见误区

  • 按平均流量规划:高峰突发被打垮。
  • 只算应用不算下游:应用扩容后数据库/接口先到瓶颈。
  • 容量只算一次:业务增长后不复核,临近上限才被动处理。

追问

  • 怎么验证容量?答:压测到拐点,记录单实例最大吞吐与资源占用。
  • 故障冗余留多少?答:单节点/单可用区故障时剩余容量可承接峰值。
  • 磁盘容量怎么估?答:日志/临时文件/缓存增长趋势,保留清理周期内余量。

04.7.21.4-051 多环境怎么隔离配置?

一句话结论

dev/staging/prod 环境隔离:独立配置、独立资源/命名空间,配置按环境注入,默认值保守。环境间差异只在配置(地址、密钥、级别),代码与制品一致;禁止生产配置进开发镜像,敏感配置各环境独立管理。

概念解释

  • 环境维度:代码分支、部署环境、配置集合。
  • 隔离目标:测试配置/数据不影响生产,生产密钥不进开发环境。
  • 预发环境尽量贴近生产拓扑,用于验证部署与兼容。

原理流程

  1. 定义环境清单与对应配置集。
  2. 制品构建一次,各环境注入不同配置。
  3. 资源按环境隔离部署与监控。
  4. 发布链路 dev → staging → prod 递进验证。

代码或图示

dev:  本地/开发资源, 调试日志
staging: 贴近生产拓扑, 测试数据
prod:  生产资源, 受控配置与密钥

常见误区

  • 开发配置硬编码进镜像:生产覆盖遗漏导致连错环境。
  • 预发与生产拓扑差异大:部署问题预发暴露不出。
  • 多环境共用数据库/缓存:测试数据污染生产。

追问

  • 环境配置怎么区分?答:环境变量/ConfigMap 按环境命名空间区分,配置中心按环境隔离。
  • 测试数据在哪准备?答:staging 独立数据集,不混用生产数据。
  • 生产配置变更怎么走?答:受控变更流程,变更记录与回滚方案齐备。

04.7.21.4-052 配置注入用环境变量还是配置中心?

一句话结论

12 因子优先环境变量注入配置,简单应用够用;配置多、需动态推送/分级管理/审计时用配置中心(配置服务 + 热更新)。环境变量随部署注入、不可变;配置中心支持运行期推送与版本管理,但增加组件依赖与一致性问题。密钥走 Secret/密钥管理,不进配置明文。

概念解释

  • 环境变量:进程启动读取,变更需重启/重新注入。
  • 配置中心:集中管理、动态推送、版本回滚、权限审计。
  • 敏感项:密钥/令牌独立 Secret 或 KMS,不与普通配置混放。

原理流程

  1. 评估配置规模、动态变更需求与团队运维能力。
  2. 简单配置走环境变量/ConfigMap。
  3. 多服务复杂配置接配置中心,客户端监听变更。
  4. 配置变更留版本记录,异常可回滚。

代码或图示

环境变量: 启动注入, 静态配置, 无额外组件
配置中心: 动态推送, 版本审计, 多服务统一管理

常见误区

  • 配置中心客户端本地缓存不一致:推送失败/旧配置残留。
  • 环境变量塞结构化大配置:难维护,应拆分配置文件/配置中心。
  • 密钥写进普通配置中心明文:需加密存储与访问控制。

追问

  • 配置热更新要注意什么?答:应用需监听重载,连接池/线程等资源正确重建。
  • 配置中心挂了怎么办?答:本地缓存兜底,应用按最近配置继续运行。
  • 配置版本怎么追溯?答:每次变更记录版本、变更人与差异,支持回滚。

04.7.21.4-053 进程信号和退出码怎么看?

一句话结论

进程靠信号终止:SIGTERM 优雅退出(可捕获处理),SIGKILL 强制终止不可捕获;退出码 0 成功,非 0 失败(137 = OOM/被 SIGKILL,130 = SIGINT,143 = SIGTERM)。编排系统按退出码判断重启原因,排障先看退出码与信号来源。

概念解释

  • SIGTERM(15):请求优雅退出,应用清理后结束。
  • SIGKILL(9):内核直接杀进程,无清理机会。
  • 退出码:128 + 信号编号,判断终止原因。

原理流程

  1. 编排/系统发终止信号。
  2. 应用捕获 SIGTERM,排空清理后退出返回 0。
  3. 超时未退出,SIGKILL 强杀,退出码 137。
  4. 监控退出码分布,区分正常退出/OOM/强杀。

代码或图示

0      正常退出
130    SIGINT (Ctrl+C)
137    SIGKILL / OOMKilled
143    SIGTERM

常见误区

  • 把 137 都当 OOM:也可能是超时强杀,需结合内存与事件判断。
  • 应用不处理 SIGTERM:在途请求被默认终止。
  • 退出码含义不记录:故障归类靠猜。

追问

  • Python 怎么注册信号处理?答:signal.signal(signal.SIGTERM, handler),处理器内停止接新任务。
  • 容器退出码谁设置?答:进程退出状态由内核记录,编排系统读取。
  • 后台任务被杀怎么续跑?答:状态持久化,重启后从断点/队列重新消费。

04.7.21.4-054 部署常见故障有哪些?怎么排查?

一句话结论

常见部署故障:端口占用、依赖未就绪、配置漂移、启动崩溃、健康检查不通过、连接/密钥缺失、镜像拉取失败。排查顺序:看部署事件与 Pod/容器状态 → 查启动日志与退出码 → 核对配置/依赖/网络 → 验证健康端点与下游连通。先恢复服务,再定位根因。

概念解释

  • 启动期故障:镜像/配置/依赖/端口问题。
  • 运行期故障:资源、下游、配置热更新问题。
  • 配置漂移:环境实际配置与预期不一致。

原理流程

  1. 查看编排事件:调度、拉取镜像、启动、探针失败原因。
  2. 读容器日志:异常堆栈、配置报错、连接拒绝。
  3. 核对环境变量/Secret/下游地址与网络策略。
  4. 手动验证健康端点与依赖连通,定位层级后修复。

代码或图示

事件 -> 容器状态/退出码 -> 启动日志 -> 配置/依赖/网络 -> 健康端点

常见误区

  • 只重启不看日志:根因未定位,复发概率高。
  • 忽略配置漂移:代码没变但配置变了,问题在配置层。
  • 下游未就绪就启动应用:连接失败被误判为应用崩溃。

追问

  • 镜像拉取失败查什么?答:仓库凭证、网络/代理、镜像 tag 存在性。
  • 健康检查不通过但进程在?答:检查依赖连通、端口绑定、健康路径与返回。
  • 配置缺失怎么快速确认?答:对比部署清单与实际注入环境变量/挂载文件。

04.7.21.4-055 一次请求经过链路有哪些可观测点?

一句话结论

请求链路:客户端 → 入口网关/负载均衡 → 反代 Nginx → 应用 worker/事件循环 → 下游(DB/缓存/消息/外部接口)→ 返回。可观测点:网关状态码与限流、Nginx 日志与超时、应用指标/日志/trace、下游调用耗时与错误、资源指标。每层记录耗时与状态,串联定位卡点。

概念解释

  • 接入层:连接数、状态码、限流、代理超时。
  • 应用层:QPS、错误率、延迟、内部依赖调用。
  • 下游层:DB 慢查询、缓存命中、MQ 积压、外部接口成功率。

原理流程

  1. 请求进入网关,记录状态与路由。
  2. Nginx 转发,记录代理耗时与上游响应。
  3. 应用处理,埋点指标并生成 trace。
  4. 下游调用记录耗时/错误,返回链路汇总。

代码或图示

client -> LB -> Nginx -> app -> DB/Redis/MQ/HTTP
可观测:  状态码  代理日志  指标/日志/trace  下游指标

常见误区

  • 只在应用层埋点:网关/反代层问题看不到。
  • 下游调用无耗时记录:卡点出在外部依赖无法定位。
  • 各层时间不对齐:日志时间戳/时区不一致,链路拼不起来。

追问

  • 链路时间戳怎么统一?答:各层 NTP 同步,日志用 UTC/统一时区。
  • 跨异步任务怎么串?答:消息头传播 traceId,消费端延续链路。
  • 哪一层最先发现慢?答:网关 P95 延迟与错误率,下钻到应用 trace 与下游指标。

04.7.21.4-056 压测怎么验证容量和性能拐点?

一句话结论

压测按阶梯加压:并发/QPS 逐步提升,记录吞吐、P50/P95/P99 延迟、错误率、CPU/内存/下游连接。拐点定义为吞吐不再增长或延迟/错误率明显上升的点;单实例拐点 × 实例数得总容量,并验证下游依赖余量。压测覆盖正常与峰值场景,留存基线数据。

概念解释

  • 阶梯加压:观察指标随负载变化曲线。
  • 拐点:资源打满或延迟恶化的负载点。
  • 压测环境尽量贴近生产拓扑,数据量与数据分布接近真实。

原理流程

  1. 准备压测数据与脚本,定位业务关键路径。
  2. 阶梯加压,采集应用/资源/下游指标。
  3. 找吞吐拐点与延迟恶化点。
  4. 推算生产容量与冗余,固化压测基线。

代码或图示

并发 10 -> 50 -> 100 -> 200
记录: QPS, P95/P99, 错误率, CPU/内存, 下游连接
拐点: 吞吐不增 / 延迟翻倍 / 错误率上升

常见误区

  • 一次性打满:看不到拐点变化过程。
  • 压测环境数据量小:真实大表/缓存场景性能失真。
  • 只压应用不压下游:下游先到瓶颈未暴露。

追问

  • 压测要造多少数据?答:接近生产表规模与缓存分布,避免小数据快查询误导。
  • 怎么判断瓶颈在哪?答:吞吐拐点对应资源打满(CPU/内存/连接/下游),结合 USE 指标定位。
  • 压测结果怎么留存?答:记录单实例容量、资源占用与拐点负载,作为容量规划基线。

04.7.21.4-057 线上故障排查顺序为什么是网关 → 应用 → 下游?

一句话结论

按链路从外到内排查:先确认网关/反代层状态码、限流、超时与到达流量,再看应用日志/指标/资源,最后查下游依赖(DB/缓存/MQ/外部接口)。外层先排除接入问题,避免在应用层误找根因;每层用指标确认是否异常,再下钻一层。

概念解释

  • 外层:流量是否到达、接入层是否拦截/超时。
  • 中层:应用是否报错、阻塞、资源饱和。
  • 内层:下游依赖是否慢/不可用。

原理流程

  1. 看网关状态码与流量:是 4xx/5xx/超时,限流是否触发。
  2. 查应用:错误率、trace、日志、CPU/内存/连接。
  3. 查下游:慢查询、缓存命中率、队列积压、外部接口。
  4. 定位瓶颈层后处置,观察指标恢复。

代码或图示

网关/反代 (状态码, 超时, 限流)
  -> 应用 (日志, 指标, 资源, trace)
    -> 下游 (DB, Redis, MQ, HTTP)

常见误区

  • 一上来翻应用代码:接入层故障被忽略。
  • 跳过下游检查:应用慢只是下游阻塞的表象。
  • 不看时间线:故障开始时刻对应发布/变更/下游事件。

追问

  • 全量用户报错先查什么?答:网关入口与应用整体状态,区分全局故障还是局部路径。
  • 部分接口慢怎么定位?答:按接口维度看延迟与 trace,定位慢在应用还是下游。
  • 排查需要哪些数据?答:状态码趋势、错误日志、trace 瀑布、下游指标与变更记录。

04.7.21.4-058 启动慢为什么会被就绪/存活探针误杀?

一句话结论

应用初始化(加载配置、建连接池、预热、依赖连接)耗时长,探针在宽限前就探测失败:readiness 失败摘流量,liveness 失败重启。解决:配 startupProbe 覆盖启动期,或加大 initialDelay/period;健康端点反映依赖就绪状态;避免在启动阶段做重型同步初始化。

概念解释

  • 启动期与运行期健康状态不同:初始化中不应判失败。
  • startupProbe 成功前不启用 liveness/readiness 判定。
  • 健康检查端点区分启动中、就绪、存活状态。

原理流程

  1. 容器启动,应用开始初始化。
  2. 探针按宽限配置首次探测;未就绪返回未通过。
  3. startupProbe 通过后,常规 liveness/readiness 生效。
  4. 初始化完成,readiness 通过接入流量。

代码或图示

startupProbe:
  httpGet: { path: /health/startup, port: 8000 }
  periodSeconds: 5
  failureThreshold: 30

常见误区

  • 只配 liveness/readiness,启动慢被反复重启。
  • 健康端点在依赖未就绪时返回失败:readiness 摘流量是正确行为,但要区分存活。
  • 启动阶段同步预热大堆数据:启动时间拉长,探针宽限不足。

追问

  • 启动慢怎么优化?答:懒加载非关键依赖、连接池按需建立、预热异步化。
  • 探针失败事件怎么看?答:Pod describe 事件与探针日志,区分超时/连接拒绝/状态码。
  • 就绪和存活端点能合并吗?答:可同路径但需区分语义;推荐独立路径便于不同判定。

04.7.21.4-059 静态文件和 CDN 的边界怎么划分?

一句话结论

静态资源(JS/CSS/图片/字体)由 CDN 或 Nginx 直接服务,不走应用进程;应用只返回入口 HTML 与 API。带内容 hash 的静态资源长缓存,HTML 短缓存;CDN 负责边缘缓存与就近访问,源站 Nginx 兜底。大文件/视频走对象存储与 CDN,不经过应用服务器。

概念解释

  • 应用进程处理动态请求,静态文件占用 worker 是浪费。
  • CDN 缓存边缘节点,降低源站带宽与延迟。
  • 缓存失效靠 hash 文件名或主动刷新。

原理流程

  1. 构建产物静态文件带 hash 上传源站/对象存储。
  2. CDN 缓存静态资源,就近响应。
  3. HTML 入口短缓存或回源校验。
  4. 应用服务器只处理 API 与页面渲染。

代码或图示

CDN/Nginx -> 静态资源 (长缓存, hash 文件名)
应用进程  -> API / HTML 入口
大文件    -> 对象存储 + CDN

常见误区

  • 静态文件经应用后端服务:worker 被静态请求占用,动态请求受拖累。
  • 静态资源无 hash 强缓存:更新后用户拿到旧文件。
  • 源站直接对外承担带宽:未用 CDN,高峰带宽成本高。

追问

  • HTML 为什么不能长缓存?答:内容随发布变化,需短缓存/协商缓存保证发版更新。
  • CDN 缓存怎么刷新?答:hash 文件换名自动失效;旧路径按规则主动刷新。
  • 上传文件存哪?答:对象存储,CDN 分发下载,不存应用本地磁盘。

04.7.21.4-060 上线前检查清单包含哪些项?

一句话结论

上线清单:配置与密钥就绪、数据库迁移已执行/兼容、健康检查与探针配置、资源限额与容量核算、日志/指标/告警接入、回滚方案与制品版本、依赖下游连通验证、灰度/限流策略、预案与值班安排。发布后观察核心指标与错误率,确认无异常再逐步放量。

概念解释

  • 发布前:变更完整性、配置一致性、回滚路径。
  • 发布中:分批/灰度,监控指标与事件。
  • 发布后:稳定性观察窗口,确认业务指标正常。

原理流程

  1. 核对变更清单:代码、迁移、配置、依赖。
  2. 验证健康端点、下游连通与资源容量。
  3. 确认监控告警、回滚制品与操作预案。
  4. 分批发布,观察错误率/延迟/业务指标,异常回滚。

代码或图示

配置/密钥 -> 迁移兼容 -> 探针/资源 -> 监控告警
回滚制品 -> 下游验证 -> 灰度放量 -> 观察窗口

常见误区

  • 上线不准备回滚:出问题时临时决策,恢复慢。
  • 只验证启动成功:未压测容量与下游连通。
  • 发布后无人观察:故障延迟发现,影响扩大。

追问

  • 数据库变更怎么纳入清单?答:迁移脚本已评审、可回滚/向前兼容,应用版本兼容期明确。
  • 发布前要通知谁?答:值班、下游依赖方,按变更影响范围沟通。
  • 观察窗口看哪些指标?答:错误率、P95 延迟、队列积压、业务成功率、资源水位。

本节高频题

  • gunicorn 进程模型与 worker 选型(001、002、003、004、005)
  • 优雅重启、preload 与内存回收(006、007、008、009)
  • uvicorn ASGI 模型与并发配置(010、011、012、014)
  • Nginx 反代:头转发、真实 IP、缓冲、超时(015、016、017、018、019)
  • 压缩缓存、限流与负载均衡(020、021、022)
  • Docker 镜像构建与安全(023、024、025、026、027、028)
  • K8s 探针、资源、HPA 与配置(029、030、031、032、033)
  • 滚动更新与优雅退出(034、035)
  • CI/CD、制品与灰度回滚(036、037、038、039、040)
  • 日志结构化与脱敏(041、042)
  • Prometheus 指标、RED/USE 与业务埋点(043、044、045)
  • 链路追踪、告警与 SLO(046、047、048、049)
  • 容量规划、故障排查与上线清单(050、055、057、058、060)