08.4.1.5 成本治理与故障演练
所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.4 CI/CD 与可观测性 / 08.4.1 CI/CD 与可观测性
说明:本页为成本治理与混沌演练的通用方法;具体平台计费项、资源对象与演练工具以实际环境和官方文档为准。
08.4.1.5-001 云原生成本治理覆盖哪些对象?
一句话结论
成本主要来自计算(实例/CPU/内存)、存储(磁盘/对象存储/快照)与网络(流量/负载均衡/跨区传输);治理需先把成本拆分到这些可计量对象再分析优化。
概念解释
- 计算:节点与 Pod 资源。
- 存储:块/对象/备份。
- 网络:流量与负载均衡。
原理流程
- 采集各维度成本数据。
- 拆分到计算/存储/网络。
- 按团队/服务/环境归因。
代码 / 对照
| 类别 | 典型成本项 |
|---|---|
| 计算 | 节点规格、CPU/内存分配、实例数 |
| 存储 | 云盘、对象存储、快照、日志留存 |
| 网络 | 出网流量、负载均衡、跨区带宽 |
常见误区
- 误区:成本只看机器账单;正解:存储、网络、日志留存同样占成本,需一并计量。
- 误区:成本治理就是砍机器;正解:先归因定位浪费,再做针对性优化。
追问
- Q:K8s 集群成本怎么拆? A:按节点资源分配、Pod requests/limits 与挂载存储、网络流量拆分。
- Q:成本数据从哪来? A:云厂商账单/集群资源指标结合分摊规则计算。
08.4.1.5-002 requests/limits 与成本有什么关系?
一句话结论
requests 决定调度预留与成本分摊基准,limits 是资源上限;requests 过高造成预留浪费,过低导致争抢与限流,合理设定是资源成本治理的基础。
概念解释
- requests:调度预留。
- limits:使用上限。
- 浪费:预留未充分使用。
原理流程
- 依据实际用量设定 requests。
- 监控实际使用与预留差距。
- 右配 requests/limits 减少预留浪费。
代码 / 图示
requests 高 → 节点预留多、利用率低 → 成本浪费
requests 低 → 争抢/ OOM 风险 → 影响稳定性
按实测用量右配
常见误区
- 误区:limits 设很大不影响成本;正解:limits 影响资源争抢与驱逐行为,规划不当同样影响稳定性与容量。
- 误区:requests 按 limits 填最保险;正解:高估预留直接抬高资源成本。
追问
- Q:如何判断 requests 过高? A:对比实际 CPU/内存使用率与 requests 预留量,长期低预留利用率即为浪费。
- Q:requests/limits 调整有风险吗? A:有,需结合监控灰度调整,避免调低后资源不足。
08.4.1.5-003 利用率分析与资源右配怎么做?
一句话结论
采集实际 CPU/内存使用率与峰值,对照 requests/limits 判断超配或低配,逐步把资源调到匹配真实用量;右配以监控数据为依据,而非拍脑袋。
概念解释
- 利用率:实际使用/预留。
- 峰值:应对突发。
- 右配:调整到合理区间。
原理流程
- 采集一段时间用量分布。
- 对比预留与峰值。
- 分批调整 requests/limits 并观察。
代码 / 图示
采集:平均/峰值 CPU、内存用量
评估:requests 覆盖峰值且不过度预留
调整:分批右配 → 观察稳定性 → 继续优化
常见误区
- 误区:只看平均值右配;正解:需看峰值与波动,避免突发时资源不足。
- 误区:一次性把所有服务压到最低;正解:分批调整并观察,保留缓冲应对波动。
追问
- Q:内存使用率怎么评估? A:看常驻用量与峰值,避免逼近 limits 触发 OOMKill。
- Q:右配后成本下降如何验证? A:对比节点资源利用率与账单/配额占用变化。
08.4.1.5-004 闲置资源如何识别?
一句话结论
闲置包括长期低利用实例、未挂载云盘、旧快照/镜像、过期环境与无人使用的负载均衡;按利用率与生命周期标记,回收前确认无业务依赖。
概念解释
- 低利用:长期资源占用但用量极低。
- 遗留:环境/磁盘/快照未清理。
- 确认:回收前排查依赖。
原理流程
- 按利用率标记低用资源。
- 识别遗留存储与环境。
- 确认无依赖后回收。
代码 / 对照
| 闲置类型 | 识别依据 |
|---|---|
| 低利用实例 | 长期 CPU/内存极低 |
| 未挂载磁盘 | 无挂载关系的云盘 |
| 旧快照/镜像 | 超出留存策略 |
| 过期环境 | 测试环境长期无部署 |
常见误区
- 误区:闲置资源直接删除;正解:先确认无业务依赖与备份价值,按流程回收。
- 误区:开发环境都算闲置;正解:需结合使用记录判断,避免误删在用环境。
追问
- Q:闲置镜像/快照为什么占成本? A:对象存储按容量计费,长期堆积持续产生费用。
- Q:回收后如何确认无影响? A:先标记观察,再释放,保留回退窗口。
08.4.1.5-005 不同环境的成本如何分层管理?
一句话结论
生产环境保稳定性与冗余,测试/开发环境可降低规格、缩容或按需启停;环境间成本策略不同,避免非生产占用与生产同等级资源。
概念解释
- 生产:高可用与容量保障。
- 非生产:按需与成本优先。
- 分层:规格/副本/留存差异。
原理流程
- 按环境区分资源策略。
- 非生产低峰缩容/关机。
- 分别监控成本与利用率。
代码 / 图示
prod:多副本 + 冗余 + 性能规格
test/dev:小规格 + 按需启停 + 缩短留存
常见误区
- 误区:所有环境用同一套资源规格;正解:非生产可显著降配,成本差异明显。
- 误区:测试环境 7×24 运行;正解:可按工作时间/流水线任务启停,降低闲置。
追问
- Q:预发环境为什么保留较高规格? A:需贴近生产验证容量与性能,不能过度降配。
- Q:非生产数据留存怎么省成本? A:缩短日志/快照保留周期,与生产策略区分。
08.4.1.5-006 成本标签与分摊怎么做?
一句话结论
给资源打团队、服务、环境、用途等标签,按标签把账单分摊到责任方;标签规范统一是成本归因与优化问责的前提。
概念解释
- 标签:归属维度。
- 分摊:账单按归属拆分。
- 规范:标签键值统一。
原理流程
- 定义必打标签规范。
- 资源创建时打标。
- 按标签出成本报表分摊。
代码 / 图示
标签:team, service, env, app
成本报表 → 按 team/service 分摊 → 各责任方优化
常见误区
- 误区:标签事后补填;正解:应在资源创建时规范打标,事后补全易遗漏失真。
- 误区:成本只有财务关心;正解:分摊到服务/团队后,开发侧才有优化动机与依据。
追问
- Q:没有标签的成本怎么办? A:归入未分摊项并推动补标,长期清理无标签资源。
- Q:共享基础设施成本怎么分摊? A:按用量或约定规则分摊到使用方,规则需明确。
08.4.1.5-007 容量规划如何结合成本与弹性?
一句话结论
容量规划基于业务增长与峰值预估资源需求,结合弹性伸缩应对波动;预留冗余保稳定,同时避免按峰值长期超配造成成本浪费。
概念解释
- 预估:增长与峰值。
- 冗余:稳定性缓冲。
- 弹性:波动自动伸缩。
原理流程
- 分析历史用量与业务增长。
- 规划基线容量与冗余。
- 弹性机制吸收峰值,降低长期超配。
代码 / 图示
历史用量 + 增长预测 → 基线容量
峰值波动 → 弹性伸缩临时扩容
成本:不为峰值长期全量超配
常见误区
- 误区:按历史最大峰值永久预留;正解:基线 + 弹性应对峰值,减少常驻冗余。
- 误区:容量规划只看当前用量;正解:需结合业务增长趋势预留空间。
追问
- Q:弹性伸缩有什么边界? A:扩容需要预热时间,突发超快速流量需预留基线缓冲。
- Q:容量不足有什么信号? A:饱和度高、排队、OOM 与延迟上升(见 08.4.1.3 黄金信号)。
08.4.1.5-008 混沌工程是什么基本理念?
一句话结论
混沌工程通过在受控环境主动注入故障,验证系统在异常下的韧性与恢复能力;从被动等事故转为主动发现薄弱点,实验需有假设、可控范围与回退。
概念解释
- 主动:主动注入故障。
- 受控:限定范围与时机。
- 韧性:验证容错与恢复。
原理流程
- 定义稳态与假设。
- 受控注入故障。
- 观测系统表现与恢复。
代码 / 图示
稳态假设:依赖故障时核心链路仍可用
注入:杀死实例/延迟调用
观测:是否降级/自愈/告警 → 记录薄弱点
常见误区
- 误区:混沌工程就是在生产乱搞故障;正解:先在非生产/受控范围做,生产演练需严格评估。
- 误区:混沌工程等同于故障演练工具;正解:工具是手段,核心是验证韧性假设与改进系统。
追问
- Q:混沌工程与传统故障演练区别? A:传统多为预设场景检查,混沌强调持续实验、验证假设与量化韧性。
- Q:第一次演练从哪开始? A:从非生产环境、低风险场景(如单实例重启)起步。
08.4.1.5-009 故障演练的原则与边界是什么?
一句话结论
演练原则:明确假设与目标、小爆炸半径、可随时回退、有观测与止损方案、避开业务高峰;边界是不造成不可控的数据损坏与业务中断。
概念解释
- 假设:要验证什么韧性。
- 半径:影响范围可控。
- 回退:可快速终止恢复。
原理流程
- 确定演练目标与范围。
- 评估爆炸半径与回退手段。
- 受控执行并全程观测。
代码 / 图示
目标:单实例故障不影响服务
范围:非生产 / 单个实例
回退:随时停止注入,恢复原状
禁区:不可控数据损坏、高峰期大面积中断
常见误区
- 误区:演练范围越大越有价值;正解:半径失控会把演练变成真实事故。
- 误区:演练不需要回退方案;正解:必须预设终止与恢复手段,异常立即中止。
追问
- Q:生产演练前提条件? A:备份就绪、影响可接受、有指挥与止损方案、窗口合适。
- Q:演练前通知谁? A:相关团队与值班人员知情,明确联络方式。
08.4.1.5-010 演练计划应包含哪些内容?
一句话结论
演练计划包含:场景与假设、范围与对象、注入方式与步骤、观测指标、通过/失败判据、回退与中止条件、参与角色与时间安排。
概念解释
- 场景:注入什么故障。
- 判据:怎样算通过。
- 中止:什么情况终止。
原理流程
- 明确韧性假设与场景。
- 划定对象与指标。
- 准备步骤、判据与回退。
代码 / 图示
演练计划
├─ 场景/假设/范围对象
├─ 注入步骤与命令
├─ 观测指标与判据
├─ 中止/回退条件
└─ 角色分工与时间窗口
常见误区
- 误区:演练计划只写注入命令;正解:判据、观测与回退条件同样必备。
- 误区:通过标准写"服务没挂"即可;正解:应明确核心链路指标与恢复时间等量化判据。
追问
- Q:假设怎么写才可验证? A:写成可观测的预期,如"支付依赖超时 2s 内核心下单可降级不雪崩"。
- Q:演练记录留什么? A:步骤、观测结果、是否通过与问题清单,作为复盘输入。
08.4.1.5-011 常见故障注入类型有哪些?
一句话结论
常见注入:资源类(CPU/内存/磁盘耗尽)、网络类(延迟/丢包/分区)、依赖类(服务宕机/超时/错误返回)、进程类(杀实例/重启);分别验证不同韧性。
概念解释
- 资源:节点/容器资源压力。
- 网络:链路异常。
- 依赖:下游不可用。
原理流程
- 选要验证的薄弱环节。
- 对应类型受控注入。
- 观测容错与恢复表现。
代码 / 对照
| 类型 | 注入示例 | 验证点 |
|---|---|---|
| 资源 | CPU 打满、内存占用、磁盘写满 | 限流/驱逐/告警 |
| 网络 | 延迟、丢包、隔离 | 超时重试/降级 |
| 依赖 | 下游宕机/超时/5xx | 熔断/降级/兜底 |
| 进程 | 杀 Pod/实例 | 自愈/副本切换 |
常见误区
- 误区:只注入宕机类故障;正解:超时、延迟、错误返回等缓慢退化同样需验证。
- 误区:资源耗尽注入在生产随意做;正解:资源类注入易扩散,必须小范围受控。
追问
- Q:依赖超时注入验证什么? A:超时配置、重试、熔断与降级是否生效,避免级联雪崩。
- Q:网络分区怎么模拟? A:通过网络策略/隔离规则切断连通,具体手段按环境能力。
08.4.1.5-012 演练时如何观测与判定结果?
一句话结论
演练期间观测核心指标、日志与追踪,对照预设判据判断系统是否按预期降级、自愈或告警;结果记录为通过、部分通过或暴露薄弱点。
概念解释
- 观测:三支柱数据。
- 判据:预设预期。
- 结论:对照判据评估。
原理流程
- 演练前确认观测面板就绪。
- 注入后持续看指标/日志/链路。
- 对照判据记录表现与问题。
代码 / 图示
注入故障 → 观测:错误率/延迟/可用性/自愈动作
判据:核心链路达标 + 告警触发 + 按时恢复
结论:通过 / 部分通过 / 暴露缺陷
常见误区
- 误区:演练只看服务是否重启;正解:需核对降级是否正确、告警是否触发、恢复时间是否达标。
- 误区:演练中不看指标凭感觉判断;正解:结论必须基于观测证据。
追问
- Q:演练中发现非预期影响怎么办? A:按中止条件停止注入,恢复现场,记录为发现的缺陷。
- Q:怎么证明告警链路有效? A:演练中核对对应告警是否按时触发并通知到值班。
08.4.1.5-013 如何控制爆炸半径并准备回退?
一句话结论
通过限定实例/分组/地域、小比例先行、可一键停止注入与恢复配置来控制半径;回退包括停止故障注入、恢复流量/副本与配置,确保演练可随时终止。
概念解释
- 半径:受影响范围。
- 先行:小比例验证。
- 回退:中止与恢复手段。
原理流程
- 限定最小必要范围。
- 先小比例注入观察。
- 异常时停止注入并恢复。
代码 / 图示
范围:单实例 / 单分组 / 单地域
中止:关闭注入 → 恢复副本/流量/配置
扩大:小范围验证通过后再考虑扩大
常见误区
- 误区:演练一开始就全量注入;正解:从小范围起步,确认可控后再扩大。
- 误区:回退只靠人工回忆操作;正解:回退步骤应预先写好并验证可行。
追问
- Q:爆炸半径怎么预估? A:评估故障会影响哪些依赖、用户分组与上下游链路。
- Q:演练中如何快速恢复? A:预先准备停止注入与回滚配置的操作路径与权限。
08.4.1.5-014 复盘证据链如何组织?
一句话结论
复盘证据链由指标趋势、日志记录、追踪链路、变更/部署记录与演练时间线组成,按时间顺序串联,支撑根因判断与改进项,避免凭印象下结论。
概念解释
- 指标:退化时间与幅度。
- 日志/追踪:错误与链路证据。
- 记录:变更与时间线。
原理流程
- 收集演练/事故期间三支柱数据。
- 对齐时间线与变更记录。
- 证据支撑根因与改进结论。
代码 / 图示
时间线
├─ 指标:错误率/延迟/饱和度曲线
├─ 日志:错误事件与上下文
├─ 追踪:慢/错 span
└─ 变更/部署记录
→ 根因分析 → 改进项
常见误区
- 误区:复盘只写结论不留证据;正解:缺少证据链的结论难以复核与改进。
- 误区:日志/追踪在演练后已过期;正解:关键演练期间应留存观测数据。
追问
- Q:证据链如何对齐时间? A:统一时钟与时间格式,按时间戳串联各数据源。
- Q:发现证据不足怎么办? A:在改进项中补齐对应埋点或留存策略。
08.4.1.5-015 演练场景:依赖超时/宕机怎么验证?
一句话结论
模拟下游服务超时或不可用,验证上游超时配置、重试、熔断、降级兜底与告警是否生效,核心链路是否避免级联雪崩。
概念解释
- 超时:等待时长控制。
- 熔断:故障时快速失败。
- 降级:兜底功能保核心。
原理流程
- 受控注入下游延迟/不可用。
- 观察上游超时、重试与熔断行为。
- 核对降级输出与告警触发。
代码 / 图示
注入:payment 超时/5xx
观察:上游超时是否生效 → 是否熔断 → 是否降级兜底 → 是否级联拖垮
常见误区
- 误区:下游不可用上游无限等待;正解:必须有超时上限与失败快速路径。
- 误区:重试可以解决一切;正解:无退避重试会加剧下游压力,形成雪崩。
追问
- Q:重试次数与退避怎么设? A:结合下游恢复能力与超时预算设定,避免放大流量。
- Q:降级兜底数据从哪来? A:缓存/默认值/只读模式等预案,需提前设计。
08.4.1.5-016 演练场景:网络延迟/分区怎么验证?
一句话结论
模拟网络高延迟、丢包或节点分区,验证连接超时、重试、健康检查切换与跨区容错;观察分区后少数派/单链路行为是否符合预期。
概念解释
- 延迟:链路变慢。
- 丢包:请求丢失。
- 分区:连通中断。
原理流程
- 受控制造网络异常。
- 观察超时重连与副本切换。
- 验证分区后可用性与恢复对齐。
代码 / 图示
注入:节点间延迟/丢包/隔离
观察:健康检查剔除 → 流量切换 → 恢复后追平
常见误区
- 误区:网络故障只会导致慢一点;正解:分区可能触发选举、连接断开与降级行为。
- 误区:演练后不验证恢复;正解:需确认连通恢复后系统自动对齐正常状态。
追问
- Q:跨机房分区验证什么? A:副本分布与 quorum/可用性表现,恢复后数据对齐。
- Q:网络抖动如何避免误判? A:结合持续时间与多指标判断,区分短时抖动与真实分区。
08.4.1.5-017 演练场景:资源耗尽怎么验证?
一句话结论
模拟 CPU/内存/磁盘压力,验证限流、扩容、OOM 处置、磁盘告警与保护机制;确认资源逼近上限时系统行为可控而不是整体崩溃。
概念解释
- CPU:计算饱和。
- 内存:逼近上限/ OOM。
- 磁盘:空间/inode 耗尽。
原理流程
- 受控施加资源压力。
- 观测饱和度指标与保护动作。
- 验证扩容/驱逐/告警与恢复。
代码 / 图示
注入:CPU 负载 / 内存占用 / 磁盘写入
观察:饱和度 → 限流/扩容/OOMKill → 告警 → 释放后恢复
常见误区
- 误区:资源耗尽演练可以不限范围;正解:资源压力易扩散,必须限定单实例/小范围。
- 误区:磁盘写满不会影响服务;正解:日志/WAL/临时文件写失败可导致服务异常。
追问
- Q:内存 OOM 前有什么信号? A:内存使用率逼近 limits、分配失败与 OOMKill 记录。
- Q:磁盘空间告警阈值怎么设? A:留足清理与扩容缓冲,在耗尽前告警。
08.4.1.5-018 如何让演练形成常态化改进闭环?
一句话结论
常态化闭环:定期排演练计划 → 执行并记录 → 输出缺陷与改进项 → 跟踪修复 → 回归验证;把发现的薄弱点纳入 backlog,重复演练验证韧性提升。
概念解释
- 定期:周期化排期。
- 改进:缺陷转行动项。
- 回归:修复后再验证。
原理流程
- 按风险清单排演练计划。
- 执行并记录结论。
- 改进项跟踪闭环,下次演练回归。
代码 / 图示
风险清单 → 演练计划 → 执行观测 → 缺陷/改进项 → 跟踪修复 → 回归演练
常见误区
- 误区:演练做完出个报告就结束;正解:改进项未闭环等于演练未产生价值。
- 误区:同一演练反复做不变更;正解:应覆盖新场景与历史缺陷回归。
追问
- Q:演练频率怎么定? A:按业务风险与变更节奏安排,关键链路定期覆盖。
- Q:演练发现的问题优先级怎么排? A:按影响面与发生概率纳入改进 backlog,与事故复盘改进统一跟踪。