08.2.2.6 高频故障场景排查
所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.2 Kubernetes / 08.2.2 调度网络存储与排障
命令前提:kubeconfig 已指向目标集群且有权限;以下为官方语义的排查序列,未在本机实际执行,输出字段以真实集群为准。
08.2.2.6-001 Pod 一直 Pending 怎么排查?
一句话结论
Pending 说明 Pod 尚未落地:先 describe 看调度事件,区分资源不足、亲和/污点不满足、卷未供给还是端口冲突,再逐项核对节点与规则。
概念解释
- 未调度:无候选节点。
- 未就绪:卷/资源等待。
- 事件:过滤原因记录。
原理流程
kubectl describe pod <pod>读 Events。- 归类事件原因(资源/亲和/污点/卷/端口)。
- 核对节点 allocatable、标签污点、PVC 状态。
- 修正后观察是否进入调度。
代码 / 示例
kubectl describe pod <pod> -n <namespace>
kubectl get nodes -o wide
kubectl describe pvc <pvc> -n <namespace>
常见误区
- 误区:Pending 是容器启动失败;正解:Pending 阶段还没到节点启动容器。
- 误区:删除 Pod 重建就能调度;正解:约束或资源问题未改,重建仍 Pending。
追问
- Q:事件提示 Insufficient cpu/memory 说明什么? A:节点可分配资源不足,需扩容节点或降低 requests。
- Q:事件提示 didn't match node selector/affinity 说明什么? A:亲和规则与节点标签不匹配,核对标签与 topologyKey。
08.2.2.6-002 ImagePullBackOff 怎么排查?
一句话结论
镜像拉取失败:核对镜像名/标签、仓库可达性、拉取凭证与节点网络;事件中记录失败阶段(不存在、认证失败、超时)。
概念解释
- 名称:仓库/标签拼写。
- 凭证:imagePullSecrets。
- 网络:节点到仓库连通性。
原理流程
- describe 看拉取事件原因。
- 核对清单镜像地址与标签。
- 检查拉取 Secret 与仓库权限。
- 节点视角验证仓库连通。
代码 / 示例
kubectl describe pod <pod> -n <namespace>
kubectl get pod <pod> -n <namespace> -o yaml | grep image
常见误区
- 误区:ImagePullBackOff 是应用崩溃;正解:镜像还没拉下来,容器未启动。
- 误区:标签 latest 一定存在;正解:标签拼写或推送缺失同样导致拉取失败。
追问
- Q:认证失败事件特征? A:事件返回未授权/认证类信息,需配置对应仓库凭证。
- Q:私有仓库凭证写在哪里? A:Pod spec 的 imagePullSecrets,引用已创建的 Secret。
08.2.2.6-003 CrashLoopBackOff 的排查链路是什么?
一句话结论
容器反复退出:先看当前/上次日志与退出原因,区分应用启动报错、依赖不可用、配置错误、探针误杀还是 OOM,再按证据修复。
概念解释
- 反复退出:重启退避。
- 证据:日志、退出码、reason、探针事件。
- 分类:应用/依赖/配置/资源/探针。
原理流程
kubectl describe pod看 Restart Count、Last State reason/退出码。kubectl logs --previous读上次退出日志。- 核对依赖、配置、探针口径与资源限额。
- 修复后观察重启计数是否停止增长。
代码 / 示例
kubectl describe pod <pod> -n <namespace>
kubectl logs <pod> -n <namespace> --previous --tail=100
kubectl logs <pod> -n <namespace> --tail=100
常见误区
- 误区:CrashLoopBackOff 一定是代码 Bug;正解:依赖、配置、探针、资源问题都会导致反复退出。
- 误区:只看当前日志;正解:退出原因常在 previous 日志中。
追问
- Q:退避时间为什么越来越长? A:重启失败后按指数退避间隔重试,避免频繁冲击。
- Q:如何区分探针杀进程与应用自身退出? A:看事件中的探针失败记录与退出原因,应用退出看日志报错。
08.2.2.6-004 OOMKilled 怎么排查?
一句话结论
容器被内存超限终止:核对 memory limit、容器内存曲线、应用堆/缓存与运行时容器感知,区分泄漏、limit 过小还是堆外内存占用。
概念解释
- reason:OOMKilled。
- 限额:memory limit。
- 方向:泄漏/限额/堆外。
原理流程
- describe 确认 Last State reason=OOMKilled。
- 查内存用量曲线与 limit 对比。
- 分析应用堆、缓存、堆外与运行时参数。
- 修复泄漏或调整 limit 后观察。
代码 / 示例
kubectl describe pod <pod> -n <namespace>
kubectl top pod <pod> -n <namespace>
常见误区
- 误区:OOMKilled 就是内存泄漏;正解:limit 过小、堆外增长或运行时未感知限额也会导致。
- 误区:调大 limit 就根治;正解:无界缓存/泄漏不治理,扩容后仍会再次 OOM。
追问
- Q:如何看被 OOM 的是哪个容器? A:describe 中各容器 Last State,定位 reason=OOMKilled 的容器。
- Q:JVM 容器 OOM 先核对什么? A:堆参数与 cgroup 限额是否匹配、堆外内存余量(见 08.2.1.6-013)。
08.2.2.6-005 Service 访问无后端怎么排查?
一句话结论
核对 Service selector 与 Pod 标签、Pod 就绪状态、EndpointSlice 后端列表;无就绪匹配 Pod 时端点为空,流量无法转发。
概念解释
- 选择器:标签匹配。
- 就绪:计入端点条件。
- 端点:EndpointSlice。
原理流程
- get Service 看 selector 与端口。
- 查 EndpointSlice 地址列表。
- 核对 Pod 标签与 readiness。
- 集群内验证解析与连通。
代码 / 示例
kubectl get svc <svc> -n <namespace>
kubectl get endpointslices -n <namespace>
kubectl get pods -n <namespace> --show-labels
常见误区
- 误区:Service 创建后自动有后端;正解:后端来自就绪且匹配 selector 的 Pod。
- 误区:端点为空是 kube-proxy 故障;正解:先排除选择器与就绪问题。
追问
- Q:标签匹配但端点为空? A:检查 Pod 是否未就绪(探针失败)或处于其他异常状态。
- Q:手动指定后端怎么做? A:创建无 selector Service 并手动维护 Endpoints/EndpointSlice。
08.2.2.6-006 集群内 DNS 解析失败怎么排查?
一句话结论
区分是服务名拼写/命名空间问题、DNS 组件异常还是网络策略阻断;先在 Pod 内解析服务名,再查 DNS 组件状态与搜索域配置。
概念解释
- 名称:短名/FQDN/命名空间。
- 组件:DNS 服务与端点。
- 策略:网络策略拦截。
原理流程
- 业务 Pod 内解析服务名。
- 核对名称、命名空间拼写。
- 查 DNS 组件 Pod 与端点。
- 检查网络策略是否阻断 DNS 流量。
代码 / 示例
kubectl get pods -n kube-system -l <dns-component-label>
kubectl get svc -n kube-system
常见误区
- 误区:跨命名空间用短名;正解:短名仅同命名空间,跨域需带 namespace。
- 误区:解析失败一定是 DNS 挂了;正解:先排除名称拼写与网络策略。
追问
- Q:Pod IP 直连通但服务名不通? A:问题在 DNS 解析环节,查 DNS 组件与 search 域。
- Q:DNS 端口被策略阻断怎么判断? A:临时放开 DNS 端口策略后复测,对比结果。
08.2.2.6-007 Pod 一直 NotReady 怎么排查?
一句话结论
NotReady 表示未通过就绪条件:先看就绪探针失败原因、依赖是否就绪、卷是否挂载完成、容器是否全部启动,再对症处理。
概念解释
- 就绪条件:readiness 探针。
- 依赖:数据库/缓存/配置。
- 挂载:卷就绪状态。
原理流程
- describe 看 Ready 条件与事件。
- 读就绪探针失败原因。
- 核对依赖连通、卷挂载与容器启动。
- 修复后观察 Ready 转 true。
代码 / 示例
kubectl describe pod <pod> -n <namespace>
kubectl logs <pod> -n <namespace>
常见误区
- 误区:NotReady 会自动重启;正解:就绪失败只摘流量,不重启容器。
- 误区:容器 Running 就是 Ready;正解:Running 是阶段,Ready 还要探针通过。
追问
- Q:就绪探针检查依赖导致一直失败? A:依赖不可用时摘流量是预期行为,需恢复依赖而非改探针口径。
- Q:多容器 Pod 哪个影响 Ready? A:任一容器未就绪都会使 Pod 整体未就绪,逐容器核对。
08.2.2.6-008 Pod 被 Evicted(驱逐)怎么排查?
一句话结论
驱逐是节点资源压力下 kubelet 删除 Pod:看驱逐原因(内存/磁盘压力)、节点 Conditions 与 Pod QoS/用量,区分节点容量不足与局部资源失控。
概念解释
- 触发:节点压力阈值。
- 顺序:QoS 与用量排序。
- 记录:Evicted 原因与事件。
原理流程
- describe Pod 看 Evicted 原因。
- describe 节点看压力 Conditions。
- 核对节点资源用量与 Pod QoS。
- 扩容节点/治理资源占用后重建。
代码 / 示例
kubectl describe pod <pod> -n <namespace>
kubectl describe node <node>
常见误区
- 误区:Evicted 就是容器 OOMKill;正解:前者是节点层驱逐 Pod,后者是 cgroup 内杀容器。
- 误区:被驱逐 Pod 不会回来;正解:控制器在可调度位置重建副本。
追问
- Q:磁盘驱逐由什么引起? A:节点磁盘空间/inode 耗尽,检查日志与临时文件占用。
- Q:如何降低被驱逐概率? A:关键负载设 Guaranteed、合理 requests/limits、预留节点资源。
08.2.2.6-009 探针反复失败导致重启怎么排查?
一句话结论
先区分是真卡死还是误探活:核对探针类型口径、超时/失败阈值、端口路径与启动时长,再看进程实际响应与资源状态。
概念解释
- 口径:存活/就绪检查内容。
- 参数:超时与阈值。
- 启动:慢启动保护。
原理流程
- describe 看探针失败事件与重启计数。
- 核对探针配置(类型、路径、端口、阈值)。
- 进容器/看日志判断进程是否真无响应。
- 调整口径或阈值,必要时加 startupProbe。
代码 / 示例
kubectl describe pod <pod> -n <namespace>
kubectl get pod <pod> -n <namespace> -o yaml
常见误区
- 误区:探针失败就是应用不健康;正解:可能是检查口径过严或阈值过短。
- 误区:加大 failureThreshold 能根治;正解:先纠正检查口径,阈值只缓冲抖动。
追问
- Q:依赖抖动触发存活重启怎么办? A:存活只查自身活性,依赖可达性交给就绪探针。
- Q:慢启动被误杀怎么配? A:加 startupProbe 覆盖启动窗口(见 08.2.1.5-004)。
08.2.2.6-010 卷挂载失败怎么排查?
一句话结论
区分供给失败(PVC Pending)与挂载失败(卷已存在但节点挂不上):核对 PVC/PV 状态、访问模式、AZ 拓扑与节点插件状态。
概念解释
- 供给:provision 阶段。
- 挂载:节点附件/格式化阶段。
- 约束:模式与拓扑。
原理流程
- describe Pod 看挂载报错事件。
- describe PVC/PV 确认绑定与阶段。
- 核对访问模式、AZ 拓扑、驱动插件。
- 查节点 CSI 插件状态。
代码 / 示例
kubectl describe pod <pod> -n <namespace>
kubectl describe pvc <pvc> -n <namespace>
kubectl get pv
常见误区
- 误区:挂载失败是镜像问题;正解:先区分卷供给与挂载阶段。
- 误区:RWO 卷可挂到任意节点;正解:受节点/AZ 与访问模式约束。
追问
- Q:卷已绑定但挂载报拓扑错误? A:核对卷所在 AZ 与调度节点是否一致。
- Q:CSI 插件异常看哪里? A:节点上 CSI 插件 Pod 状态与日志(见 08.2.2.4-008)。
08.2.2.6-011 镜像仓库认证失败怎么处理?
一句话结论
认证失败说明节点拉取缺少有效凭证:核对 imagePullSecrets 是否存在、仓库账号权限与 Secret 字段格式,确认节点网络可达仓库。
概念解释
- Secret:仓库凭证。
- 挂载:Pod 引用。
- 权限:账号拉取权限。
原理流程
- 事件确认认证类失败。
- 核对 Pod 引用的 imagePullSecrets。
- 检查 Secret 字段与仓库账号权限。
- 修正后重新拉取。
代码 / 示例
kubectl get secret <secret> -n <namespace> -o yaml
kubectl get pod <pod> -n <namespace> -o yaml
常见误区
- 误区:所有命名空间共用一份凭证;正解:Secret 按命名空间引用,跨空间需分别创建。
- 误区:凭证过期不影响已运行 Pod;正解:重建/扩容时会重新拉取并暴露认证问题。
追问
- Q:Secret 中凭证字段名有要求吗? A:按仓库凭证格式要求,字段不符会被仓库拒绝。
- Q:公网仓库与私有仓库凭证分开管理吗? A:按仓库来源分别配置凭证。
08.2.2.6-012 容器启动后立即退出怎么排查?
一句话结论
进程启动即退出:看 previous/当前日志的启动报错,区分命令/入口错误、配置缺失、依赖不可用与主进程前台化问题。
概念解释
- 入口:ENTRYPOINT/CMD。
- 配置:环境变量/配置文件。
- 依赖:启动即连依赖。
原理流程
- 读退出日志报错。
- 核对启动命令与镜像入口。
- 检查配置与依赖连通。
- 验证主进程以前台方式运行。
代码 / 示例
kubectl logs <pod> -n <namespace> --previous
kubectl logs <pod> -n <namespace>
常见误区
- 误区:容器退出一定是 OOM;正解:命令错误、配置缺失、依赖拒绝都会立即退出。
- 误区:后台启动主进程适合容器;正解:主进程需前台运行,否则 PID1 退出容器结束。
追问
- Q:容器内主进程退出有哪些常见原因? A:启动参数错误、绑定端口失败、依赖连接拒绝、未前台运行。
- Q:如何在不部署的情况下验证入口? A:本地按镜像入口命令试跑(前提:本机有容器运行时,未验证则以镜像说明为准)。
08.2.2.6-013 端口冲突类调度失败怎么判断?
一句话结论
hostPort 等端口被节点上其他进程占用时调度失败;核对节点端口占用与 Pod 端口配置,优先用 Service 暴露而非 hostPort。
概念解释
- hostPort:节点端口占用。
- 冲突:同节点端口已被用。
- 方式:Service/Ingress 暴露更通用。
原理流程
- 调度事件提示端口冲突。
- 核对 Pod hostPort 配置。
- 检查节点端口占用与其他 Pod。
- 改用 Service 或调整端口。
代码 / 图示
事件:port is already allocated → 核对 hostPort 与节点占用 → 改用 Service 暴露
常见误区
- 误区:多副本都用同一个 hostPort 可调度;正解:同节点端口冲突,需分散或改用虚拟入口。
- 误区:容器端口冲突会在运行时报错;正解:hostPort 冲突在调度阶段即被过滤。
追问
- Q:容器间端口冲突怎么体现? A:同一 Pod 内容器端口不能重复监听,启动时绑定失败。
- Q:什么场景才需要 hostPort? A:需要直接占用节点端口的特殊场景,常规服务走 Service。
08.2.2.6-014 资源不足导致调度失败怎么处理?
一句话结论
事件提示 CPU/内存/存储不足时,核对节点可分配量与已分配 requests,处理方式:扩容节点、降低 requests、调整副本数或清理占用 Pod。
概念解释
- 容量:allocatable 与已分配。
- 请求:Pod requests 口径。
- 方向:扩节点/降请求/减副本。
原理流程
- 事件确认资源不足类型。
- 查节点 allocatable 与已分配。
- 评估扩节点、调 requests 或减副本。
- 调整后重新调度。
代码 / 示例
kubectl describe node <node>
kubectl top node
常见误区
- 误区:节点物理内存多就不会调度失败;正解:按 requests 分配口径判断,未留余量仍会 Pending。
- 误区:杀掉运行中 Pod 释放空间是首选;正解:先评估副本冗余与服务影响,优先扩容。
追问
- Q:requests 普遍偏大怎么优化? A:按常态基线复核(见 08.2.1.6-014)。
- Q:临时任务资源不足怎么办? A:独立资源配额或错峰调度,避免挤占常驻服务。
08.2.2.6-015 网络策略阻断流量怎么判断?
一句话结论
Pod 间/出入口被策略拦截时,先确认 CNI 支持 NetworkPolicy,再核对策略选择器、允许的源/目标与端口,临时放开策略复测对比。
概念解释
- 执行:CNI 策略能力。
- 规则:selector/端口/方向。
- 复测:放开对比结果。
原理流程
- 确认策略存在且 CNI 支持执行。
- 核对策略选择器与允许规则。
- 临时调整策略复测连通。
- 收敛为最小必要规则。
代码 / 图示
连通失败 → 查 NetworkPolicy → 核对 selector/端口/方向 → 放开复测 → 恢复最小规则
常见误区
- 误区:配了策略就一定生效;正解:CNI 不支持策略时规则不执行。
- 误区:策略问题优先改应用代码;正解:先核对网络层规则是否误拦截。
追问
- Q:默认策略阻断后如何放行特定服务? A:按 Pod/命名空间选择器与端口配置允许规则。
- Q:如何确认策略命中? A:结合 CNI 组件日志/策略计数(按方案能力)与连通复测。
08.2.2.6-016 证书与时间类问题如何识别?
一句话结论
TLS/认证报错(证书过期、域名不匹配、时钟偏差)表现为握手失败或认证拒绝;核对证书有效期、服务名与节点时钟,不在本资料中展开加密细节。
概念解释
- 证书:有效期与域名。
- 时钟:时间偏差影响校验。
- 入口:Ingress/网关 TLS 配置。
原理流程
- 读连接报错中的 TLS/认证信息。
- 核对证书有效期与服务名匹配。
- 检查节点/容器时钟同步。
- 更新证书或修正时钟后复测。
代码 / 图示
握手/认证报错 → 证书有效期? 域名匹配? 时钟同步? → 修正后复测
常见误区
- 误区:TLS 报错都是服务不可用;正解:证书/时钟问题在网络可达时仍会握手失败。
- 误区:证书只在外部入口需要;正解:集群内 mTLS 场景同样依赖证书有效期。
追问
- Q:证书快过期如何提前发现? A:纳入证书有效期监控与到期告警。
- Q:时钟偏差会影响哪些组件? A:证书校验、令牌时效与分布式日志排序,需保证节点 NTP 同步。
08.2.2.6-017 控制器副本数不收敛怎么排查?
一句话结论
期望副本与就绪副本不一致时,沿控制器 → Pod → 调度/就绪/卷链路定位缺口:哪些副本未创建、未调度或未就绪。
概念解释
- 期望:desired replicas。
- 就绪:ready 副本。
- 缺口:按状态分类。
原理流程
- describe 控制器看副本条件与事件。
- 列出关联 Pod 状态分类。
- 对缺口 Pod 走 Pending/NotReady/崩溃链路。
- 修复后观察副本收敛。
代码 / 示例
kubectl describe deploy <deploy> -n <namespace>
kubectl get pods -n <namespace>
常见误区
- 误区:副本数不收敛是控制器故障;正解:多数是底层 Pod 调度/就绪/崩溃问题的体现。
- 误区:手动改 Pod 副本能让控制器收敛;正解:副本由控制器管理,应修正控制器配置与底层故障。
追问
- Q:滚动发布卡住怎么看? A:对比新旧 ReplicaSet 副本与阻塞 Pod 状态。
- Q:StatefulSet 副本不收敛看什么? A:按序号检查各 Pod 与对应 PVC 绑定状态。
08.2.2.6-018 故障复盘如何形成完整证据链?
一句话结论
按时间线留存对象状态、事件、日志、指标与变更记录,定位影响范围、直接原因与触发条件,区分现象、根因与改进项,避免只记“重启恢复”。
概念解释
- 证据:状态/事件/日志/指标/变更。
- 时间线:故障发生、发现、恢复节点。
- 分层:现象/根因/改进。
原理流程
- 故障中留存快照与日志。
- 事后还原时间线与影响范围。
- 定位根因与触发条件。
- 输出改进项与责任闭环。
代码 / 图示
现象(状态/事件) → 日志/指标证据 → 根因定位 → 改进项(配置/容量/监控/流程)
常见误区
- 误区:复盘只要写处理动作;正解:必须包含根因、触发条件与可落地改进。
- 误区:重启恢复即闭环;正解:未定位根因会复发,需保留证据继续分析。
追问
- Q:哪些证据必须留存? A:故障时间点的对象状态、事件流、关键日志、资源指标与变更记录。
- Q:改进项如何验收? A:对应监控告警、配置加固或容量预案,设定复查节点确认生效。