08.2.2.5 排障命令链路与状态判读
所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.2 Kubernetes / 08.2.2 调度网络存储与排障
命令前提:当前 kubeconfig 已指向目标集群且有权限执行;命令按官方语义描述,本机未实际跑通,输出字段以实际集群为准。
08.2.2.5-001 排障的总链路是什么?
一句话结论
从概览定位对象 → describe 看状态与事件 → logs 看应用输出 → exec 进容器验证进程/配置 → top 看资源用量,按对象层级逐层下钻,不跳步。
概念解释
- 概览:get 看状态与分布。
- 事件:describe/events 看调度与探针记录。
- 运行态:logs/exec/top 验证进程。
原理流程
kubectl get定位异常对象。kubectl describe读状态与事件。kubectl logs看应用报错。kubectl exec进入容器验证。kubectl top核对资源用量。
代码 / 图示
get(定位) → describe(状态/事件) → logs(应用输出) → exec(容器内验证) → top(资源)
常见误区
- 误区:一上来就 exec 进容器翻文件;正解:先从事件与日志确定故障层级。
- 误区:只看 Pod 不看控制器与节点;正解:故障可能在控制器、节点、网络或存储层。
追问
- Q:排障先看 Pod 还是节点? A:先 get 定位是 Pod 异常还是节点 NotReady,再决定下钻方向。
- Q:如何避免改动线上状态? A:先只读排查(get/describe/logs/exec 查看),确认根因后再变更。
08.2.2.5-002 kubectl get 能看到哪些关键信息?
一句话结论
get 概览展示对象状态、就绪副本、重启次数、节点归属与年龄;通过 -o wide 可看到节点与 Pod IP,是定位异常对象的第一层。
概念解释
- 状态列:STATUS/READY。
- 重启:RESTARTS。
- 归属:节点、Pod IP(wide)。
原理流程
- 列出目标资源对象。
- 对比状态与期望副本。
- 选中异常对象进入 describe。
代码 / 示例
kubectl get pods -n <namespace> -o wide
kubectl get deploy -n <namespace>
常见误区
- 误区:READY 列 0/1 一定是镜像问题;正解:可能是未就绪、探针失败或启动中。
- 误区:RESTARTS 为 0 就没有历史故障;正解:重建后的 Pod 计数清零,需看控制器历史事件。
追问
- Q:如何按状态筛选 Pod? A:用状态字段过滤(如 Pending、CrashLoopBackOff),具体过滤语法按 kubectl 版本。
- Q:get 看不到历史事件怎么办? A:describe 读 Events 段,events 资源看近期事件流。
08.2.2.5-003 kubectl describe 重点看哪些段?
一句话结论
重点看 Status 段的等待/终止原因、Events 段的调度/探针/拉取记录、Volumes 段挂载情况;事件消息按时间顺序给出最近失败原因。
概念解释
- Status:waiting/terminated 与 reason。
- Events:时间线事件。
- Volumes:卷挂载状态。
原理流程
- describe 目标 Pod。
- 读容器 State 与 Last State reason/退出码。
- 读 Events 最新失败事件。
代码 / 示例
kubectl describe pod <pod> -n <namespace>
常见误区
- 误区:只看 Pod 顶部概览;正解:Events 段与 Last State 才是根因线索。
- 误区:事件时间早就是当前故障;正解:以最新事件与当前状态为准,旧事件仅作历史参考。
追问
- Q:Events 中镜像拉取失败关键字段? A:事件消息含镜像仓库/认证/不存在等原因(见 08.2.2.6-002)。
- Q:describe 看不到卷细节? A:结合 describe PVC/PV 与节点挂载信息核对。
08.2.2.5-004 kubectl logs 如何看当前与上一次容器日志?
一句话结论
kubectl logs 读当前容器标准输出;--previous 读上次崩溃容器日志;多容器用 -c 指定容器,--tail/--follow 控制范围与跟踪。
概念解释
- 当前:正在运行容器。
- previous:退出前容器。
- 多容器:按容器名区分。
原理流程
- 先看当前容器日志。
- 崩溃重启过则加
--previous。 - 多容器逐一看
-c指定日志。
代码 / 示例
kubectl logs <pod> -n <namespace> --tail=100
kubectl logs <pod> -n <namespace> --previous --tail=100
kubectl logs <pod> -n <namespace> -c <container>
常见误区
- 误区:崩溃原因都在当前日志里;正解:上次退出的报错需
--previous。 - 误区:业务报错一定打到 stdout;正解:应用写本地文件时需 exec 查看,日志采集配置另查。
追问
- Q:日志在重启后丢失吗? A:容器日志随容器生命周期,已退出容器历史日志靠 previous 或日志采集系统。
- Q:如何实时跟踪日志? A:
--follow持续追加输出,结束后断开。
08.2.2.5-005 kubectl exec 进入容器后验证什么?
一句话结论
exec 用于在容器内验证进程是否存活、端口是否监听、配置文件与环境变量、到依赖的连通性;不应用它在容器内改线上状态。
概念解释
- 进程:
ps类命令确认主进程。 - 端口:监听状态。
- 配置:挂载的配置与环境变量。
原理流程
- 进入容器 shell。
- 检查进程、端口、配置。
- 从容器内访问依赖验证连通性。
代码 / 示例
kubectl exec -it <pod> -n <namespace> -- <shell>
# 容器内:查看进程、端口监听、配置文件与环境变量
常见误区
- 误区:distroless 镜像也有 shell;正解:极简镜像可能无 shell/工具,exec 受限,需换调试方式。
- 误区:exec 看到的配置就是生效配置;正解:需确认应用实际读取的文件路径与启动参数。
追问
- Q:容器内没有 ps/curl 怎么办? A:借助临时调试镜像或宿主机/节点视角排查,不要往生产镜像塞调试工具。
- Q:exec 能看到节点网络吗? A:容器内看到的是 Pod 网络命名空间,节点视角需在节点上检查。
08.2.2.5-006 事件流如何查看?
一句话结论
kubectl events(或 describe Events 段)按时间列出调度、探针、拉取、驱逐等事件;跨对象排查时先看命名空间级事件流再聚焦单个对象。
概念解释
- 事件:状态变化记录。
- 级别:Normal/Warning。
- 时效:事件保留期有限。
原理流程
- 查看命名空间事件流。
- 按 Warning 过滤异常。
- 关联到具体 Pod/节点。
代码 / 示例
kubectl events -n <namespace> --for pod/<pod>
# 未提供 events 子命令的版本:kubectl describe 与 get events
kubectl get events -n <namespace> --sort-by=.lastTimestamp
常见误区
- 误区:事件永久保留;正解:事件有保留期限,长期故障需结合日志与监控留存。
- 误区:事件 Warning 都是错误;正解:需结合消息内容判断是可恢复抖动还是持续故障。
追问
- Q:事件重复计数说明什么? A:同一问题反复发生,需看最后一次消息与频率。
- Q:如何按对象查事件? A:
--for指定对象类型与名称(命令形式以版本为准)。
08.2.2.5-007 kubectl top 如何看资源用量?
一句话结论
top 汇总节点/Pod 的 CPU 与内存实际用量,用于区分资源不足、节流/OOM 与配置问题;依赖资源指标管线可用。
概念解释
- 用量:实际 CPU/内存。
- 对比:与 requests/limits 对照。
- 前提:metrics 管线在线。
原理流程
- 查 Pod/节点 top 用量。
- 对比 requests/limits。
- 判断是否逼近限额或超卖。
代码 / 示例
kubectl top pod -n <namespace>
kubectl top node
常见误区
- 误区:top 用量就是 limits;正解:top 是实际用量,限额看清单与 cgroup。
- 误区:top 数据不可用时等于资源空闲;正解:可能是指标管线故障,需另查。
追问
- Q:CPU 用量长期贴近 limit 说明什么? A:存在节流风险,需评估扩容或调参(见 08.2.1.6-002)。
- Q:top 取不到数据先查什么? A:metrics 组件状态与节点指标采集。
08.2.2.5-008 Pod 状态枚举如何判读?
一句话结论
Pending 未调度或资源未就绪,Running 已落地运行,Succeeded 正常退出,Failed 容器失败;等待/终止原因(Reason)进一步区分拉取、探针、OOM 等。
概念解释
- 阶段:status.phase。
- 原因:waiting/terminated reason。
- 判读:阶段 + reason + 事件。
原理流程
- 读 Pod phase。
- 读容器 waiting/terminated reason 与退出码。
- 结合事件定位具体故障。
代码 / 对照
| 状态 | 含义 | 下一步 |
|---|---|---|
| Pending | 未调度/资源未就绪 | 看调度事件与卷/配额 |
| Running | 已落地运行 | 看探针/日志/资源 |
| Succeeded | 正常退出 | 确认是否预期 |
| Failed | 容器失败 | 看退出原因与 previous 日志 |
常见误区
- 误区:Running 就代表可接流量;正解:还要 readiness 探针通过才计入后端。
- 误区:phase 已足够定位根因;正解:reason 与事件才区分具体失败类型。
追问
- Q:Pending 与 CrashLoopBackOff 区别? A:前者未落地调度,后者容器启动后反复退出。
- Q:退出码如何辅助判断? A:配合 reason 区分 OOM、信号终止、应用错误退出。
08.2.2.5-009 节点 NotReady 如何排查?
一句话结论
先看节点 Conditions 与事件,区分 kubelet、容器运行时、网络插件、磁盘/内存压力还是网络不通;再上节点查组件状态。
概念解释
- Conditions:Ready、DiskPressure、MemoryPressure、NetworkUnavailable 等。
- 事件:节点级告警。
- 组件:kubelet、运行时、CNI。
原理流程
kubectl get nodes看状态。- describe 节点读 Conditions 与事件。
- 按异常 Condition 方向查组件与资源。
代码 / 示例
kubectl describe node <node>
常见误区
- 误区:NotReady 一定是节点宕机;正解:可能是 kubelet 失联、磁盘压力或 CNI 异常。
- 误区:节点 NotReady 上的 Pod 立即全部重建;正解:驱逐/重调度受条件与策略影响,存在时间窗。
追问
- Q:DiskPressure 由什么引起? A:节点磁盘空间/inode 耗尽,需清理或扩容。
- Q:节点网络不可用看哪个 Condition? A:NetworkUnavailable 类条件,结合 CNI 组件状态判断。
08.2.2.5-010 如何校验清单配置本身是否正确?
一句话结论
用 dry-run 与清单校验检查语法、字段合法性与资源引用,避免把配置错误部署到集群;先本地校验再应用。
概念解释
- dry-run:不真正创建资源。
- 校验:schema 与引用合法性。
- 顺序:先校验后 apply。
原理流程
- 对清单做 dry-run 校验。
- 检查字段错误与引用对象。
- 确认无误后再应用。
代码 / 示例
kubectl diff -f <manifest.yaml>
kubectl apply -f <manifest.yaml> --dry-run=client
常见误区
- 误区:YAML 缩进不影响功能;正解:缩进错误会导致字段落到错误层级,校验可拦截部分问题。
- 误区:dry-run 能验证后端权限;正解:客户端 dry-run 不连接后端,服务端校验模式覆盖范围按命令参数确认。
追问
- Q:清单引用的 ConfigMap/Secret 不存在怎么办? A:先创建依赖对象,再部署工作负载。
- Q:如何对比现有配置与清单差异? A:
kubectl diff展示将要变更的字段。
08.2.2.5-011 Service 与端点排查命令序列是什么?
一句话结论
先 get Service 看 selector/端口,再查 EndpointSlice 后端列表,核对 Pod 标签与就绪状态,最后从集群内验证连通性。
概念解释
- selector:标签匹配。
- 端点:就绪后端。
- 连通:集群内访问验证。
原理流程
- get Service 查 selector 与端口映射。
- 查 EndpointSlice 地址列表。
- 核对 Pod 标签/就绪。
- 集群内 curl/解析验证。
代码 / 示例
kubectl get svc <svc> -n <namespace> -o wide
kubectl get endpointslices -n <namespace> -l <selector-label>
kubectl get pods -n <namespace> --show-labels
常见误区
- 误区:Service 配置正确就有流量;正解:无就绪后端时端点为空。
- 误区:端点列表由 Service 直接维护;正解:后端来自就绪且匹配 selector 的 Pod。
追问
- Q:如何确认 DNS 解析到后端? A:集群内查询服务名解析结果(见 08.2.2.3-012)。
- Q:端点有地址但访问不通查什么? A:网络策略、容器端口/监听、网络平面连通性。
08.2.2.5-012 集群内网络连通性如何验证?
一句话结论
从对应 Pod 内解析服务名、访问 Service 端口与后端 Pod IP,逐层定位是 DNS、Service 转发还是 Pod 网络问题。
概念解释
- 解析:DNS 是否返回地址。
- 转发:Service 是否可达后端。
- 直连:Pod IP 互通性。
原理流程
- 临时调试 Pod 或进入业务 Pod。
- 解析服务名。
- 访问 Service 与 Pod IP 对比结果。
代码 / 示例
kubectl exec -it <pod> -n <namespace> -- <探测命令>
# 对比:服务名 → ClusterIP → 后端 Pod IP 的连通结果
常见误区
- 误区:本机访问不通就是集群网络故障;正解:先在集群内 Pod 视角验证,排除本地网络与外部入口问题。
- 误区:端口通就代表应用可用;正解:还要验证应用响应与依赖状态。
追问
- Q:DNS 不通但 Pod IP 直连通说明什么? A:问题在 DNS 解析环节,查 DNS 组件与搜索域。
- Q:Service 不通但 Pod IP 直连通说明什么? A:查 selector/端点/kube-proxy 规则。
08.2.2.5-013 存储卷排查命令序列是什么?
一句话结论
从 Pod 挂载事件 → PVC 状态与事件 → PV 绑定与回收策略 → provisioner/后端状态逐层核对,确认卷是否供给、绑定、可挂载。
概念解释
- Pod 挂载:事件与 volume 段。
- PVC:Pending/Bound 事件。
- PV:阶段与后端引用。
原理流程
- describe Pod 看挂载报错。
- describe PVC 看绑定状态与事件。
- 查 PV 阶段与 StorageClass。
- 查 provisioner 日志/后端配额。
代码 / 示例
kubectl describe pvc <pvc> -n <namespace>
kubectl get pv
kubectl describe pv <pv>
常见误区
- 误区:卷问题只看 Pod 日志;正解:优先看 PVC/PV 事件判断供给阶段。
- 误区:PVC Bound 就一定挂载成功;正解:绑定后还要节点挂载与文件系统就绪。
追问
- Q:卷 Pending 与挂载失败区别? A:前者供给阶段未建卷,后者卷已存在但节点挂载异常。
- Q:如何看卷容量是否满足申请? A:PVC 申请与 PV 容量字段对比。
08.2.2.5-014 控制器与副本状态如何查看?
一句话结论
查看 Deployment/StatefulSet 的期望副本、就绪副本、更新进度与可用副本,再关联到具体 Pod,判断是副本未创建、未调度还是未就绪。
概念解释
- 期望:desired replicas。
- 就绪:ready replicas。
- 更新:滚动发布进度。
原理流程
- get 控制器看副本列。
- describe 看条件与事件。
- 关联 Pod 状态定位缺口。
代码 / 示例
kubectl get deploy <deploy> -n <namespace>
kubectl describe deploy <deploy> -n <namespace>
常见误区
- 误区:控制器副本数等于可用副本;正解:期望副本中未就绪部分不计入可用容量。
- 误区:控制器事件与 Pod 事件无关;正解:副本创建失败会反映在控制器事件中。
追问
- Q:发布卡住看哪个字段? A:更新进度条件与副本就绪差异,结合 Pod 事件。
- Q:StatefulSet 副本顺序如何看? A:按序号查看各 Pod 就绪与卷绑定状态。
08.2.2.5-015 多容器 Pod 日志与进程如何区分?
一句话结论
多容器 Pod 必须按容器名分别看日志与进程;先确认哪个容器异常(就绪/退出),再针对该容器查日志与状态。
概念解释
- 容器名:
-c指定。 - 异常定位:先看各容器状态。
- 边车:辅助容器独立排查。
原理流程
- get/describe 看各容器状态。
- 定位异常容器名。
- 分别 logs/exec 指定容器。
代码 / 示例
kubectl logs <pod> -n <namespace> -c <container>
kubectl exec <pod> -n <namespace> -c <container> -- <命令>
常见误区
- 误区:不指定容器默认看第一个;正解:多容器必须显式指定,避免看错日志。
- 误区:主容器异常就是业务问题;正解:边车(日志/代理)故障也会导致 Pod 不就绪。
追问
- Q:边车启动慢影响什么? A:Pod 整体就绪条件包含边车,未就绪则不接流量。
- Q:如何看哪个容器在重启? A:describe 中各容器 Restart Count 与 Last State 对比。
08.2.2.5-016 排障时如何留存信息并控制变更?
一句话结论
先只读采集状态、事件、日志与配置快照,记录时间点;根因明确后做最小变更,变更后复查状态与指标,避免边猜边改。
概念解释
- 快照:排障前留存现状。
- 最小变更:一次改一个变量。
- 复查:变更后验证恢复。
原理流程
- 采集 get/describe/logs 快照。
- 假设根因并核对证据。
- 最小变更后复查状态。
代码 / 图示
只读快照 → 根因假设 → 核对证据 → 最小变更 → 复查状态/指标
常见误区
- 误区:同时改多处配置加快恢复;正解:多变量变更无法定位有效动作。
- 误区:排障信息不用留存;正解:事件有时效,快照便于复盘与向上汇报。
追问
- Q:线上紧急故障先保什么? A:先恢复可用性(副本/流量切换),再保留现场做根因分析。
- Q:如何记录变更前后状态? A:对比变更前后 get/describe 与指标,留存关键输出。
08.2.2.5-017 资源类故障与配置类故障如何快速分流?
一句话结论
资源类看 top 用量、OOM/节流记录与节点压力;配置类看清单校验、引用对象、环境变量与配置挂载;两类证据指向不同修复方向。
概念解释
- 资源:用量、限额、压力。
- 配置:清单、引用、参数。
- 分流:证据归类。
原理流程
- 读状态/事件判断大类。
- 资源方向查 top 与 cgroup 记录。
- 配置方向查清单与引用对象。
代码 / 对照
| 类别 | 证据 | 方向 |
|---|---|---|
| 资源 | 用量高、OOMKilled、节流、节点压力 | 调限额/扩容/优化 |
| 配置 | 引用缺失、参数错误、挂载异常 | 修正清单/依赖 |
常见误区
- 误区:进程退出都是资源不足;正解:配置错误、依赖不可用同样导致退出。
- 误区:用量高就是资源不够;正解:可能是代码低效或泄漏,需结合单副本趋势判断。
追问
- Q:OOMKilled 属于哪一类? A:资源类,先核对 limit 与内存曲线,再排除泄漏。
- Q:配置错误导致启动失败看什么? A:启动日志报错与清单字段、依赖对象存在性。
08.2.2.5-018 常用排障命令速查有哪些?
一句话结论
常用只读命令覆盖概览、状态、事件、日志、进程、资源、服务与存储;按链路组合使用,命令名与参数以所装 kubectl 版本为准。
概念解释
- 概览:get。
- 详情:describe。
- 运行态:logs/exec/top。
- 对象:svc/endpoints/pvc。
原理流程
按 08.2.2.5-001 链路组合命令,逐层下钻定位。
代码 / 速查表
| 目的 | 命令 |
|---|---|
| Pod 概览 | kubectl get pods -n <ns> -o wide |
| Pod 详情/事件 | kubectl describe pod <pod> -n <ns> |
| 当前日志 | kubectl logs <pod> -n <ns> --tail=100 |
| 上次日志 | kubectl logs <pod> -n <ns> --previous |
| 进容器 | kubectl exec -it <pod> -n <ns> -- <shell> |
| 资源用量 | kubectl top pod/node |
| 服务/端点 | kubectl get svc/endpointslices |
| 卷状态 | kubectl describe pvc <pvc> -n <ns> |
| 节点详情 | kubectl describe node <node> |
常见误区
- 误区:所有集群命令参数一致;正解:版本差异导致子命令/字段名不同,以
kubectl help与官方文档为准。 - 误区:排障命令会修改集群状态;正解:上表均为只读命令,变更类操作需单独评估。
追问
- Q:如何查看某对象的 YAML 清单? A:
kubectl get <resource> <name> -o yaml核对实际生效配置。 - Q:跨命名空间排查怎么指定? A:命令带
-n <namespace>,或-A查看全部命名空间。