罗罗编程学习记录
本页内容 展开查看

08.2.2.5 排障命令链路与状态判读

所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.2 Kubernetes / 08.2.2 调度网络存储与排障

命令前提:当前 kubeconfig 已指向目标集群且有权限执行;命令按官方语义描述,本机未实际跑通,输出字段以实际集群为准。

08.2.2.5-001 排障的总链路是什么?

一句话结论

从概览定位对象 → describe 看状态与事件 → logs 看应用输出 → exec 进容器验证进程/配置 → top 看资源用量,按对象层级逐层下钻,不跳步。

概念解释

  • 概览:get 看状态与分布。
  • 事件:describe/events 看调度与探针记录。
  • 运行态:logs/exec/top 验证进程。

原理流程

  1. kubectl get 定位异常对象。
  2. kubectl describe 读状态与事件。
  3. kubectl logs 看应用报错。
  4. kubectl exec 进入容器验证。
  5. kubectl top 核对资源用量。

代码 / 图示

get(定位) → describe(状态/事件) → logs(应用输出) → exec(容器内验证) → top(资源)

常见误区

  • 误区:一上来就 exec 进容器翻文件;正解:先从事件与日志确定故障层级。
  • 误区:只看 Pod 不看控制器与节点;正解:故障可能在控制器、节点、网络或存储层。

追问

  • Q:排障先看 Pod 还是节点? A:先 get 定位是 Pod 异常还是节点 NotReady,再决定下钻方向。
  • Q:如何避免改动线上状态? A:先只读排查(get/describe/logs/exec 查看),确认根因后再变更。

08.2.2.5-002 kubectl get 能看到哪些关键信息?

一句话结论

get 概览展示对象状态、就绪副本、重启次数、节点归属与年龄;通过 -o wide 可看到节点与 Pod IP,是定位异常对象的第一层。

概念解释

  • 状态列:STATUS/READY。
  • 重启:RESTARTS。
  • 归属:节点、Pod IP(wide)。

原理流程

  1. 列出目标资源对象。
  2. 对比状态与期望副本。
  3. 选中异常对象进入 describe。

代码 / 示例

kubectl get pods -n <namespace> -o wide
kubectl get deploy -n <namespace>

常见误区

  • 误区:READY 列 0/1 一定是镜像问题;正解:可能是未就绪、探针失败或启动中。
  • 误区:RESTARTS 为 0 就没有历史故障;正解:重建后的 Pod 计数清零,需看控制器历史事件。

追问

  • Q:如何按状态筛选 Pod? A:用状态字段过滤(如 Pending、CrashLoopBackOff),具体过滤语法按 kubectl 版本。
  • Q:get 看不到历史事件怎么办? A:describe 读 Events 段,events 资源看近期事件流。

08.2.2.5-003 kubectl describe 重点看哪些段?

一句话结论

重点看 Status 段的等待/终止原因、Events 段的调度/探针/拉取记录、Volumes 段挂载情况;事件消息按时间顺序给出最近失败原因。

概念解释

  • Status:waiting/terminated 与 reason。
  • Events:时间线事件。
  • Volumes:卷挂载状态。

原理流程

  1. describe 目标 Pod。
  2. 读容器 State 与 Last State reason/退出码。
  3. 读 Events 最新失败事件。

代码 / 示例

kubectl describe pod <pod> -n <namespace>

常见误区

  • 误区:只看 Pod 顶部概览;正解:Events 段与 Last State 才是根因线索。
  • 误区:事件时间早就是当前故障;正解:以最新事件与当前状态为准,旧事件仅作历史参考。

追问

  • Q:Events 中镜像拉取失败关键字段? A:事件消息含镜像仓库/认证/不存在等原因(见 08.2.2.6-002)。
  • Q:describe 看不到卷细节? A:结合 describe PVC/PV 与节点挂载信息核对。

08.2.2.5-004 kubectl logs 如何看当前与上一次容器日志?

一句话结论

kubectl logs 读当前容器标准输出;--previous 读上次崩溃容器日志;多容器用 -c 指定容器,--tail/--follow 控制范围与跟踪。

概念解释

  • 当前:正在运行容器。
  • previous:退出前容器。
  • 多容器:按容器名区分。

原理流程

  1. 先看当前容器日志。
  2. 崩溃重启过则加 --previous。
  3. 多容器逐一看 -c 指定日志。

代码 / 示例

kubectl logs <pod> -n <namespace> --tail=100
kubectl logs <pod> -n <namespace> --previous --tail=100
kubectl logs <pod> -n <namespace> -c <container>

常见误区

  • 误区:崩溃原因都在当前日志里;正解:上次退出的报错需 --previous。
  • 误区:业务报错一定打到 stdout;正解:应用写本地文件时需 exec 查看,日志采集配置另查。

追问

  • Q:日志在重启后丢失吗? A:容器日志随容器生命周期,已退出容器历史日志靠 previous 或日志采集系统。
  • Q:如何实时跟踪日志? A:--follow 持续追加输出,结束后断开。

08.2.2.5-005 kubectl exec 进入容器后验证什么?

一句话结论

exec 用于在容器内验证进程是否存活、端口是否监听、配置文件与环境变量、到依赖的连通性;不应用它在容器内改线上状态。

概念解释

  • 进程:ps 类命令确认主进程。
  • 端口:监听状态。
  • 配置:挂载的配置与环境变量。

原理流程

  1. 进入容器 shell。
  2. 检查进程、端口、配置。
  3. 从容器内访问依赖验证连通性。

代码 / 示例

kubectl exec -it <pod> -n <namespace> -- <shell>
# 容器内:查看进程、端口监听、配置文件与环境变量

常见误区

  • 误区:distroless 镜像也有 shell;正解:极简镜像可能无 shell/工具,exec 受限,需换调试方式。
  • 误区:exec 看到的配置就是生效配置;正解:需确认应用实际读取的文件路径与启动参数。

追问

  • Q:容器内没有 ps/curl 怎么办? A:借助临时调试镜像或宿主机/节点视角排查,不要往生产镜像塞调试工具。
  • Q:exec 能看到节点网络吗? A:容器内看到的是 Pod 网络命名空间,节点视角需在节点上检查。

08.2.2.5-006 事件流如何查看?

一句话结论

kubectl events(或 describe Events 段)按时间列出调度、探针、拉取、驱逐等事件;跨对象排查时先看命名空间级事件流再聚焦单个对象。

概念解释

  • 事件:状态变化记录。
  • 级别:Normal/Warning。
  • 时效:事件保留期有限。

原理流程

  1. 查看命名空间事件流。
  2. 按 Warning 过滤异常。
  3. 关联到具体 Pod/节点。

代码 / 示例

kubectl events -n <namespace> --for pod/<pod>
# 未提供 events 子命令的版本:kubectl describe 与 get events
kubectl get events -n <namespace> --sort-by=.lastTimestamp

常见误区

  • 误区:事件永久保留;正解:事件有保留期限,长期故障需结合日志与监控留存。
  • 误区:事件 Warning 都是错误;正解:需结合消息内容判断是可恢复抖动还是持续故障。

追问

  • Q:事件重复计数说明什么? A:同一问题反复发生,需看最后一次消息与频率。
  • Q:如何按对象查事件? A:--for 指定对象类型与名称(命令形式以版本为准)。

08.2.2.5-007 kubectl top 如何看资源用量?

一句话结论

top 汇总节点/Pod 的 CPU 与内存实际用量,用于区分资源不足、节流/OOM 与配置问题;依赖资源指标管线可用。

概念解释

  • 用量:实际 CPU/内存。
  • 对比:与 requests/limits 对照。
  • 前提:metrics 管线在线。

原理流程

  1. 查 Pod/节点 top 用量。
  2. 对比 requests/limits。
  3. 判断是否逼近限额或超卖。

代码 / 示例

kubectl top pod -n <namespace>
kubectl top node

常见误区

  • 误区:top 用量就是 limits;正解:top 是实际用量,限额看清单与 cgroup。
  • 误区:top 数据不可用时等于资源空闲;正解:可能是指标管线故障,需另查。

追问

  • Q:CPU 用量长期贴近 limit 说明什么? A:存在节流风险,需评估扩容或调参(见 08.2.1.6-002)。
  • Q:top 取不到数据先查什么? A:metrics 组件状态与节点指标采集。

08.2.2.5-008 Pod 状态枚举如何判读?

一句话结论

Pending 未调度或资源未就绪,Running 已落地运行,Succeeded 正常退出,Failed 容器失败;等待/终止原因(Reason)进一步区分拉取、探针、OOM 等。

概念解释

  • 阶段:status.phase。
  • 原因:waiting/terminated reason。
  • 判读:阶段 + reason + 事件。

原理流程

  1. 读 Pod phase。
  2. 读容器 waiting/terminated reason 与退出码。
  3. 结合事件定位具体故障。

代码 / 对照

状态 含义 下一步
Pending 未调度/资源未就绪 看调度事件与卷/配额
Running 已落地运行 看探针/日志/资源
Succeeded 正常退出 确认是否预期
Failed 容器失败 看退出原因与 previous 日志

常见误区

  • 误区:Running 就代表可接流量;正解:还要 readiness 探针通过才计入后端。
  • 误区:phase 已足够定位根因;正解:reason 与事件才区分具体失败类型。

追问

  • Q:Pending 与 CrashLoopBackOff 区别? A:前者未落地调度,后者容器启动后反复退出。
  • Q:退出码如何辅助判断? A:配合 reason 区分 OOM、信号终止、应用错误退出。

08.2.2.5-009 节点 NotReady 如何排查?

一句话结论

先看节点 Conditions 与事件,区分 kubelet、容器运行时、网络插件、磁盘/内存压力还是网络不通;再上节点查组件状态。

概念解释

  • Conditions:Ready、DiskPressure、MemoryPressure、NetworkUnavailable 等。
  • 事件:节点级告警。
  • 组件:kubelet、运行时、CNI。

原理流程

  1. kubectl get nodes 看状态。
  2. describe 节点读 Conditions 与事件。
  3. 按异常 Condition 方向查组件与资源。

代码 / 示例

kubectl describe node <node>

常见误区

  • 误区:NotReady 一定是节点宕机;正解:可能是 kubelet 失联、磁盘压力或 CNI 异常。
  • 误区:节点 NotReady 上的 Pod 立即全部重建;正解:驱逐/重调度受条件与策略影响,存在时间窗。

追问

  • Q:DiskPressure 由什么引起? A:节点磁盘空间/inode 耗尽,需清理或扩容。
  • Q:节点网络不可用看哪个 Condition? A:NetworkUnavailable 类条件,结合 CNI 组件状态判断。

08.2.2.5-010 如何校验清单配置本身是否正确?

一句话结论

用 dry-run 与清单校验检查语法、字段合法性与资源引用,避免把配置错误部署到集群;先本地校验再应用。

概念解释

  • dry-run:不真正创建资源。
  • 校验:schema 与引用合法性。
  • 顺序:先校验后 apply。

原理流程

  1. 对清单做 dry-run 校验。
  2. 检查字段错误与引用对象。
  3. 确认无误后再应用。

代码 / 示例

kubectl diff -f <manifest.yaml>
kubectl apply -f <manifest.yaml> --dry-run=client

常见误区

  • 误区:YAML 缩进不影响功能;正解:缩进错误会导致字段落到错误层级,校验可拦截部分问题。
  • 误区:dry-run 能验证后端权限;正解:客户端 dry-run 不连接后端,服务端校验模式覆盖范围按命令参数确认。

追问

  • Q:清单引用的 ConfigMap/Secret 不存在怎么办? A:先创建依赖对象,再部署工作负载。
  • Q:如何对比现有配置与清单差异? A:kubectl diff 展示将要变更的字段。

08.2.2.5-011 Service 与端点排查命令序列是什么?

一句话结论

先 get Service 看 selector/端口,再查 EndpointSlice 后端列表,核对 Pod 标签与就绪状态,最后从集群内验证连通性。

概念解释

  • selector:标签匹配。
  • 端点:就绪后端。
  • 连通:集群内访问验证。

原理流程

  1. get Service 查 selector 与端口映射。
  2. 查 EndpointSlice 地址列表。
  3. 核对 Pod 标签/就绪。
  4. 集群内 curl/解析验证。

代码 / 示例

kubectl get svc <svc> -n <namespace> -o wide
kubectl get endpointslices -n <namespace> -l <selector-label>
kubectl get pods -n <namespace> --show-labels

常见误区

  • 误区:Service 配置正确就有流量;正解:无就绪后端时端点为空。
  • 误区:端点列表由 Service 直接维护;正解:后端来自就绪且匹配 selector 的 Pod。

追问

  • Q:如何确认 DNS 解析到后端? A:集群内查询服务名解析结果(见 08.2.2.3-012)。
  • Q:端点有地址但访问不通查什么? A:网络策略、容器端口/监听、网络平面连通性。

08.2.2.5-012 集群内网络连通性如何验证?

一句话结论

从对应 Pod 内解析服务名、访问 Service 端口与后端 Pod IP,逐层定位是 DNS、Service 转发还是 Pod 网络问题。

概念解释

  • 解析:DNS 是否返回地址。
  • 转发:Service 是否可达后端。
  • 直连:Pod IP 互通性。

原理流程

  1. 临时调试 Pod 或进入业务 Pod。
  2. 解析服务名。
  3. 访问 Service 与 Pod IP 对比结果。

代码 / 示例

kubectl exec -it <pod> -n <namespace> -- <探测命令>
# 对比:服务名 → ClusterIP → 后端 Pod IP 的连通结果

常见误区

  • 误区:本机访问不通就是集群网络故障;正解:先在集群内 Pod 视角验证,排除本地网络与外部入口问题。
  • 误区:端口通就代表应用可用;正解:还要验证应用响应与依赖状态。

追问

  • Q:DNS 不通但 Pod IP 直连通说明什么? A:问题在 DNS 解析环节,查 DNS 组件与搜索域。
  • Q:Service 不通但 Pod IP 直连通说明什么? A:查 selector/端点/kube-proxy 规则。

08.2.2.5-013 存储卷排查命令序列是什么?

一句话结论

从 Pod 挂载事件 → PVC 状态与事件 → PV 绑定与回收策略 → provisioner/后端状态逐层核对,确认卷是否供给、绑定、可挂载。

概念解释

  • Pod 挂载:事件与 volume 段。
  • PVC:Pending/Bound 事件。
  • PV:阶段与后端引用。

原理流程

  1. describe Pod 看挂载报错。
  2. describe PVC 看绑定状态与事件。
  3. 查 PV 阶段与 StorageClass。
  4. 查 provisioner 日志/后端配额。

代码 / 示例

kubectl describe pvc <pvc> -n <namespace>
kubectl get pv
kubectl describe pv <pv>

常见误区

  • 误区:卷问题只看 Pod 日志;正解:优先看 PVC/PV 事件判断供给阶段。
  • 误区:PVC Bound 就一定挂载成功;正解:绑定后还要节点挂载与文件系统就绪。

追问

  • Q:卷 Pending 与挂载失败区别? A:前者供给阶段未建卷,后者卷已存在但节点挂载异常。
  • Q:如何看卷容量是否满足申请? A:PVC 申请与 PV 容量字段对比。

08.2.2.5-014 控制器与副本状态如何查看?

一句话结论

查看 Deployment/StatefulSet 的期望副本、就绪副本、更新进度与可用副本,再关联到具体 Pod,判断是副本未创建、未调度还是未就绪。

概念解释

  • 期望:desired replicas。
  • 就绪:ready replicas。
  • 更新:滚动发布进度。

原理流程

  1. get 控制器看副本列。
  2. describe 看条件与事件。
  3. 关联 Pod 状态定位缺口。

代码 / 示例

kubectl get deploy <deploy> -n <namespace>
kubectl describe deploy <deploy> -n <namespace>

常见误区

  • 误区:控制器副本数等于可用副本;正解:期望副本中未就绪部分不计入可用容量。
  • 误区:控制器事件与 Pod 事件无关;正解:副本创建失败会反映在控制器事件中。

追问

  • Q:发布卡住看哪个字段? A:更新进度条件与副本就绪差异,结合 Pod 事件。
  • Q:StatefulSet 副本顺序如何看? A:按序号查看各 Pod 就绪与卷绑定状态。

08.2.2.5-015 多容器 Pod 日志与进程如何区分?

一句话结论

多容器 Pod 必须按容器名分别看日志与进程;先确认哪个容器异常(就绪/退出),再针对该容器查日志与状态。

概念解释

  • 容器名:-c 指定。
  • 异常定位:先看各容器状态。
  • 边车:辅助容器独立排查。

原理流程

  1. get/describe 看各容器状态。
  2. 定位异常容器名。
  3. 分别 logs/exec 指定容器。

代码 / 示例

kubectl logs <pod> -n <namespace> -c <container>
kubectl exec <pod> -n <namespace> -c <container> -- <命令>

常见误区

  • 误区:不指定容器默认看第一个;正解:多容器必须显式指定,避免看错日志。
  • 误区:主容器异常就是业务问题;正解:边车(日志/代理)故障也会导致 Pod 不就绪。

追问

  • Q:边车启动慢影响什么? A:Pod 整体就绪条件包含边车,未就绪则不接流量。
  • Q:如何看哪个容器在重启? A:describe 中各容器 Restart Count 与 Last State 对比。

08.2.2.5-016 排障时如何留存信息并控制变更?

一句话结论

先只读采集状态、事件、日志与配置快照,记录时间点;根因明确后做最小变更,变更后复查状态与指标,避免边猜边改。

概念解释

  • 快照:排障前留存现状。
  • 最小变更:一次改一个变量。
  • 复查:变更后验证恢复。

原理流程

  1. 采集 get/describe/logs 快照。
  2. 假设根因并核对证据。
  3. 最小变更后复查状态。

代码 / 图示

只读快照 → 根因假设 → 核对证据 → 最小变更 → 复查状态/指标

常见误区

  • 误区:同时改多处配置加快恢复;正解:多变量变更无法定位有效动作。
  • 误区:排障信息不用留存;正解:事件有时效,快照便于复盘与向上汇报。

追问

  • Q:线上紧急故障先保什么? A:先恢复可用性(副本/流量切换),再保留现场做根因分析。
  • Q:如何记录变更前后状态? A:对比变更前后 get/describe 与指标,留存关键输出。

08.2.2.5-017 资源类故障与配置类故障如何快速分流?

一句话结论

资源类看 top 用量、OOM/节流记录与节点压力;配置类看清单校验、引用对象、环境变量与配置挂载;两类证据指向不同修复方向。

概念解释

  • 资源:用量、限额、压力。
  • 配置:清单、引用、参数。
  • 分流:证据归类。

原理流程

  1. 读状态/事件判断大类。
  2. 资源方向查 top 与 cgroup 记录。
  3. 配置方向查清单与引用对象。

代码 / 对照

类别 证据 方向
资源 用量高、OOMKilled、节流、节点压力 调限额/扩容/优化
配置 引用缺失、参数错误、挂载异常 修正清单/依赖

常见误区

  • 误区:进程退出都是资源不足;正解:配置错误、依赖不可用同样导致退出。
  • 误区:用量高就是资源不够;正解:可能是代码低效或泄漏,需结合单副本趋势判断。

追问

  • Q:OOMKilled 属于哪一类? A:资源类,先核对 limit 与内存曲线,再排除泄漏。
  • Q:配置错误导致启动失败看什么? A:启动日志报错与清单字段、依赖对象存在性。

08.2.2.5-018 常用排障命令速查有哪些?

一句话结论

常用只读命令覆盖概览、状态、事件、日志、进程、资源、服务与存储;按链路组合使用,命令名与参数以所装 kubectl 版本为准。

概念解释

  • 概览:get。
  • 详情:describe。
  • 运行态:logs/exec/top。
  • 对象:svc/endpoints/pvc。

原理流程

按 08.2.2.5-001 链路组合命令,逐层下钻定位。

代码 / 速查表

目的 命令
Pod 概览 kubectl get pods -n <ns> -o wide
Pod 详情/事件 kubectl describe pod <pod> -n <ns>
当前日志 kubectl logs <pod> -n <ns> --tail=100
上次日志 kubectl logs <pod> -n <ns> --previous
进容器 kubectl exec -it <pod> -n <ns> -- <shell>
资源用量 kubectl top pod/node
服务/端点 kubectl get svc/endpointslices
卷状态 kubectl describe pvc <pvc> -n <ns>
节点详情 kubectl describe node <node>

常见误区

  • 误区:所有集群命令参数一致;正解:版本差异导致子命令/字段名不同,以 kubectl help 与官方文档为准。
  • 误区:排障命令会修改集群状态;正解:上表均为只读命令,变更类操作需单独评估。

追问

  • Q:如何查看某对象的 YAML 清单? A:kubectl get <resource> <name> -o yaml 核对实际生效配置。
  • Q:跨命名空间排查怎么指定? A:命令带 -n <namespace>,或 -A 查看全部命名空间。