罗罗编程学习记录 全栈面试题库
本页导航 展开查看

13.2 阶段 1 Shell 与脚本工程

所属:全栈开发面试题库 / 学习路径 / 13 DevOps 与 SRE

本页目录

一、阶段定位

本阶段把「手动敲命令」升级成「可重复执行的脚本」:变量、条件、循环、管道、退出码、错误处理。很多人能在终端里敲一串命令,但写成脚本后 set -e 没加、路径写死、出错继续跑,最后脚本在 CI 里跑出脏数据。Shell 不是胶水玩具,是 DevOps 自动化的第一块砖——CI 流水线、备份脚本、一键发布都靠它。

不掌握本阶段会在后面具体卡在哪:

  • 脚本里某条命令失败了但脚本继续跑,最后部署上去一个坏版本。
  • 路径写死成 /home/xxx,换台机器就崩。
  • 不会处理命令输出($()、管道、退出码),想批量处理日志只能手动复制。
  • 脚本在本地能跑、在 CI 里失败,因为没区分交互环境与非交互环境。

判断卡住的标志:给你一个需求「每天打包日志、保留 7 天、失败发通知」,你写不出一个带 set -euo pipefail、用相对脚本路径定位自己、能在 cron 里跑的脚本。出现任一现象,先把本阶段六个模块过一遍再进 阶段 2 容器与镜像。

二、阶段目标与投入

能力目标(可验证的行为) 验证方式
能写带 set -euo pipefail 的脚本 命令失败脚本立即退出
能处理参数、变量、默认值 ./deploy.sh env=prod tag=v1 能解析
能用管道与 grep/awk/sed/xargs 处理文本 从日志提取错误行并统计
能正确处理退出码与错误 失败非零退出、有提示
能用脚本自定位目录 在任意目录执行都能找到同目录文件
能配 cron 定时任务 每天自动跑一次

建议学时:

  • 全职:1.5 周,约 30 小时。语法与变量 6 小时、管道与文本处理 8 小时、错误处理 6 小时、cron 与 CI 实战 6 小时、练习 4 小时。
  • 在职:3 周,约 35 小时。

三、先修自检

先修项 合格标准 不合格时怎么办
阶段 0 产出 能用基本命令、ssh 回到 13.1

四、知识地图

模块 知识点 掌握程度 对应题库章节
Shell 基础 变量、引号、$()、参数 $1/$@、退出码 会用 01.1 操作系统
错误处理 set -euo pipefail、trap、日志 能讲清原理 纯文本章节:脚本工程
文本处理 grep/awk/sed/xargs/管道 会用 纯文本章节:文本处理
自定位 $(dirname "$0")、相对路径 会用 纯文本章节:脚本工程
定时任务 cron、日志、环境 会用 纯文本章节:cron

五、分模块精讲

5.1 脚本骨架与错误处理

为什么需要它:裸跑一串命令没有错误处理,失败了也看不出来。set -euo pipefail 是生产脚本的标配。

核心机制:

  • set -e:命令非零退出立即终止脚本。
  • set -u:引用未定义变量报错(避免拼错变量名静默变成空)。
  • set -o pipefail:管道中任意命令失败,整条管道失败(否则只看最后一个命令)。
  • trap 在退出时清理临时文件。

最小可运行示例:

#!/usr/bin/env bash
set -euo pipefail

# 自定位到脚本所在目录
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
LOG_FILE="/tmp/deploy.log"

log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }

cleanup() { log "cleanup done"; }
trap cleanup EXIT

ENV="${1:-staging}"
log "deploying to ${ENV}"

if [[ "${ENV}" != "prod" && "${ENV}" != "staging" ]]; then
  log "unknown env: ${ENV}"
  exit 2
fi

log "deploy finished"

常见坑:

现象 原因 修法
失败继续跑 没 set -e 加 set -euo pipefail
变量空了没报错 没 set -u 加 set -u
管道里前面失败后面继续 没 pipefail 加 set -o pipefail

5.2 变量、引号与参数

为什么需要它:Shell 最容易踩的坑是空格、通配符、变量展开;不加引号等于把变量交给 shell 重新分词。

核心机制:

  • 变量赋值等号两边不能有空格:NAME=foo。
  • 取值永远加双引号:"$NAME";$1、$@ 都加引号。
  • 默认值:${ENV:-staging}(未设用默认)、${ENV:?must set}(未设报错)。
  • 命令结果:FILES=$(ls)。

最小可运行示例:

TAG="${1:?usage: deploy.sh <tag>}"
REPO="${REPO:-registry.example.com/app}"
echo "deploy ${REPO}:${TAG}"
# 遍历参数
for f in "$@"; do echo "processing $f"; done

常见坑:

现象 原因 修法
文件名带空格被拆开 没加引号 变量全部加双引号
通配符被展开 在变量里 * 被当 glob 加引号

5.3 文本处理:grep/awk/sed/xargs

为什么需要它:日志、配置、命令输出都要靠这些工具抽字段,不会写等于每个事都手动。

核心机制:

  • grep:过滤行,-v 反向、-c 计数、-E 正则。
  • awk:按列处理,awk '{print $1}',可加条件。
  • sed:流编辑替换,sed 's/old/new/g'。
  • xargs:把前一个命令输出当参数,find ... | xargs rm。

最小可运行示例:

# 统计日志中 ERROR 出现次数
grep -c "ERROR" /var/log/myapp.log

# 打印访问日志的状态码列并统计
awk '{print $9}' access.log | sort | uniq -c | sort -rn

# 把所有 .log 打包
find /var/log/myapp -name "*.log" -mtime +7 -print0 | xargs -0 tar czf old.tgz

# 批量替换配置
sed -i 's/localhost:8080/api.example.com/g' config.yaml

常见坑:

现象 原因 修法
文件名带空格 xargs 报错 默认按空格分 用 -print0 / xargs -0
sed -i 报错 BSD sed(macOS)要 -i '' 按平台区分,CI 用 Linux

5.4 退出码与错误

为什么需要它:CI 根据退出码判断成败,0 成功非零失败;错误要有意义的退出码。

核心机制:

  • $? 是上一条命令退出码;0 成功,1 通用错误,2 用法错误。
  • 自定义错误码:参数错 2、依赖缺失 3、部署失败 4。
  • 不要吞错误:cmd || true 会让失败不可见,只在明确可容忍时用。

最小可运行示例:

check_docker() {
  command -v docker >/dev/null 2>&1 || { echo "docker not installed" >&2; exit 3; }
}

5.5 cron 与定时任务

为什么需要它:备份、日志清理、健康检查要定时跑。

核心机制:

  • crontab -e 编辑当前用户任务;格式 分 时 日 月 周 命令。
  • cron 环境极简:PATH 与交互 shell 不同,脚本里用绝对路径或先 source。
  • 输出要重定向到日志,否则被邮件吞掉。

最小可运行示例:

# 每天凌晨 3 点清理 7 天前日志
0 3 * * * /opt/scripts/cleanup-logs.sh >> /var/log/cleanup.log 2>&1
# cleanup-logs.sh
#!/usr/bin/env bash
set -euo pipefail
find /var/log/myapp -name "*.log" -mtime +7 -delete

常见坑:

现象 原因 修法
cron 里跑不起来 PATH 不对 脚本里用绝对路径
没输出 输出被吞 重定向到日志

5.6 函数与可复用脚本

为什么需要它:多个脚本共用的逻辑(日志、参数校验)抽函数,避免复制粘贴。

核心机制:函数定义在脚本顶部,调用直接写函数名;复杂逻辑拆成独立命令脚本放 /usr/local/bin 或项目 scripts/。

最小可运行示例:

die() { echo "ERROR: $*" >&2; exit 1; }
require_cmd() { command -v "$1" >/dev/null 2>&1 || die "missing command: $1"; }

六、分层练习

6.1 复现型

练习 要求 验收标准 预计耗时
写一个部署脚本 set -euo pipefail、参数 env、自定位 任意目录可执行 2 小时
统计日志 从 access.log 统计状态码分布 输出 top 状态码 1.5 小时
配 cron 每天清 7 天前日志 到点自动跑 1 小时

6.2 改造型

练习 要求 验收标准 预计耗时
修一个失败继续跑的脚本 加 set 与错误退出 失败非零退出 1 小时
批量替换配置 sed 批量改 10 个文件 替换正确 1 小时

6.3 设计型

练习 要求 验收标准 预计耗时
写一个健康检查脚本 检查接口、失败发通知 退出码正确 2 小时

七、排障表

现象 可能原因 排查步骤 解决办法
脚本失败继续跑 没 set -e 看脚本头 加 set -euo pipefail
变量展开错 没加引号 看是否空格拆开 全部加双引号
管道失败没发现 没 pipefail 看 $? 加 pipefail
cron 不跑 环境/路径 手动跑一遍 绝对路径、重定向日志
xargs 报错 空格文件名 find -print0 用 -0
sed -i 报错 平台差异 看错误 Linux 直接 -i

八、出口条件

全部勾选后进入 阶段 2 容器与镜像。

  • [ ] 能写带 set -euo pipefail、自定位目录的脚本
  • [ ] 能解析参数并给默认值、校验
  • [ ] 能用 grep/awk/sed/xargs 处理日志与配置
  • [ ] 能用退出码表达成败,错误不被吞
  • [ ] 能配 cron 并处理其极简环境

自测题:

  1. set -euo pipefail 各解决什么问题?
    • 要点:失败退出、未定义变量报错、管道任一失败。
  2. 为什么变量展开要加双引号?
    • 要点:防止空格分词与 glob 展开。
  3. $@ 与 $* 区别?
    • 要点:\(@ 保留参数边界为多个,\)* 合成一个字符串。
  4. cron 环境为什么容易踩坑?
    • 要点:PATH 极简,要用绝对路径。
  5. 怎么处理带空格文件名?
    • 要点:find -print0 配合 xargs -0。