13.2 阶段 1 Shell 与脚本工程
所属:全栈开发面试题库 / 学习路径 / 13 DevOps 与 SRE
本页目录
一、阶段定位
本阶段把「手动敲命令」升级成「可重复执行的脚本」:变量、条件、循环、管道、退出码、错误处理。很多人能在终端里敲一串命令,但写成脚本后 set -e 没加、路径写死、出错继续跑,最后脚本在 CI 里跑出脏数据。Shell 不是胶水玩具,是 DevOps 自动化的第一块砖——CI 流水线、备份脚本、一键发布都靠它。
不掌握本阶段会在后面具体卡在哪:
- 脚本里某条命令失败了但脚本继续跑,最后部署上去一个坏版本。
- 路径写死成
/home/xxx,换台机器就崩。 - 不会处理命令输出(
$()、管道、退出码),想批量处理日志只能手动复制。 - 脚本在本地能跑、在 CI 里失败,因为没区分交互环境与非交互环境。
判断卡住的标志:给你一个需求「每天打包日志、保留 7 天、失败发通知」,你写不出一个带 set -euo pipefail、用相对脚本路径定位自己、能在 cron 里跑的脚本。出现任一现象,先把本阶段六个模块过一遍再进 阶段 2 容器与镜像。
二、阶段目标与投入
| 能力目标(可验证的行为) | 验证方式 |
|---|---|
能写带 set -euo pipefail 的脚本 |
命令失败脚本立即退出 |
| 能处理参数、变量、默认值 | ./deploy.sh env=prod tag=v1 能解析 |
能用管道与 grep/awk/sed/xargs 处理文本 |
从日志提取错误行并统计 |
| 能正确处理退出码与错误 | 失败非零退出、有提示 |
| 能用脚本自定位目录 | 在任意目录执行都能找到同目录文件 |
| 能配 cron 定时任务 | 每天自动跑一次 |
建议学时:
- 全职:1.5 周,约 30 小时。语法与变量 6 小时、管道与文本处理 8 小时、错误处理 6 小时、cron 与 CI 实战 6 小时、练习 4 小时。
- 在职:3 周,约 35 小时。
三、先修自检
| 先修项 | 合格标准 | 不合格时怎么办 |
|---|---|---|
| 阶段 0 产出 | 能用基本命令、ssh | 回到 13.1 |
四、知识地图
| 模块 | 知识点 | 掌握程度 | 对应题库章节 |
|---|---|---|---|
| Shell 基础 | 变量、引号、$()、参数 $1/$@、退出码 |
会用 | 01.1 操作系统 |
| 错误处理 | set -euo pipefail、trap、日志 |
能讲清原理 | 纯文本章节:脚本工程 |
| 文本处理 | grep/awk/sed/xargs/管道 | 会用 | 纯文本章节:文本处理 |
| 自定位 | $(dirname "$0")、相对路径 |
会用 | 纯文本章节:脚本工程 |
| 定时任务 | cron、日志、环境 | 会用 | 纯文本章节:cron |
五、分模块精讲
5.1 脚本骨架与错误处理
为什么需要它:裸跑一串命令没有错误处理,失败了也看不出来。set -euo pipefail 是生产脚本的标配。
核心机制:
set -e:命令非零退出立即终止脚本。set -u:引用未定义变量报错(避免拼错变量名静默变成空)。set -o pipefail:管道中任意命令失败,整条管道失败(否则只看最后一个命令)。trap在退出时清理临时文件。
最小可运行示例:
#!/usr/bin/env bash
set -euo pipefail
# 自定位到脚本所在目录
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
LOG_FILE="/tmp/deploy.log"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
cleanup() { log "cleanup done"; }
trap cleanup EXIT
ENV="${1:-staging}"
log "deploying to ${ENV}"
if [[ "${ENV}" != "prod" && "${ENV}" != "staging" ]]; then
log "unknown env: ${ENV}"
exit 2
fi
log "deploy finished"
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 失败继续跑 | 没 set -e | 加 set -euo pipefail |
| 变量空了没报错 | 没 set -u | 加 set -u |
| 管道里前面失败后面继续 | 没 pipefail | 加 set -o pipefail |
5.2 变量、引号与参数
为什么需要它:Shell 最容易踩的坑是空格、通配符、变量展开;不加引号等于把变量交给 shell 重新分词。
核心机制:
- 变量赋值等号两边不能有空格:
NAME=foo。 - 取值永远加双引号:
"$NAME";$1、$@都加引号。 - 默认值:
${ENV:-staging}(未设用默认)、${ENV:?must set}(未设报错)。 - 命令结果:
FILES=$(ls)。
最小可运行示例:
TAG="${1:?usage: deploy.sh <tag>}"
REPO="${REPO:-registry.example.com/app}"
echo "deploy ${REPO}:${TAG}"
# 遍历参数
for f in "$@"; do echo "processing $f"; done
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 文件名带空格被拆开 | 没加引号 | 变量全部加双引号 |
| 通配符被展开 | 在变量里 * 被当 glob | 加引号 |
5.3 文本处理:grep/awk/sed/xargs
为什么需要它:日志、配置、命令输出都要靠这些工具抽字段,不会写等于每个事都手动。
核心机制:
grep:过滤行,-v反向、-c计数、-E正则。awk:按列处理,awk '{print $1}',可加条件。sed:流编辑替换,sed 's/old/new/g'。xargs:把前一个命令输出当参数,find ... | xargs rm。
最小可运行示例:
# 统计日志中 ERROR 出现次数
grep -c "ERROR" /var/log/myapp.log
# 打印访问日志的状态码列并统计
awk '{print $9}' access.log | sort | uniq -c | sort -rn
# 把所有 .log 打包
find /var/log/myapp -name "*.log" -mtime +7 -print0 | xargs -0 tar czf old.tgz
# 批量替换配置
sed -i 's/localhost:8080/api.example.com/g' config.yaml
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 文件名带空格 xargs 报错 | 默认按空格分 | 用 -print0 / xargs -0 |
| sed -i 报错 | BSD sed(macOS)要 -i '' | 按平台区分,CI 用 Linux |
5.4 退出码与错误
为什么需要它:CI 根据退出码判断成败,0 成功非零失败;错误要有意义的退出码。
核心机制:
$?是上一条命令退出码;0 成功,1 通用错误,2 用法错误。- 自定义错误码:参数错 2、依赖缺失 3、部署失败 4。
- 不要吞错误:
cmd || true会让失败不可见,只在明确可容忍时用。
最小可运行示例:
check_docker() {
command -v docker >/dev/null 2>&1 || { echo "docker not installed" >&2; exit 3; }
}
5.5 cron 与定时任务
为什么需要它:备份、日志清理、健康检查要定时跑。
核心机制:
crontab -e编辑当前用户任务;格式分 时 日 月 周 命令。- cron 环境极简:PATH 与交互 shell 不同,脚本里用绝对路径或先 source。
- 输出要重定向到日志,否则被邮件吞掉。
最小可运行示例:
# 每天凌晨 3 点清理 7 天前日志
0 3 * * * /opt/scripts/cleanup-logs.sh >> /var/log/cleanup.log 2>&1
# cleanup-logs.sh
#!/usr/bin/env bash
set -euo pipefail
find /var/log/myapp -name "*.log" -mtime +7 -delete
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| cron 里跑不起来 | PATH 不对 | 脚本里用绝对路径 |
| 没输出 | 输出被吞 | 重定向到日志 |
5.6 函数与可复用脚本
为什么需要它:多个脚本共用的逻辑(日志、参数校验)抽函数,避免复制粘贴。
核心机制:函数定义在脚本顶部,调用直接写函数名;复杂逻辑拆成独立命令脚本放 /usr/local/bin 或项目 scripts/。
最小可运行示例:
die() { echo "ERROR: $*" >&2; exit 1; }
require_cmd() { command -v "$1" >/dev/null 2>&1 || die "missing command: $1"; }
六、分层练习
6.1 复现型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 写一个部署脚本 | set -euo pipefail、参数 env、自定位 | 任意目录可执行 | 2 小时 |
| 统计日志 | 从 access.log 统计状态码分布 | 输出 top 状态码 | 1.5 小时 |
| 配 cron | 每天清 7 天前日志 | 到点自动跑 | 1 小时 |
6.2 改造型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 修一个失败继续跑的脚本 | 加 set 与错误退出 | 失败非零退出 | 1 小时 |
| 批量替换配置 | sed 批量改 10 个文件 | 替换正确 | 1 小时 |
6.3 设计型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 写一个健康检查脚本 | 检查接口、失败发通知 | 退出码正确 | 2 小时 |
七、排障表
| 现象 | 可能原因 | 排查步骤 | 解决办法 |
|---|---|---|---|
| 脚本失败继续跑 | 没 set -e | 看脚本头 | 加 set -euo pipefail |
| 变量展开错 | 没加引号 | 看是否空格拆开 | 全部加双引号 |
| 管道失败没发现 | 没 pipefail | 看 $? | 加 pipefail |
| cron 不跑 | 环境/路径 | 手动跑一遍 | 绝对路径、重定向日志 |
| xargs 报错 | 空格文件名 | find -print0 | 用 -0 |
| sed -i 报错 | 平台差异 | 看错误 | Linux 直接 -i |
八、出口条件
全部勾选后进入 阶段 2 容器与镜像。
- [ ] 能写带
set -euo pipefail、自定位目录的脚本 - [ ] 能解析参数并给默认值、校验
- [ ] 能用 grep/awk/sed/xargs 处理日志与配置
- [ ] 能用退出码表达成败,错误不被吞
- [ ] 能配 cron 并处理其极简环境
自测题:
set -euo pipefail各解决什么问题?- 要点:失败退出、未定义变量报错、管道任一失败。
- 为什么变量展开要加双引号?
- 要点:防止空格分词与 glob 展开。
$@与$*区别?- 要点:\(@ 保留参数边界为多个,\)* 合成一个字符串。
- cron 环境为什么容易踩坑?
- 要点:PATH 极简,要用绝对路径。
- 怎么处理带空格文件名?
- 要点:find -print0 配合 xargs -0。