罗罗编程学习记录
本页内容 展开查看

04.10.3 运维脚本实战

所属:全栈开发面试题库 / 04 后端语言与运行时 / 04.10 Shell 与脚本

覆盖范围

  • 日志切割:按时间或大小切割,保留历史文件
  • 批量部署:多台服务器批量执行命令
  • 健康检查:检查服务是否正常、端口是否通
  • 幂等设计:脚本重复执行结果一致
  • 错误处理:失败重试、失败告警、日志记录

高频题速览

编号 题目 难度 频率
04.10.3-001 日志切割怎么做 进阶 ★★★★☆
04.10.3-002 批量部署脚本怎么写 进阶 ★★★★☆
04.10.3-003 什么是脚本幂等 进阶 ★★★★☆
04.10.3-004 怎么检查服务健康 基础 ★★★★★
04.10.3-005 脚本失败重试怎么做 进阶 ★★★★☆
04.10.3-006 脚本日志怎么记 基础 ★★★★☆
04.10.3-007 怎么防止脚本重复执行 进阶 ★★★★☆
04.10.3-008 怎么判断命令是否存在 基础 ★★★★☆

04.10.3-001 日志切割怎么做?按大小和按时间分别怎么实现?

频率 ★★★★☆ | 难度 进阶

一句话结论

按大小切割:检查日志文件大小,超过阈值就 mv 重命名,再新建一个空日志文件;按时间切割:cron 每天定时把当天日志重命名,再新建;两种都要通知进程重新打开日志文件(kill -USR1 或 logrotate)。

概念解释

  • 日志切割:日志文件不能一直长大,要按时间或大小切成多个小文件,方便归档和查看。
  • 按大小切割:文件超过 N MB 就切割。
  • 按时间切割:每天/每周切割一次。
  • 关键问题:进程一直往日志文件写,你把文件 mv 走了,进程还是往旧的 inode 写,新文件里没有日志。
  • 解决:切割后通知进程重新打开日志文件(比如 nginx -s reopen,或者发 USR1 信号)。

原理流程

  1. 检查日志文件大小,超过阈值。
  2. mv app.log app.log.1(重命名)。
  3. touch app.log(新建空文件)。
  4. 给进程发信号,让它重新打开日志文件(或者等进程自己重新打开)。
  5. 旧的日志文件保留 N 个,更老的删掉。

代码 / 示例

#!/bin/bash
set -euo pipefail

LOG_FILE="/var/log/myapp/app.log"
MAX_SIZE=10485760  # 10 MB
MAX_FILES=7        # 保留 7 个历史文件

# 按大小切割
rotate_log() {
    local size=$(stat -c%s "$LOG_FILE")
    if [ $size -lt $MAX_SIZE ]; then
        return 0  # 没超过阈值,不切割
    fi

    # 把最老的删掉
    rm -f "${LOG_FILE}.${MAX_FILES}"

    # 依次往后移
    for i in $(seq $((MAX_FILES-1)) -1 1); do
        [ -f "${LOG_FILE}.$i" ] && mv "${LOG_FILE}.$i" "${LOG_FILE}.$((i+1))"
    done

    # 当前日志变成 .1
    mv "$LOG_FILE" "${LOG_FILE}.1"
    touch "$LOG_FILE"

    # 通知进程重新打开日志(比如 nginx)
    # nginx -s reopen
    # 或者 kill -USR1 $(cat /var/run/nginx.pid)
}

rotate_log

常见误区

  • 误区:mv 了日志文件就完事了?正解:进程还往旧文件的 inode 写,新文件里没有日志;必须通知进程重新打开。
  • 误区:用 cp 切割?正解:cp 会复制,但原文件还在长大,中间可能丢日志。

追问 / 延伸

  • logrotate 是什么?答:Linux 自带的日志切割工具,配置好后 cron 自动跑,支持按大小、按时间、压缩、删除。
  • 怎么通知进程重新打开日志?答:大多数进程支持 USR1 信号,或者提供命令(比如 nginx -s reopen)。

04.10.3-002 批量部署脚本怎么写?

频率 ★★★★☆ | 难度 进阶

一句话结论

用 ssh 批量连接多台服务器,把部署包传过去,在远程执行部署命令,记录每台服务器的结果;常用工具是 ssh + scp,或者 ansible。

概念解释

  • 批量部署:把新版本的代码或包,部署到多台服务器上。
  • 基本流程:
    1. 把安装包 scp 到每台服务器。
    2. ssh 到每台服务器,执行部署命令。
    3. 记录成功和失败的服务器。
  • 前提:所有服务器配置了 SSH 免密登录。

原理流程

  1. 服务器列表写在文件里,一行一个 IP。
  2. 循环遍历每台服务器。
  3. scp 把包传过去。
  4. ssh 远程执行部署命令。
  5. 成功打绿色,失败打红色,记录下来。

代码 / 示例

#!/bin/bash
set -euo pipefail

SERVERS=(
    "192.168.1.10"
    "192.168.1.11"
    "192.168.1.12"
)
PKG="myapp_1.0.0.deb"
REMOTE_USER="deploy"
REMOTE_DIR="/opt/myapp"

# 先把包传到每台服务器
for server in "${SERVERS[@]}"; do
    echo "=== 传包到 $server ==="
    scp "$PKG" "$REMOTE_USER@$server:/tmp/"
done

# 远程执行部署
for server in "${SERVERS[@]}"; do
    echo "=== 部署到 $server ==="
    ssh "$REMOTE_USER@$server" bash <<'EOF'
        set -e
        sudo dpkg -i /tmp/myapp_1.0.0.deb
        sudo systemctl restart myapp
        rm /tmp/myapp_1.0.0.deb
EOF
    if [ $? -eq 0 ]; then
        echo "✓ $server 部署成功"
    else
        echo "✗ $server 部署失败"
    fi
done

常见误区

  • 误区:批量部署失败了就全停?正解:应该一台台跑,记录哪些成功哪些失败,失败的后面单独处理。
  • 误区:部署是串行的?正解:可以并行部署,但太多服务器并行会把部署机打满。

追问 / 延伸

  • ansible 是什么?答:批量部署工具,不用写脚本,写 YAML 配置就行,支持并发。
  • 怎么滚动部署?答:一次只升级几台,观察没问题再升级剩下的,减少服务不可用时间。

04.10.3-003 什么是脚本幂等?为什么重要?

频率 ★★★★☆ | 难度 进阶

一句话结论

幂等是指脚本执行一次和执行多次结果一样,不会因为重复执行就出问题;生产环境脚本必须幂等,因为可能不小心跑两遍,或者失败重试。

概念解释

  • 幂等:同一个操作,执行一次和执行多次,结果相同。
  • 为什么重要:
    • 脚本可能失败了重试,跑两遍。
    • 可能不小心手动跑了两遍。
    • 部署脚本跑两遍如果不幂等,可能出大问题。
  • 不幂等的例子:直接 echo "127.0.0.1 test.com" >> /etc/hosts,跑两遍就加两行。

原理流程

  1. 写脚本时,每个操作都要先检查一下:这个操作是不是已经做过了?
  2. 如果已经做过了,就跳过;没做过,才执行。
  3. 这样不管跑多少次,结果都一样。

代码 / 示例

#!/bin/bash
set -euo pipefail

# 不幂等的写法:直接追加,跑两遍就加两行
# echo "127.0.0.1 test.com" >> /etc/hosts

# 幂等的写法:先检查有没有,没有才加
add_host() {
    local entry="127.0.0.1 test.com"
    if grep -qF "test.com" /etc/hosts; then
        echo "hosts 里已经有了,跳过"
        return 0
    fi
    echo "$entry" >> /etc/hosts
}

add_host

# 创建用户:已经存在就跳过
create_user() {
    local username=$1
    if id "$username" &>/dev/null; then
        echo "用户 $username 已存在,跳过"
        return 0
    fi
    useradd -m "$username"
}

create_user "appuser"

常见误区

  • 误区:脚本跑一次就够了,不用考虑幂等?正解:生产环境什么都可能发生,失败重试、手动重跑、cron 跑两遍,都要考虑。
  • 误区:幂等就是 if 检查一下?正解:有些操作天然幂等(比如 mkdir -p),有些需要写检查逻辑。

追问 / 延伸

  • 什么操作是天然幂等的?答:mkdir -p、chmod、chown、systemctl restart,跑多少次结果都一样。
  • 什么操作不幂等?答:>> 追加、useradd、insert into 数据库,跑两遍就有重复。

04.10.3-004 怎么检查服务健康?

频率 ★★★★★ | 难度 基础

一句话结论

检查服务是否正常有几种方式:检查进程是否在跑、检查端口是否通、发 HTTP 请求看返回码、检查磁盘空间和内存是否够。

概念解释

  • 进程检查:ps aux | grep 看进程在不在。
  • 端口检查:nc -z 或 telnet 看端口通不通。
  • HTTP 健康检查:curl -s -o /dev/null -w "%{http_code}" 看返回码。
  • 资源检查:df 看磁盘,free 看内存。

原理流程

  1. 进程在跑不代表服务正常,可能进程死锁了。
  2. 端口通不代表服务能处理请求,可能只是 accept 了但处理不了。
  3. 最可靠的健康检查:发一个真实的请求,看服务能不能正常返回。

代码 / 示例

#!/bin/bash
set -euo pipefail

# 检查进程是否在跑
check_process() {
    local name=$1
    if pgrep -x "$name" >/dev/null; then
        echo "✓ 进程 $name 在运行"
        return 0
    else
        echo "✗ 进程 $name 不在运行"
        return 1
    fi
}

# 检查端口是否通
check_port() {
    local host=$1
    local port=$2
    if nc -z "$host" "$port" 2>/dev/null; then
        echo "✓ 端口 $host:$port 通"
        return 0
    else
        echo "✗ 端口 $host:$port 不通"
        return 1
    fi
}

# HTTP 健康检查
check_http() {
    local url=$1
    local expected_code=${2:-200}
    local code=$(curl -s -o /dev/null -w "%{http_code}" --max-time 5 "$url")
    if [ "$code" = "$expected_code" ]; then
        echo "✓ $url 返回 $code"
        return 0
    else
        echo "✗ $url 返回 $code,期望 $expected_code"
        return 1
    fi
}

# 检查磁盘空间
check_disk() {
    local threshold=${1:-90}  # 阈值 90%
    local usage=$(df / | tail -1 | awk '{print $5}' | tr -d '%')
    if [ $usage -gt $threshold ]; then
        echo "✗ 磁盘使用率 $usage%,超过 $threshold%"
        return 1
    else
        echo "✓ 磁盘使用率 $usage%"
        return 0
    fi
}

check_process "nginx"
check_port "localhost" "80"
check_http "http://localhost/health"
check_disk 85

常见误区

  • 误区:进程在跑就说明服务正常?正解:可能进程死锁、内存泄漏、数据库连不上,进程在但服务不能用。
  • 误区:健康检查越频繁越好?正解:太频繁会给服务增加压力,一般 10~30 秒一次。

追问 / 延伸

  • 什么是存活探针和就绪探针?答:存活探针判断进程要不要重启,就绪探针判断要不要把流量切过来。
  • 怎么自动重启挂掉的服务?答:systemd 配置 Restart=always,或者用 supervisor。

04.10.3-005 脚本失败重试怎么做?

频率 ★★★★☆ | 难度 进阶

一句话结论

失败重试就是:命令失败了就等一会再跑,最多跑 N 次,还是失败就报错退出;适合网络请求、数据库连接这种偶发失败的场景。

概念解释

  • 重试:命令失败不是立刻退出,而是等一会再试。
  • 最多重试次数:防止无限重试。
  • 退避时间:每次重试间隔越来越长,不要立刻重试把服务打挂。
  • 什么场景该重试:网络请求、数据库连接、文件下载。
  • 什么场景不该重试:rm 删除文件、写数据库(可能写重复)。

原理流程

  1. 执行命令。
  2. 成功了就返回。
  3. 失败了,计数 +1。
  4. 如果没超过最大次数,等一会再试。
  5. 超过最大次数,报错退出。

代码 / 示例

#!/bin/bash
set -euo pipefail

# 通用重试函数
retry() {
    local max_attempts=${1:-3}
    local delay=${2:-2}
    shift 2
    local attempt=1

    while [ $attempt -le $max_attempts ]; do
        echo "尝试 $attempt/$max_attempts: $*"
        if "$@"; then
            return 0
        fi
        attempt=$((attempt+1))
        if [ $attempt -le $max_attempts ]; then
            echo "失败,等待 $delay 秒后重试..."
            sleep $delay
        fi
    done

    echo "达到最大重试次数,失败"
    return 1
}

# 用法:重试 3 次,每次间隔 2 秒
retry 3 2 curl -s -f https://api.example.com/health

# 或者拉取一个可能失败的接口
retry 5 5 wget -q https://example.com/file.tar.gz

常见误区

  • 误区:所有命令失败都重试?正解:写操作(比如 POST、INSERT)不要随便重试,可能重复执行。
  • 误区:重试间隔固定就行?正解:指数退避(每次间隔翻倍)更好,避免把服务打挂。

追问 / 延伸

  • 什么是幂等重试?答:重试的操作本身是幂等的(比如 GET 请求),重试多少次结果都一样。
  • 重试多少次合适?答:一般 3~5 次,太多了会耽误时间。

04.10.3-006 脚本日志怎么记?

频率 ★★★★☆ | 难度 基础

一句话结论

用一个 log 函数,把日志同时写到屏幕和日志文件,带时间戳和日志级别(INFO/WARN/ERROR),方便后面排查问题。

概念解释

  • 脚本日志:脚本运行时输出的信息,要能保存下来,出问题时能看。
  • 日志级别:INFO(普通信息)、WARN(警告)、ERROR(错误)。
  • 时间戳:每条日志带时间,方便定位什么时候出的问题。

原理流程

  1. 定义一个 log 函数。
  2. 函数里把日志写到文件,同时输出到屏幕。
  3. 脚本里所有输出都用这个函数,不要直接 echo。

代码 / 示例

#!/bin/bash
set -euo pipefail

LOG_FILE="/var/log/myapp/deploy.log"

# 日志函数
log() {
    local level=$1
    shift
    local message="$*"
    local timestamp=$(date '+%Y-%m-%d %H:%M:%S')
    local line="[$timestamp] [$level] $message"
    echo "$line" | tee -a "$LOG_FILE"
}

# 用法
log INFO "开始部署"
log INFO "拉取代码"
log WARN "配置文件不存在,使用默认配置"
log ERROR "部署失败"

常见误区

  • 误区:脚本 echo 出来就行,不用记日志文件?正解:脚本跑了之后屏幕输出就没了,出问题时没法回看。
  • 误区:日志越多越好?正解:日志太多会淹没真正的问题,关键步骤记日志就行。

追问 / 延伸

  • 怎么把错误输出也记到日志里?答:脚本开头加 exec 2>&1,把 stderr 也重定向到日志文件。
  • 什么是结构化日志?答:日志是 JSON 格式,方便程序解析,适合 ELK 等日志系统。

04.10.3-007 怎么防止脚本重复执行?

频率 ★★★★☆ | 难度 进阶

一句话结论

用锁文件:脚本开始时创建一个 pid 文件,里面写自己的 PID,退出时删掉;如果启动时发现锁文件已经存在,说明已经在跑了,直接退出。

概念解释

  • 防止重复执行:cron 可能还在跑上一次的,下一次又触发了,导致脚本同时跑两份。
  • 锁文件:脚本开始时检查锁文件是否存在,存在就退出,不存在就创建锁文件,记录 PID。
  • 脚本退出时(不管正常还是异常),删掉锁文件。

原理流程

  1. 脚本开始,检查锁文件 /var/run/myapp.pid 是否存在。
  2. 如果存在,检查里面的 PID 是不是真的在跑。
  3. 如果在跑,说明脚本已经在执行了,退出。
  4. 如果不在跑(可能是上次异常退出没删锁文件),删掉旧锁文件,继续。
  5. 脚本执行完,删掉锁文件。

代码 / 示例

#!/bin/bash
set -euo pipefail

LOCK_FILE="/var/run/myapp.pid"

# 检查锁文件
if [ -f "$LOCK_FILE" ]; then
    old_pid=$(cat "$LOCK_FILE")
    if kill -0 "$old_pid" 2>/dev/null; then
        echo "脚本已经在运行,PID=$old_pid,退出"
        exit 1
    else
        echo "锁文件存在但进程不在,清理旧锁文件"
        rm -f "$LOCK_FILE"
    fi
fi

# 创建锁文件,写当前 PID
echo $$ > "$LOCK_FILE"

# 注册退出时删锁文件
trap 'rm -f "$LOCK_FILE"' EXIT

# 脚本主体...
echo "开始执行..."
sleep 10
echo "执行完成"

常见误区

  • 误区:锁文件存在就退出?正解:可能上次脚本异常退出没删锁文件,要检查里面的 PID 是不是真的在跑。
  • 误区:脚本退出时才删锁文件?正解:如果脚本异常崩溃,锁文件就残留了,要用 trap EXIT 保证不管怎么退出都删。

追问 / 延伸

  • 什么是 flock?答:Linux 自带的文件锁,比 pid 文件更可靠,flock -n /tmp/myapp.lock command。
  • 为什么要用 flock?答:flock 是内核级的,进程崩溃了锁自动释放,不会残留。

04.10.3-008 怎么判断命令是否存在?

频率 ★★★★☆ | 难度 基础

一句话结论

用 command -v 或 type 命令检查,比 which 更可靠,因为 which 只在 PATH 里找,command -v 能识别别名、函数、内建命令。

概念解释

  • 为什么要检查:脚本依赖某个命令,但目标机器上可能没装,脚本开始时先检查一下,不存在就提示安装。
  • which:只找外部命令,不找别名、函数、内建命令。
  • command -v:找所有类型的命令,更可靠。
  • type:和 command -v 类似。

原理流程

  1. 脚本开头检查依赖的命令是否都存在。
  2. 如果有缺失,打印提示,告诉用户要装什么。
  3. 不要等跑到一半才发现命令不存在。

代码 / 示例

#!/bin/bash
set -euo pipefail

# 检查命令是否存在
check_dependency() {
    local cmd=$1
    if ! command -v "$cmd" &>/dev/null; then
        echo "错误:依赖命令 $cmd 不存在,请先安装"
        exit 1
    fi
}

# 检查所有依赖
check_dependency "curl"
check_dependency "jq"
check_dependency "ssh"
check_dependency "rsync"

echo "所有依赖都存在,开始执行..."

常见误区

  • 误区:用 which 检查?正解:which 在不同系统上行为不一样,有的找不到内建命令,command -v 更标准。
  • 误区:脚本跑到哪用到哪再检查?正解:脚本开头一次性检查所有依赖,不要跑到一半才报错。

追问 / 延伸

  • 怎么判断是不是 root 用户?答:if [ "$(id -u)" -ne 0 ]; then echo "需要 root 权限"; exit 1; fi。
  • 怎么判断操作系统版本?答:看 /etc/os-release 文件,不同系统的包管理器不一样。

待整理清单

  • [ ] 日志切割工具 logrotate 配置详解
  • [ ] Ansible 入门与批量部署
  • [ ] Shell 脚本安全最佳实践
  • [ ] Cron 定时任务配置