罗罗编程学习记录
本页内容 展开查看

04.10.2 文本处理三剑客与管道组合

所属:全栈开发面试题库 / 04 后端语言与运行时 / 04.10 Shell 与脚本

覆盖范围

  • grep:按行搜索、正则匹配、输出控制
  • sed:流编辑器,替换、删除、插入
  • awk:按列处理、条件过滤、统计计算
  • xargs:把输入转成命令行参数
  • jq:JSON 处理
  • 管道组合模式

高频题速览

编号 题目 难度 频率
04.10.2-001 grep 常用参数有哪些 基础 ★★★★★
04.10.2-002 grep 怎么反向匹配、显示行号 基础 ★★★★★
04.10.2-003 sed 替换常用写法 进阶 ★★★★★
04.10.2-004 sed 怎么直接修改文件 进阶 ★★★★☆
04.10.2-005 awk 按列处理 进阶 ★★★★★
04.10.2-006 awk 怎么做统计 进阶 ★★★★☆
04.10.2-007 xargs 怎么用 进阶 ★★★★☆
04.10.2-008 jq 怎么处理 JSON 进阶 ★★★★☆

04.10.2-001 grep 常用参数有哪些?

频率 ★★★★★ | 难度 基础

一句话结论

grep 是按行搜索文本的工具,-i 忽略大小写、-v 反向匹配、-n 显示行号、-r 递归搜索目录、-l 只显示文件名、-E 用扩展正则。

概念解释

  • grep:Global Regular Expression Print,全局正则表达式打印。
  • 基本用法:grep "pattern" file。
  • 常用参数:
    • -i:忽略大小写。
    • -v:反向匹配,显示不包含 pattern 的行。
    • -n:显示行号。
    • -r:递归搜索目录下所有文件。
    • -l:只显示匹配的文件名,不显示内容。
    • -c:统计匹配的行数。
    • -E:用扩展正则(支持 + ? | () 等)。
    • -o:只输出匹配的部分,不输出整行。
    • -A n:显示匹配行后面 n 行。
    • -B n:显示匹配行前面 n 行。
    • -C n:显示匹配行前后各 n 行。

原理流程

  1. grep 逐行读文件。
  2. 对每一行,用正则表达式匹配。
  3. 匹配成功就输出这一行(默认)。
  4. 参数控制输出的内容和格式。

代码 / 示例

# 在文件中搜索 "error"
grep "error" app.log

# 忽略大小写
grep -i "error" app.log

# 反向匹配:显示不包含 "debug" 的行
grep -v "debug" app.log

# 显示行号
grep -n "error" app.log

# 递归搜索当前目录下所有文件
grep -r "TODO" ./src/

# 只显示哪些文件包含 "error"
grep -rl "error" ./logs/

# 显示匹配行前后各 3 行
grep -C 3 "OutOfMemory" app.log

# 扩展正则:匹配 "error" 或 "warning"
grep -E "error|warning" app.log

常见误区

  • 误区:grep 默认用扩展正则?正解:默认用基础正则,+ ? | () 要转义,或者用 -E 用扩展正则。
  • 误区:grep -r 会搜索所有文件?正解:会搜索二进制文件吗?默认会跳过一些二进制文件,加 -a 强制当文本处理。

追问 / 延伸

  • grep 和 egrep 有什么区别?正解:egrep 就是 grep -E,用扩展正则。
  • 怎么匹配多个 pattern?答:用 -E "pattern1|pattern2",或者用 -f file 从文件里读 pattern。

04.10.2-002 sed 替换怎么写?常用模式有哪些?

频率 ★★★★★ | 难度 进阶

一句话结论

sed 是流编辑器,s/old/new/g 是最常用的替换命令,s 表示替换,g 表示全局替换(每行替换所有出现的地方),不加 g 只替换每行第一个。

概念解释

  • sed:Stream Editor,流编辑器,逐行处理文本。
  • 基本替换:sed 's/old/new/' file。
  • 常用参数:
    • g:全局替换,每行替换所有匹配的地方。
    • -i:直接修改文件(原地编辑)。
    • -n:只输出被命令处理的行(配合 p 命令)。
  • 常用命令:
    • s/old/new/:替换。
    • d:删除匹配的行。
    • p:打印匹配的行。
    • i\:在匹配行前插入。
    • a\:在匹配行后追加。

原理流程

  1. sed 逐行读输入。
  2. 对每一行执行你写的命令。
  3. 默认把处理后的行输出到标准输出。
  4. -i 参数表示直接修改原文件,不输出到屏幕。

代码 / 示例

# 把每行第一个 "old" 替换成 "new"
sed 's/old/new/' file.txt

# 全局替换:每行所有 "old" 都替换
sed 's/old/new/g' file.txt

# 直接修改文件(原地编辑)
sed -i 's/old/new/g' file.txt

# 备份原文件,再修改
sed -i.bak 's/old/new/g' file.txt
# 生成 file.txt 修改后的,file.txt.bak 是原文件备份

# 删除匹配的行
sed '/debug/d' app.log
# 删除所有包含 "debug" 的行

# 只输出匹配的行
sed -n '/error/p' app.log

# 在第 3 行后插入一行
sed '3a\插入的新行' file.txt

# 替换指定行范围
sed '10,20 s/old/new/g' file.txt
# 只替换第 10 到 20 行

常见误区

  • 误区:sed 's/old/new/' 替换所有?正解:不加 g 只替换每行第一个匹配,要全局替换必须加 g。
  • 误区:sed -i 直接改文件没有风险?正解:直接改原文件,错了就找不回来,建议先不加 -i 看输出对不对,再加 -i。

追问 / 延伸

  • sed 里的分隔符可以换吗?答:可以,比如路径替换用 s|/usr/local/bin|/opt/bin|,避免和 / 冲突。
  • 什么是范围选择?答:'10,20 s/old/new/' 表示只对第 10 到 20 行执行替换。

04.10.2-003 awk 怎么按列处理?

频率 ★★★★★ | 难度 进阶

一句话结论

awk 按列处理文本:$1 是第一列,$2 是第二列,$NF 是最后一列,默认按空格/制表符分列,适合做日志分析、按列过滤、统计计算。

概念解释

  • awk:按行读,每行拆成列,对列做处理。
  • $0:整行。
  • $1 $2 $3...:第一列、第二列、第三列。
  • $NF:最后一列(NF 是列数)。
  • NR:当前行号。
  • 默认分隔符:任意空白字符(空格、制表符连续的都算一个分隔)。
  • -F 参数指定分隔符。

原理流程

  1. awk 逐行读输入。
  2. 对每一行,按分隔符拆成字段。
  3. 执行你写的动作。
  4. 输出结果。

代码 / 示例

# 输出第二列
awk '{print $2}' access.log

# 输出第一列和第三列,用 tab 分隔
awk '{print $1, $3}' access.log

# 指定分隔符为冒号(处理 /etc/passwd)
awk -F: '{print $1, $6}' /etc/passwd

# 条件过滤:只输出第三列大于 100 的行
awk '$3 > 100 {print $0}' access.log

# 输出最后一列
awk '{print $NF}' access.log

# 输出行号和内容
awk '{print NR, $0}' access.log

常见误区

  • 误区:awk 按单个空格分列?正解:默认按连续空白字符分列,多个空格、制表符都算一个分隔符。
  • 误区:$0 是第一个参数?正解:$0 是整行,$1 才是第一列。

追问 / 延伸

  • 怎么用逗号做分隔符?答:awk -F, '{print $1}' file.csv。
  • 怎么用多个分隔符?答:awk -F'[ ,;]' 表示用空格、逗号、分号都做分隔符。

04.10.2-004 awk 怎么做统计?

频率 ★★★★☆ | 难度 进阶

一句话结论

awk 有 BEGIN 和 END 块,BEGIN 在读文件前执行,END 在读完所有行后执行,适合做求和、计数、平均值等统计。

概念解释

  • BEGIN 块:开始处理前执行,用来初始化变量。
  • END 块:所有行处理完后执行,用来输出统计结果。
  • 变量:awk 里的变量不用声明,直接用。
  • 常用统计:求和、计数、最大值、最小值、平均值。

原理流程

  1. 先执行 BEGIN 块。
  2. 逐行读文件,每行执行中间的动作。
  3. 所有行读完后,执行 END 块。
  4. 在 END 块里输出统计结果。

代码 / 示例

# 统计第一列的和
awk 'BEGIN{sum=0} {sum+=$1} END{print sum}' numbers.txt

# 统计行数
awk 'END{print NR}' access.log

# 统计每个 IP 出现的次数(access.log 第一列是 IP)
awk '{count[$1]++} END{for(ip in count) print ip, count[ip]}' access.log | sort -k2 -nr | head -10

# 求第三列的平均值
awk 'BEGIN{sum=0; n=0} {sum+=$3; n++} END{print sum/n}' data.txt

# 统计 HTTP 状态码分布
awk '{print $9}' access.log | sort | uniq -c | sort -nr

常见误区

  • 误区:awk 数组是有序的?正解:awk 关联数组是无序的,要排序用 sort 命令。
  • 误区:awk 里的变量要先初始化?正解:数字变量默认是 0,字符串默认是空,但为了清晰最好在 BEGIN 里初始化。

追问 / 延伸

  • 什么是关联数组?答:key 可以是字符串的数组,比如 count["192.168.1.1"]++。
  • awk 和 Python 哪个好?答:简单统计用 awk 一行搞定,复杂逻辑用 Python。

04.10.2-005 xargs 怎么用?解决什么问题?

频率 ★★★★☆ | 难度 进阶

一句话结论

xargs 把标准输入转换成命令行参数,适合把 find/grep 的输出传给其他命令,解决很多命令不支持从管道读输入的问题。

概念解释

  • 很多命令(比如 rm、cp、mkdir)不支持从标准输入读参数,只接受命令行参数。
  • 管道左边的输出是文本,右边的命令如果不支持标准输入,就用不了。
  • xargs 把管道输入的文本拆成参数,传给后面的命令。
  • 常用参数:
    • -n n:每次传 n 个参数。
    • -0:按空字符分隔(配合 find -print0 用,处理文件名有空格的情况)。
    • -I {}:把 {} 替换成参数。

原理流程

  1. find . -name "*.tmp" 输出一堆文件名。
  2. 这些文件名在管道里是文本流。
  3. xargs 把这些文本按空白拆成参数,传给 rm 命令。
  4. 相当于 rm file1 file2 file3 ...

代码 / 示例

# 找出所有 .tmp 文件,删掉
find . -name "*.tmp" | xargs rm

# 文件名有空格的情况:用 -print0 和 -0
find . -name "*.tmp" -print0 | xargs -0 rm
# 这样文件名有空格也不会出问题

# 每次传一个参数,执行命令
echo "file1 file2 file3" | xargs -n 1 echo "处理文件:"

# -I {} 替换
ls *.log | xargs -I {} cp {} /backup/
# 相当于 cp file1.log /backup/; cp file2.log /backup/; ...

# 统计当前目录下所有 C 文件的行数
find . -name "*.c" | xargs wc -l

常见误区

  • 误区:管道里的所有命令都支持标准输入?正解:很多命令(rm、cp、ls)只接受命令行参数,不支持标准输入,需要 xargs。
  • 误区:文件名有空格也没关系?正解:默认按空白拆分,文件名有空格会被拆成多个参数,要用 -print0 和 -0。

追问 / 延伸

  • 为什么 find 要用 -print0?答:-print0 用空字符分隔文件名,而不是换行,这样文件名里有换行也不会出问题。
  • xargs 和 \(() 有什么区别?答:\)() 是把命令输出作为字符串展开,xargs 是把输出作为参数传给命令。

04.10.2-006 jq 怎么处理 JSON?

频率 ★★★★☆ | 难度 进阶

一句话结论

jq 是命令行 JSON 处理工具,. 取根对象,.key 取字段,.[0] 取数组元素,| 管道组合,适合从 API 返回的 JSON 里提取字段。

概念解释

  • jq:像 sed/awk 处理文本一样处理 JSON。
  • .:整个 JSON 对象。
  • .key:取对象的某个字段。
  • .[0]:取数组的第一个元素。
  • .[]:遍历数组每个元素。
  • |:管道,把前面的结果传给后面。
  • -r:输出原始字符串,不要带引号。

原理流程

  1. jq 读 JSON 输入。
  2. 用过滤器表达式提取字段。
  3. 输出结果。

代码 / 示例

# 假设 JSON 内容是:
# {"name": "Alice", "age": 30, "hobbies": ["reading", "hiking"]}

# 取整个对象
echo '{"name":"Alice","age":30}' | jq '.'

# 取 name 字段
echo '{"name":"Alice","age":30}' | jq '.name'
# 输出 "Alice"

# 取原始字符串(不带引号)
echo '{"name":"Alice"}' | jq -r '.name'
# 输出 Alice

# 取数组元素
echo '{"hobbies":["reading","hiking"]}' | jq '.hobbies[0]'

# 遍历数组
echo '{"hobbies":["reading","hiking"]}' | jq '.hobbies[]'

# 从 API 响应里提取字段
curl -s https://api.example.com/users | jq '.[] | {name, email}'

# 统计数组长度
echo '[1,2,3,4,5]' | jq 'length'

常见误区

  • 误区:jq 输出的字符串带引号?正解:默认输出 JSON 格式,字符串带引号;要原始字符串加 -r。
  • 误区:jq 只能处理简单 JSON?正解:jq 支持复杂的过滤、映射、变换,功能很强大。

追问 / 延伸

  • 怎么从 JSON 里按条件过滤?答:jq '.[] | select(.age > 18)'。
  • 怎么构造新的 JSON?答:jq '{name: .name, email: .email}'。

04.10.2-007 管道组合的常用模式有哪些?

频率 ★★★★☆ | 难度 进阶

一句话结论

管道把多个命令串起来:前一个命令的输出是后一个命令的输入,常用模式:过滤→排序→去重→统计,find→xargs→批量处理。

概念解释

  • 管道:| 把左边的标准输出接到右边的标准输入。
  • 常用组合:
    • grep | sort | uniq -c | sort -nr | head
    • find | xargs
    • cat | awk | sort | uniq
    • curl | jq

原理流程

  1. 每个命令都是独立的进程,通过管道通信。
  2. 左边命令的标准输出,接到右边命令的标准输入。
  3. 这样可以把简单的工具组合起来,完成复杂的任务。

代码 / 示例

# 统计日志里每个 IP 出现次数,取前 10
cat access.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -10

# 找出所有大文件,排序
find . -type f -size +100M | xargs ls -lh | sort -k5 -hr

# 从 API 取数据,提取字段,格式化
curl -s https://api.example.com/users | jq '.[] | .name' | sort

# 统计 Nginx 日志里 404 的状态码出现次数
cat access.log | awk '{print $9}' | grep "^404$" | wc -l

# 找出代码里所有 TODO,按文件分组
grep -rn "TODO" ./src/ | cut -d: -f1 | sort | uniq -c | sort -nr

常见误区

  • 误区:管道越多越好?正解:每个管道都有进程创建和数据传输开销,简单任务不要拆太多步。
  • 误区:cat file | grep "xxx" 比 grep "xxx" file 好?正解:前者是无用的 cat,直接 grep 更高效。

追问 / 延伸

  • 什么是 UUOC(Useless Use of Cat)?答:开头多此一举用 cat,直接用后面的命令读文件就行。
  • 怎么看管道中间的输出?答:用 tee 命令,比如 command | tee debug.txt | next_command,中间输出到文件。

04.10.2-008 怎么处理文件名有空格或特殊字符的情况?

频率 ★★★★☆ | 难度 进阶

一句话结论

用 find -print0 配合 xargs -0,或者用 while read 循环按行读,不要用 ls 加管道(ls 输出格式不稳定)。

概念解释

  • 文件名里可能有空格、换行、特殊字符。
  • 用空格做分隔符的命令(xargs、for 循环)会把文件名拆成多个参数。
  • 解决方案:用空字符做分隔符,或者按行读。

原理流程

  1. find -print0 用空字符(\0)分隔每个文件名,而不是换行。
  2. xargs -0 按空字符分隔参数,这样文件名里有空格、换行都不会拆错。
  3. while read 按行读,但如果文件名里有换行还是会出问题,所以还是 -print0 最安全。

代码 / 示例

# 不安全:文件名有空格会拆错
find . -name "*.txt" | xargs rm

# 安全:用 -print0 和 -0
find . -name "*.txt" -print0 | xargs -0 rm

# 另一种方式:while read
find . -name "*.txt" | while IFS= read -r file; do
    echo "处理: $file"
    rm "$file"
done
# IFS= 保留前导和尾随空格,-r 不处理转义字符

# 不要用 ls | 管道,ls 的输出格式不稳定
# 反例:ls *.txt | xargs rm
# 正解:直接 rm *.txt,或者用 find

常见误区

  • 误区:文件名很少有空格,不用管?正解:写脚本要健壮,养成用 -print0 和 -0 的习惯。
  • 误区:for file in $(ls) 可以遍历文件?正解:for 循环按空格拆分,文件名有空格就会错,要用 for file in *.txt 或者 while read。

追问 / 延伸

  • 为什么不要用 ls 做管道?答:ls 的输出是给人看的,格式不稳定(列数、颜色码),不适合做脚本输入。
  • 什么是 Shell 安全编程?答:变量都加引号,用 -print0/-0,用 set -euo pipefail。

待整理清单

  • [ ] sed 高级用法(范围、标签、分支)
  • [ ] awk 高级用法(函数、多维数组)
  • [ ] sort 命令常用参数
  • [ ] uniq 命令常用参数