04.10.2 文本处理三剑客与管道组合
所属:全栈开发面试题库 / 04 后端语言与运行时 / 04.10 Shell 与脚本
覆盖范围
- grep:按行搜索、正则匹配、输出控制
- sed:流编辑器,替换、删除、插入
- awk:按列处理、条件过滤、统计计算
- xargs:把输入转成命令行参数
- jq:JSON 处理
- 管道组合模式
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 04.10.2-001 | grep 常用参数有哪些 | 基础 | ★★★★★ |
| 04.10.2-002 | grep 怎么反向匹配、显示行号 | 基础 | ★★★★★ |
| 04.10.2-003 | sed 替换常用写法 | 进阶 | ★★★★★ |
| 04.10.2-004 | sed 怎么直接修改文件 | 进阶 | ★★★★☆ |
| 04.10.2-005 | awk 按列处理 | 进阶 | ★★★★★ |
| 04.10.2-006 | awk 怎么做统计 | 进阶 | ★★★★☆ |
| 04.10.2-007 | xargs 怎么用 | 进阶 | ★★★★☆ |
| 04.10.2-008 | jq 怎么处理 JSON | 进阶 | ★★★★☆ |
04.10.2-001 grep 常用参数有哪些?
频率 ★★★★★ | 难度 基础
一句话结论
grep 是按行搜索文本的工具,-i 忽略大小写、-v 反向匹配、-n 显示行号、-r 递归搜索目录、-l 只显示文件名、-E 用扩展正则。
概念解释
- grep:Global Regular Expression Print,全局正则表达式打印。
- 基本用法:
grep "pattern" file。 - 常用参数:
- -i:忽略大小写。
- -v:反向匹配,显示不包含 pattern 的行。
- -n:显示行号。
- -r:递归搜索目录下所有文件。
- -l:只显示匹配的文件名,不显示内容。
- -c:统计匹配的行数。
- -E:用扩展正则(支持 + ? | () 等)。
- -o:只输出匹配的部分,不输出整行。
- -A n:显示匹配行后面 n 行。
- -B n:显示匹配行前面 n 行。
- -C n:显示匹配行前后各 n 行。
原理流程
- grep 逐行读文件。
- 对每一行,用正则表达式匹配。
- 匹配成功就输出这一行(默认)。
- 参数控制输出的内容和格式。
代码 / 示例
# 在文件中搜索 "error"
grep "error" app.log
# 忽略大小写
grep -i "error" app.log
# 反向匹配:显示不包含 "debug" 的行
grep -v "debug" app.log
# 显示行号
grep -n "error" app.log
# 递归搜索当前目录下所有文件
grep -r "TODO" ./src/
# 只显示哪些文件包含 "error"
grep -rl "error" ./logs/
# 显示匹配行前后各 3 行
grep -C 3 "OutOfMemory" app.log
# 扩展正则:匹配 "error" 或 "warning"
grep -E "error|warning" app.log
常见误区
- 误区:grep 默认用扩展正则?正解:默认用基础正则,+ ? | () 要转义,或者用 -E 用扩展正则。
- 误区:grep -r 会搜索所有文件?正解:会搜索二进制文件吗?默认会跳过一些二进制文件,加 -a 强制当文本处理。
追问 / 延伸
- grep 和 egrep 有什么区别?正解:egrep 就是 grep -E,用扩展正则。
- 怎么匹配多个 pattern?答:用 -E "pattern1|pattern2",或者用 -f file 从文件里读 pattern。
04.10.2-002 sed 替换怎么写?常用模式有哪些?
频率 ★★★★★ | 难度 进阶
一句话结论
sed 是流编辑器,s/old/new/g 是最常用的替换命令,s 表示替换,g 表示全局替换(每行替换所有出现的地方),不加 g 只替换每行第一个。
概念解释
- sed:Stream Editor,流编辑器,逐行处理文本。
- 基本替换:
sed 's/old/new/' file。 - 常用参数:
- g:全局替换,每行替换所有匹配的地方。
- -i:直接修改文件(原地编辑)。
- -n:只输出被命令处理的行(配合 p 命令)。
- 常用命令:
- s/old/new/:替换。
- d:删除匹配的行。
- p:打印匹配的行。
- i\:在匹配行前插入。
- a\:在匹配行后追加。
原理流程
- sed 逐行读输入。
- 对每一行执行你写的命令。
- 默认把处理后的行输出到标准输出。
- -i 参数表示直接修改原文件,不输出到屏幕。
代码 / 示例
# 把每行第一个 "old" 替换成 "new"
sed 's/old/new/' file.txt
# 全局替换:每行所有 "old" 都替换
sed 's/old/new/g' file.txt
# 直接修改文件(原地编辑)
sed -i 's/old/new/g' file.txt
# 备份原文件,再修改
sed -i.bak 's/old/new/g' file.txt
# 生成 file.txt 修改后的,file.txt.bak 是原文件备份
# 删除匹配的行
sed '/debug/d' app.log
# 删除所有包含 "debug" 的行
# 只输出匹配的行
sed -n '/error/p' app.log
# 在第 3 行后插入一行
sed '3a\插入的新行' file.txt
# 替换指定行范围
sed '10,20 s/old/new/g' file.txt
# 只替换第 10 到 20 行
常见误区
- 误区:sed 's/old/new/' 替换所有?正解:不加 g 只替换每行第一个匹配,要全局替换必须加 g。
- 误区:sed -i 直接改文件没有风险?正解:直接改原文件,错了就找不回来,建议先不加 -i 看输出对不对,再加 -i。
追问 / 延伸
- sed 里的分隔符可以换吗?答:可以,比如路径替换用
s|/usr/local/bin|/opt/bin|,避免和 / 冲突。 - 什么是范围选择?答:
'10,20 s/old/new/'表示只对第 10 到 20 行执行替换。
04.10.2-003 awk 怎么按列处理?
频率 ★★★★★ | 难度 进阶
一句话结论
awk 按列处理文本:$1 是第一列,$2 是第二列,$NF 是最后一列,默认按空格/制表符分列,适合做日志分析、按列过滤、统计计算。
概念解释
- awk:按行读,每行拆成列,对列做处理。
- $0:整行。
- $1 $2 $3...:第一列、第二列、第三列。
- $NF:最后一列(NF 是列数)。
- NR:当前行号。
- 默认分隔符:任意空白字符(空格、制表符连续的都算一个分隔)。
- -F 参数指定分隔符。
原理流程
- awk 逐行读输入。
- 对每一行,按分隔符拆成字段。
- 执行你写的动作。
- 输出结果。
代码 / 示例
# 输出第二列
awk '{print $2}' access.log
# 输出第一列和第三列,用 tab 分隔
awk '{print $1, $3}' access.log
# 指定分隔符为冒号(处理 /etc/passwd)
awk -F: '{print $1, $6}' /etc/passwd
# 条件过滤:只输出第三列大于 100 的行
awk '$3 > 100 {print $0}' access.log
# 输出最后一列
awk '{print $NF}' access.log
# 输出行号和内容
awk '{print NR, $0}' access.log
常见误区
- 误区:awk 按单个空格分列?正解:默认按连续空白字符分列,多个空格、制表符都算一个分隔符。
- 误区:$0 是第一个参数?正解:$0 是整行,$1 才是第一列。
追问 / 延伸
- 怎么用逗号做分隔符?答:awk -F, '{print $1}' file.csv。
- 怎么用多个分隔符?答:awk -F'[ ,;]' 表示用空格、逗号、分号都做分隔符。
04.10.2-004 awk 怎么做统计?
频率 ★★★★☆ | 难度 进阶
一句话结论
awk 有 BEGIN 和 END 块,BEGIN 在读文件前执行,END 在读完所有行后执行,适合做求和、计数、平均值等统计。
概念解释
- BEGIN 块:开始处理前执行,用来初始化变量。
- END 块:所有行处理完后执行,用来输出统计结果。
- 变量:awk 里的变量不用声明,直接用。
- 常用统计:求和、计数、最大值、最小值、平均值。
原理流程
- 先执行 BEGIN 块。
- 逐行读文件,每行执行中间的动作。
- 所有行读完后,执行 END 块。
- 在 END 块里输出统计结果。
代码 / 示例
# 统计第一列的和
awk 'BEGIN{sum=0} {sum+=$1} END{print sum}' numbers.txt
# 统计行数
awk 'END{print NR}' access.log
# 统计每个 IP 出现的次数(access.log 第一列是 IP)
awk '{count[$1]++} END{for(ip in count) print ip, count[ip]}' access.log | sort -k2 -nr | head -10
# 求第三列的平均值
awk 'BEGIN{sum=0; n=0} {sum+=$3; n++} END{print sum/n}' data.txt
# 统计 HTTP 状态码分布
awk '{print $9}' access.log | sort | uniq -c | sort -nr
常见误区
- 误区:awk 数组是有序的?正解:awk 关联数组是无序的,要排序用 sort 命令。
- 误区:awk 里的变量要先初始化?正解:数字变量默认是 0,字符串默认是空,但为了清晰最好在 BEGIN 里初始化。
追问 / 延伸
- 什么是关联数组?答:key 可以是字符串的数组,比如 count["192.168.1.1"]++。
- awk 和 Python 哪个好?答:简单统计用 awk 一行搞定,复杂逻辑用 Python。
04.10.2-005 xargs 怎么用?解决什么问题?
频率 ★★★★☆ | 难度 进阶
一句话结论
xargs 把标准输入转换成命令行参数,适合把 find/grep 的输出传给其他命令,解决很多命令不支持从管道读输入的问题。
概念解释
- 很多命令(比如 rm、cp、mkdir)不支持从标准输入读参数,只接受命令行参数。
- 管道左边的输出是文本,右边的命令如果不支持标准输入,就用不了。
- xargs 把管道输入的文本拆成参数,传给后面的命令。
- 常用参数:
- -n n:每次传 n 个参数。
- -0:按空字符分隔(配合 find -print0 用,处理文件名有空格的情况)。
- -I {}:把 {} 替换成参数。
原理流程
- find . -name "*.tmp" 输出一堆文件名。
- 这些文件名在管道里是文本流。
- xargs 把这些文本按空白拆成参数,传给 rm 命令。
- 相当于 rm file1 file2 file3 ...
代码 / 示例
# 找出所有 .tmp 文件,删掉
find . -name "*.tmp" | xargs rm
# 文件名有空格的情况:用 -print0 和 -0
find . -name "*.tmp" -print0 | xargs -0 rm
# 这样文件名有空格也不会出问题
# 每次传一个参数,执行命令
echo "file1 file2 file3" | xargs -n 1 echo "处理文件:"
# -I {} 替换
ls *.log | xargs -I {} cp {} /backup/
# 相当于 cp file1.log /backup/; cp file2.log /backup/; ...
# 统计当前目录下所有 C 文件的行数
find . -name "*.c" | xargs wc -l
常见误区
- 误区:管道里的所有命令都支持标准输入?正解:很多命令(rm、cp、ls)只接受命令行参数,不支持标准输入,需要 xargs。
- 误区:文件名有空格也没关系?正解:默认按空白拆分,文件名有空格会被拆成多个参数,要用 -print0 和 -0。
追问 / 延伸
- 为什么 find 要用 -print0?答:-print0 用空字符分隔文件名,而不是换行,这样文件名里有换行也不会出问题。
- xargs 和 \(() 有什么区别?答:\)() 是把命令输出作为字符串展开,xargs 是把输出作为参数传给命令。
04.10.2-006 jq 怎么处理 JSON?
频率 ★★★★☆ | 难度 进阶
一句话结论
jq 是命令行 JSON 处理工具,. 取根对象,.key 取字段,.[0] 取数组元素,| 管道组合,适合从 API 返回的 JSON 里提取字段。
概念解释
- jq:像 sed/awk 处理文本一样处理 JSON。
- .:整个 JSON 对象。
- .key:取对象的某个字段。
- .[0]:取数组的第一个元素。
- .[]:遍历数组每个元素。
- |:管道,把前面的结果传给后面。
- -r:输出原始字符串,不要带引号。
原理流程
- jq 读 JSON 输入。
- 用过滤器表达式提取字段。
- 输出结果。
代码 / 示例
# 假设 JSON 内容是:
# {"name": "Alice", "age": 30, "hobbies": ["reading", "hiking"]}
# 取整个对象
echo '{"name":"Alice","age":30}' | jq '.'
# 取 name 字段
echo '{"name":"Alice","age":30}' | jq '.name'
# 输出 "Alice"
# 取原始字符串(不带引号)
echo '{"name":"Alice"}' | jq -r '.name'
# 输出 Alice
# 取数组元素
echo '{"hobbies":["reading","hiking"]}' | jq '.hobbies[0]'
# 遍历数组
echo '{"hobbies":["reading","hiking"]}' | jq '.hobbies[]'
# 从 API 响应里提取字段
curl -s https://api.example.com/users | jq '.[] | {name, email}'
# 统计数组长度
echo '[1,2,3,4,5]' | jq 'length'
常见误区
- 误区:jq 输出的字符串带引号?正解:默认输出 JSON 格式,字符串带引号;要原始字符串加 -r。
- 误区:jq 只能处理简单 JSON?正解:jq 支持复杂的过滤、映射、变换,功能很强大。
追问 / 延伸
- 怎么从 JSON 里按条件过滤?答:jq '.[] | select(.age > 18)'。
- 怎么构造新的 JSON?答:jq '{name: .name, email: .email}'。
04.10.2-007 管道组合的常用模式有哪些?
频率 ★★★★☆ | 难度 进阶
一句话结论
管道把多个命令串起来:前一个命令的输出是后一个命令的输入,常用模式:过滤→排序→去重→统计,find→xargs→批量处理。
概念解释
- 管道:| 把左边的标准输出接到右边的标准输入。
- 常用组合:
- grep | sort | uniq -c | sort -nr | head
- find | xargs
- cat | awk | sort | uniq
- curl | jq
原理流程
- 每个命令都是独立的进程,通过管道通信。
- 左边命令的标准输出,接到右边命令的标准输入。
- 这样可以把简单的工具组合起来,完成复杂的任务。
代码 / 示例
# 统计日志里每个 IP 出现次数,取前 10
cat access.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -10
# 找出所有大文件,排序
find . -type f -size +100M | xargs ls -lh | sort -k5 -hr
# 从 API 取数据,提取字段,格式化
curl -s https://api.example.com/users | jq '.[] | .name' | sort
# 统计 Nginx 日志里 404 的状态码出现次数
cat access.log | awk '{print $9}' | grep "^404$" | wc -l
# 找出代码里所有 TODO,按文件分组
grep -rn "TODO" ./src/ | cut -d: -f1 | sort | uniq -c | sort -nr
常见误区
- 误区:管道越多越好?正解:每个管道都有进程创建和数据传输开销,简单任务不要拆太多步。
- 误区:cat file | grep "xxx" 比 grep "xxx" file 好?正解:前者是无用的 cat,直接 grep 更高效。
追问 / 延伸
- 什么是 UUOC(Useless Use of Cat)?答:开头多此一举用 cat,直接用后面的命令读文件就行。
- 怎么看管道中间的输出?答:用 tee 命令,比如
command | tee debug.txt | next_command,中间输出到文件。
04.10.2-008 怎么处理文件名有空格或特殊字符的情况?
频率 ★★★★☆ | 难度 进阶
一句话结论
用 find -print0 配合 xargs -0,或者用 while read 循环按行读,不要用 ls 加管道(ls 输出格式不稳定)。
概念解释
- 文件名里可能有空格、换行、特殊字符。
- 用空格做分隔符的命令(xargs、for 循环)会把文件名拆成多个参数。
- 解决方案:用空字符做分隔符,或者按行读。
原理流程
- find -print0 用空字符(\0)分隔每个文件名,而不是换行。
- xargs -0 按空字符分隔参数,这样文件名里有空格、换行都不会拆错。
- while read 按行读,但如果文件名里有换行还是会出问题,所以还是 -print0 最安全。
代码 / 示例
# 不安全:文件名有空格会拆错
find . -name "*.txt" | xargs rm
# 安全:用 -print0 和 -0
find . -name "*.txt" -print0 | xargs -0 rm
# 另一种方式:while read
find . -name "*.txt" | while IFS= read -r file; do
echo "处理: $file"
rm "$file"
done
# IFS= 保留前导和尾随空格,-r 不处理转义字符
# 不要用 ls | 管道,ls 的输出格式不稳定
# 反例:ls *.txt | xargs rm
# 正解:直接 rm *.txt,或者用 find
常见误区
- 误区:文件名很少有空格,不用管?正解:写脚本要健壮,养成用 -print0 和 -0 的习惯。
- 误区:for file in $(ls) 可以遍历文件?正解:for 循环按空格拆分,文件名有空格就会错,要用 for file in *.txt 或者 while read。
追问 / 延伸
- 为什么不要用 ls 做管道?答:ls 的输出是给人看的,格式不稳定(列数、颜色码),不适合做脚本输入。
- 什么是 Shell 安全编程?答:变量都加引号,用 -print0/-0,用 set -euo pipefail。
待整理清单
- [ ] sed 高级用法(范围、标签、分支)
- [ ] awk 高级用法(函数、多维数组)
- [ ] sort 命令常用参数
- [ ] uniq 命令常用参数