01.6.4 正则与文本处理
所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.6 工程工具箱与速查
覆盖范围
- 正则元字符、贪婪与回溯
- 分组、断言(lookahead/lookbehind)
- 正则性能陷阱
- awk/sed/grep 组合
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 01.6.4-001 | 常见元字符有哪些 | 基础 | ★★★★★ |
| 01.6.4-002 | 贪婪和非贪婪区别 | 进阶 | ★★★★★ |
| 01.6.4-003 | 回溯为什么会导致灾难性卡顿 | 高级 | ★★★★☆ |
| 01.6.4-004 | 零宽断言有什么用 | 进阶 | ★★★★☆ |
| 01.6.4-005 | grep/egrep/fgrep 区别 | 基础 | ★★★★☆ |
| 01.6.4-006 | sed 怎么替换和删行 | 进阶 | ★★★★☆ |
| 01.6.4-007 | awk 怎么按列处理 | 进阶 | ★★★★★ |
| 01.6.4-008 | 正则性能怎么优化 | 高级 | ★★★☆☆ |
01.6.4-001 常见正则元字符有哪些?
一句话结论
. 任意字符、^ 行首、$ 行尾、* 0 或多、+ 1 或多、? 0 或 1、{n,m} n 到 m 次、[] 字符集、() 分组、| 或、\ 转义。
概念解释
- 量词:
*、+、?、{n,m}。 - 锚点:
^、$、\b(单词边界)。 - 字符类:
[a-z]、[^0-9]、\d(数字)、\w(单词字符)、\s(空白)。 - 分组与捕获:
(...)捕获,(?:...)不捕获。
原理流程
- 正则引擎按模式从左到右匹配。
- 量词决定重复次数。
- 分组捕获子串供引用。
代码或图示
\d{4}-\d{2}-\d{2} 匹配日期
^[a-zA-Z_]\w*$ 匹配标识符
(https?)://[\w.]+ 匹配 http/https URL
常见误区
- 以为
.匹配换行:默认不匹配\n,需加 DOTALL/s 模式。 - 以为
*至少一次:*是 0 或多,+才是 1 或多。
追问
\b是什么?答:单词边界,匹配单词字符与非单词字符之间,不消耗字符。- POSIX 字符类?答:
[[:digit:]]、[[:alpha:]]等,跨平台写法。
01.6.4-002 贪婪和非贪婪有什么区别?
一句话结论
贪婪量词(*、+)尽可能多匹配,非贪婪(*?、+?)尽可能少匹配;匹配 HTML 标签时贪婪会吃到最后一个 >,非贪婪在第一个 > 停。
概念解释
- 贪婪:
.*匹配最长可能。 - 非贪婪:
.*?匹配最短可能。 - 区别只在量词后加
?。
原理流程
- 对
<a><b>用<.*>:贪婪匹配整个<a><b>。 - 用
<.*?>:非贪婪匹配<a>。
代码或图示
字符串:<a><b>
<.*> → <a><b>(贪婪,吃到最后)
<.*?> → <a>(非贪婪,第一个 > 停)
常见误区
- 以为非贪婪一定对:它只是停得早,但仍可能回溯,性能问题见 01.6.4-003。
- 用正则解析 HTML:嵌套标签正则不可靠,应用解析器。
追问
- 怎么匹配引号内内容?答:
"[^"]*"比".*?"更快,因为字符集排除避免回溯。 - 非贪婪和否定字符集哪个快?答:否定字符集通常更快,因为不需回溯。
01.6.4-003 回溯为什么会导致灾难性卡顿?
一句话结论
嵌套量词(如 (a+)+)或多选分支导致引擎在失败时尝试大量组合,输入稍长就指数级回溯,正则匹配看似死循环;这叫灾难性回溯(catastrophic backtracking)。
概念解释
- 问题模式:
(a+)+b匹配一串a但没有b,引擎尝试所有分组切分方式。 - 复杂度:指数级,输入 30 个字符可能要尝试百万次。
- 缓解:避免嵌套量词、用原子组/占有量词、限制输入长度。
原理流程
- 引擎尝试一种分组方式失败。
- 回溯尝试下一种组合。
- 输入长时组合爆炸。
代码或图示
正则:(a+)+$ 匹配 "aaaaaaaaaaaaaaaaaaaaX"
(没有结尾,引擎尝试所有切分方式,指数级)
常见误区
- 以为正则快:写不好就是 ReDoS(正则拒绝服务)漏洞。
- 用在线正则工具测短串通过就上线:长串恶意输入会卡死服务。
追问
- 怎么避免?答:用否定字符集
a+代替嵌套;语言支持原子组(如(?>a+))或占有量词a++;设置匹配超时。 - 生产环境怎么防护?答:限制输入长度、正则超时、用 Rust/re2 等非回溯引擎。
01.6.4-004 零宽断言有什么用?
一句话结论
零宽断言匹配一个位置而不消耗字符:前瞻 (?=...)(后面是)、(?!...)(后面不是)、后顾 (?<=...)(前面是)、(?<!...)(前面不是);用于在匹配时附加前后条件。
概念解释
- 正向前瞻:
x(?=y)匹配 x 且后面是 y。 - 负向前瞻:
x(?!y)匹配 x 且后面不是 y。 - 正向后顾:
(?<=y)x匹配 x 且前面是 y。 - 负向后顾:
(?<!y)x。
原理流程
- 引擎在当前位置尝试断言。
- 断言通过但不前进,继续匹配主模式。
- 常用于格式化(如千分位)。
代码或图示
\b\w+(?=ing\b) 匹配以 ing 结尾单词的前半
(?<=\d)(?=(\d{3})+$) 千分位逗号位置
常见误区
- 以为后顾能变长:多数引擎后顾要求固定长度(JavaScript 旧版不支持变长后顾,现代版本待确认)。
- 断言会消耗字符:零宽断言不消耗,主模式继续。
追问
- 千分位怎么做?答:
(?<=\d)(?=(\d{3})+(?!\d))匹配插入逗号的位置。 - 前瞻和捕获区别?答:前瞻不捕获,只是条件。
01.6.4-005 grep、egrep、fgrep 有什么区别?
一句话结论
grep 基础正则,egrep(grep -E)扩展正则支持 +?|(),fgrep(grep -F)固定字符串不解析正则;现代 grep 三者合一,用参数区分。
概念解释
- grep:BRE 基本正则,
+?|要转义。 - grep -E:ERE 扩展正则,直接用元字符。
- grep -F:固定字符串,快且无正则。
原理流程
- 简单模式用 grep。
- 复杂量词用
grep -E。 - 搜字面量(含特殊字符)用
grep -F。
代码或图示
grep 'error' log.txt
grep -E 'error|warn' log.txt
grep -F 'a+b*c' log.txt # 按字面搜
常见误区
- 用 grep 搜含
.*的字面量:会被当正则,应用grep -F。 - 忘了
-r递归:grep -r "pattern" dir/。
追问
grep -v干嘛?答:反向匹配,排除含某模式的行。grep -o?答:只输出匹配部分,不是整行,配合wc -l计数。
01.6.4-006 sed 怎么替换和删行?
一句话结论
sed 是流编辑器:s/old/new/ 替换,d 删行,p 打印;-i 直接改文件,-n 抑制默认输出,配合 p 只打印匹配行。
概念解释
s/pattern/replacement/:替换,g全局替换。/pattern/d:删匹配行。-i:原地编辑(备份后缀如-i.bak)。-n+p:只输出指定行。
原理流程
- 逐行读入。
- 按命令处理。
- 输出到 stdout 或写回文件。
代码或图示
sed 's/old/new/g' file
sed -i.bak 's/old/new/g' file
sed '/debug/d' file # 删 debug 行
sed -n '10,20p' file # 打印 10-20 行
常见误区
- 直接
-i不备份:改错难恢复,先加.bak。 - 以为 sed 能多行处理:默认逐行,多行需
N/范围命令。
追问
- 批量替换多个文件?答:
sed -i 's/old/new/g' *.txt。 - sed 和 awk 怎么选?答:简单替换用 sed,按列/计算用 awk。
01.6.4-007 awk 怎么按列处理?
一句话结论
awk 按分隔符把行拆成字段,$1、$2...访问列,-F 指定分隔符,内置 NF(列数)、NR(行号),可做过滤、统计、汇总。
概念解释
$0:整行;$1第一列;$NF最后一列。-F:指定冒号分隔(如 /etc/passwd)。NF:当前行列数;NR:已处理行数。- 模式 + 动作:
/pattern/ { action }。
原理流程
- 按分隔符切字段。
- 对每行执行动作。
- END 块收尾汇总。
代码或图示
awk '{print $1, $3}' file
awk -F: '$3>=1000 {print $1}' /etc/passwd
awk '{sum+=$1} END {print sum}' file
常见误区
- 字段按空白分隔:默认是任意空白,多个空格/tab 都算一个。
- 列索引从 0 还是 1?答:awk 从 1 开始,
$0是整行。
追问
- 怎么按列过滤?答:
awk '$3 > 100 {print}'。 - 怎么算每列和?答:
awk '{for(i=1;i<=NF;i++) s[i]+=$i} END{...}'。
01.6.4-008 正则性能怎么优化?
一句话结论
优先用否定字符集代替贪婪量词、避免嵌套量词、提前锚定(^)、用非回溯引擎(re2/Rust regex)、限制输入长度;能字符串处理就别用正则。
概念解释
- 否定字符集:
[^"]*比".*?"快。 - 锚定:
^让引擎在不匹配行快速跳过。 - 非回溯引擎:线性复杂度,无 ReDoS。
原理流程
- 分析模式是否可能回溯。
- 改写为字符集/原子组。
- 选引擎或加超时。
代码或图示
慢:<.*?> (回溯)
快:<[^>]*> (字符集直接匹配)
常见误区
- 用正则做所有事:简单 includes/startsWith 更快。
- 用正则解析嵌套结构:HTML/JSON 用解析器,正则不可靠。
追问
- Python re 和 regex 模块?答:re 是回溯,regex 模块支持更多特性;高并发用 re2。
- 怎么测正则耗时?答:
time或语言性能测试,构造长输入测边界。
01.6.4-009 grep、sed、awk 怎么组合处理日志?
一句话结论
用 grep 过滤出目标行,awk 按列提取字段,sed 做替换;典型链路:grep ERROR app.log | awk '{print $4, $NF}' | sed 's/old/new/g',逐层缩小数据。
概念解释
- grep:按模式过滤。
- awk:按列处理。
- sed:替换/编辑。
原理流程
- grep 过滤目标行。
- awk 提取关键字段。
- sed 清洗或统计。
代码或图示
grep 'ERROR' app.log | awk '{print $5}' | sort | uniq -c | sort -rn
# 统计每个错误类型出现次数
常见误区
- 一步到位写复杂管道:分步调试更清晰。
- 用 awk 做替换:awk 能做但 sed 更直观。
追问
- 怎么统计出现次数?答:
sort | uniq -c | sort -rn。 - 大文件怎么快速找?答:grep 先过滤,不要直接全量 awk。
待整理清单
- [ ] PCRE2 与非回溯引擎对比
- [ ] 常用正则速查表(邮箱/手机号/IP/日期)
- [ ] jq 处理 JSON 与文本