罗罗编程学习记录
本页内容 展开查看

01.6.4 正则与文本处理

所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.6 工程工具箱与速查

覆盖范围

  • 正则元字符、贪婪与回溯
  • 分组、断言(lookahead/lookbehind)
  • 正则性能陷阱
  • awk/sed/grep 组合

高频题速览

编号 题目 难度 频率
01.6.4-001 常见元字符有哪些 基础 ★★★★★
01.6.4-002 贪婪和非贪婪区别 进阶 ★★★★★
01.6.4-003 回溯为什么会导致灾难性卡顿 高级 ★★★★☆
01.6.4-004 零宽断言有什么用 进阶 ★★★★☆
01.6.4-005 grep/egrep/fgrep 区别 基础 ★★★★☆
01.6.4-006 sed 怎么替换和删行 进阶 ★★★★☆
01.6.4-007 awk 怎么按列处理 进阶 ★★★★★
01.6.4-008 正则性能怎么优化 高级 ★★★☆☆

01.6.4-001 常见正则元字符有哪些?

一句话结论

. 任意字符、^ 行首、$ 行尾、* 0 或多、+ 1 或多、? 0 或 1、{n,m} n 到 m 次、[] 字符集、() 分组、| 或、\ 转义。

概念解释

  • 量词:*、+、?、{n,m}。
  • 锚点:^、$、\b(单词边界)。
  • 字符类:[a-z]、[^0-9]、\d(数字)、\w(单词字符)、\s(空白)。
  • 分组与捕获:(...) 捕获,(?:...) 不捕获。

原理流程

  1. 正则引擎按模式从左到右匹配。
  2. 量词决定重复次数。
  3. 分组捕获子串供引用。

代码或图示

\d{4}-\d{2}-\d{2}     匹配日期
^[a-zA-Z_]\w*$        匹配标识符
(https?)://[\w.]+     匹配 http/https URL

常见误区

  • 以为 . 匹配换行:默认不匹配 \n,需加 DOTALL/s 模式。
  • 以为 * 至少一次:* 是 0 或多,+ 才是 1 或多。

追问

  • \b 是什么?答:单词边界,匹配单词字符与非单词字符之间,不消耗字符。
  • POSIX 字符类?答:[[:digit:]]、[[:alpha:]] 等,跨平台写法。

01.6.4-002 贪婪和非贪婪有什么区别?

一句话结论

贪婪量词(*、+)尽可能多匹配,非贪婪(*?、+?)尽可能少匹配;匹配 HTML 标签时贪婪会吃到最后一个 >,非贪婪在第一个 > 停。

概念解释

  • 贪婪:.* 匹配最长可能。
  • 非贪婪:.*? 匹配最短可能。
  • 区别只在量词后加 ?。

原理流程

  1. 对 <a><b> 用 <.*>:贪婪匹配整个 <a><b>。
  2. 用 <.*?>:非贪婪匹配 <a>。

代码或图示

字符串:<a><b>
<.*>   →  <a><b>(贪婪,吃到最后)
<.*?>  →  <a>(非贪婪,第一个 > 停)

常见误区

  • 以为非贪婪一定对:它只是停得早,但仍可能回溯,性能问题见 01.6.4-003。
  • 用正则解析 HTML:嵌套标签正则不可靠,应用解析器。

追问

  • 怎么匹配引号内内容?答:"[^"]*" 比 ".*?" 更快,因为字符集排除避免回溯。
  • 非贪婪和否定字符集哪个快?答:否定字符集通常更快,因为不需回溯。

01.6.4-003 回溯为什么会导致灾难性卡顿?

一句话结论

嵌套量词(如 (a+)+)或多选分支导致引擎在失败时尝试大量组合,输入稍长就指数级回溯,正则匹配看似死循环;这叫灾难性回溯(catastrophic backtracking)。

概念解释

  • 问题模式:(a+)+b 匹配一串 a 但没有 b,引擎尝试所有分组切分方式。
  • 复杂度:指数级,输入 30 个字符可能要尝试百万次。
  • 缓解:避免嵌套量词、用原子组/占有量词、限制输入长度。

原理流程

  1. 引擎尝试一种分组方式失败。
  2. 回溯尝试下一种组合。
  3. 输入长时组合爆炸。

代码或图示

正则:(a+)+$  匹配 "aaaaaaaaaaaaaaaaaaaaX"
(没有结尾,引擎尝试所有切分方式,指数级)

常见误区

  • 以为正则快:写不好就是 ReDoS(正则拒绝服务)漏洞。
  • 用在线正则工具测短串通过就上线:长串恶意输入会卡死服务。

追问

  • 怎么避免?答:用否定字符集 a+ 代替嵌套;语言支持原子组(如 (?>a+))或占有量词 a++;设置匹配超时。
  • 生产环境怎么防护?答:限制输入长度、正则超时、用 Rust/re2 等非回溯引擎。

01.6.4-004 零宽断言有什么用?

一句话结论

零宽断言匹配一个位置而不消耗字符:前瞻 (?=...)(后面是)、(?!...)(后面不是)、后顾 (?<=...)(前面是)、(?<!...)(前面不是);用于在匹配时附加前后条件。

概念解释

  • 正向前瞻:x(?=y) 匹配 x 且后面是 y。
  • 负向前瞻:x(?!y) 匹配 x 且后面不是 y。
  • 正向后顾:(?<=y)x 匹配 x 且前面是 y。
  • 负向后顾:(?<!y)x。

原理流程

  1. 引擎在当前位置尝试断言。
  2. 断言通过但不前进,继续匹配主模式。
  3. 常用于格式化(如千分位)。

代码或图示

\b\w+(?=ing\b)      匹配以 ing 结尾单词的前半
(?<=\d)(?=(\d{3})+$)  千分位逗号位置

常见误区

  • 以为后顾能变长:多数引擎后顾要求固定长度(JavaScript 旧版不支持变长后顾,现代版本待确认)。
  • 断言会消耗字符:零宽断言不消耗,主模式继续。

追问

  • 千分位怎么做?答:(?<=\d)(?=(\d{3})+(?!\d)) 匹配插入逗号的位置。
  • 前瞻和捕获区别?答:前瞻不捕获,只是条件。

01.6.4-005 grep、egrep、fgrep 有什么区别?

一句话结论

grep 基础正则,egrep(grep -E)扩展正则支持 +?|(),fgrep(grep -F)固定字符串不解析正则;现代 grep 三者合一,用参数区分。

概念解释

  • grep:BRE 基本正则,+?| 要转义。
  • grep -E:ERE 扩展正则,直接用元字符。
  • grep -F:固定字符串,快且无正则。

原理流程

  1. 简单模式用 grep。
  2. 复杂量词用 grep -E。
  3. 搜字面量(含特殊字符)用 grep -F。

代码或图示

grep 'error' log.txt
grep -E 'error|warn' log.txt
grep -F 'a+b*c' log.txt   # 按字面搜

常见误区

  • 用 grep 搜含 .* 的字面量:会被当正则,应用 grep -F。
  • 忘了 -r 递归:grep -r "pattern" dir/。

追问

  • grep -v 干嘛?答:反向匹配,排除含某模式的行。
  • grep -o?答:只输出匹配部分,不是整行,配合 wc -l 计数。

01.6.4-006 sed 怎么替换和删行?

一句话结论

sed 是流编辑器:s/old/new/ 替换,d 删行,p 打印;-i 直接改文件,-n 抑制默认输出,配合 p 只打印匹配行。

概念解释

  • s/pattern/replacement/:替换,g 全局替换。
  • /pattern/d:删匹配行。
  • -i:原地编辑(备份后缀如 -i.bak)。
  • -n + p:只输出指定行。

原理流程

  1. 逐行读入。
  2. 按命令处理。
  3. 输出到 stdout 或写回文件。

代码或图示

sed 's/old/new/g' file
sed -i.bak 's/old/new/g' file
sed '/debug/d' file           # 删 debug 行
sed -n '10,20p' file          # 打印 10-20 行

常见误区

  • 直接 -i 不备份:改错难恢复,先加 .bak。
  • 以为 sed 能多行处理:默认逐行,多行需 N/范围命令。

追问

  • 批量替换多个文件?答:sed -i 's/old/new/g' *.txt。
  • sed 和 awk 怎么选?答:简单替换用 sed,按列/计算用 awk。

01.6.4-007 awk 怎么按列处理?

一句话结论

awk 按分隔符把行拆成字段,$1、$2...访问列,-F 指定分隔符,内置 NF(列数)、NR(行号),可做过滤、统计、汇总。

概念解释

  • $0:整行;$1 第一列;$NF 最后一列。
  • -F: 指定冒号分隔(如 /etc/passwd)。
  • NF:当前行列数;NR:已处理行数。
  • 模式 + 动作:/pattern/ { action }。

原理流程

  1. 按分隔符切字段。
  2. 对每行执行动作。
  3. END 块收尾汇总。

代码或图示

awk '{print $1, $3}' file
awk -F: '$3>=1000 {print $1}' /etc/passwd
awk '{sum+=$1} END {print sum}' file

常见误区

  • 字段按空白分隔:默认是任意空白,多个空格/tab 都算一个。
  • 列索引从 0 还是 1?答:awk 从 1 开始,$0 是整行。

追问

  • 怎么按列过滤?答:awk '$3 > 100 {print}'。
  • 怎么算每列和?答:awk '{for(i=1;i<=NF;i++) s[i]+=$i} END{...}'。

01.6.4-008 正则性能怎么优化?

一句话结论

优先用否定字符集代替贪婪量词、避免嵌套量词、提前锚定(^)、用非回溯引擎(re2/Rust regex)、限制输入长度;能字符串处理就别用正则。

概念解释

  • 否定字符集:[^"]* 比 ".*?" 快。
  • 锚定:^ 让引擎在不匹配行快速跳过。
  • 非回溯引擎:线性复杂度,无 ReDoS。

原理流程

  1. 分析模式是否可能回溯。
  2. 改写为字符集/原子组。
  3. 选引擎或加超时。

代码或图示

慢:<.*?>          (回溯)
快:<[^>]*>        (字符集直接匹配)

常见误区

  • 用正则做所有事:简单 includes/startsWith 更快。
  • 用正则解析嵌套结构:HTML/JSON 用解析器,正则不可靠。

追问

  • Python re 和 regex 模块?答:re 是回溯,regex 模块支持更多特性;高并发用 re2。
  • 怎么测正则耗时?答:time 或语言性能测试,构造长输入测边界。

01.6.4-009 grep、sed、awk 怎么组合处理日志?

一句话结论

用 grep 过滤出目标行,awk 按列提取字段,sed 做替换;典型链路:grep ERROR app.log | awk '{print $4, $NF}' | sed 's/old/new/g',逐层缩小数据。

概念解释

  • grep:按模式过滤。
  • awk:按列处理。
  • sed:替换/编辑。

原理流程

  1. grep 过滤目标行。
  2. awk 提取关键字段。
  3. sed 清洗或统计。

代码或图示

grep 'ERROR' app.log | awk '{print $5}' | sort | uniq -c | sort -rn
# 统计每个错误类型出现次数

常见误区

  • 一步到位写复杂管道:分步调试更清晰。
  • 用 awk 做替换:awk 能做但 sed 更直观。

追问

  • 怎么统计出现次数?答:sort | uniq -c | sort -rn。
  • 大文件怎么快速找?答:grep 先过滤,不要直接全量 awk。

待整理清单

  • [ ] PCRE2 与非回溯引擎对比
  • [ ] 常用正则速查表(邮箱/手机号/IP/日期)
  • [ ] jq 处理 JSON 与文本