罗罗编程学习记录
本页内容 展开查看

08.9 阶段 8:进阶方向(可选)

所属:全栈开发面试题库 / 学习路径 / 08 Python 全栈

本页目录

一、阶段定位

前 8 个阶段解决了「从环境到部署」的完整链路。本阶段是可选拓展,面向已工作、想往高阶架构走的工程师:分布式事务、服务化拆分、可观测性体系、并发底层原理、性能工程、安全合规。这些内容不是初级面试必问,而是中高级岗位区分度所在。对应题库第 9 分册(高阶架构)与第 11 分册(综合场景)。

与前后阶段的衔接:阶段 6 讲了单进程内的并发与性能,本阶段跨进程、跨服务;阶段 5 讲了单库事务,本阶段讲跨库跨服务的最终一致性。不要求初学者一次性掌握,按岗位需要选学。

原有卡点及判断依据:

  • 以为分布式事务必须强一致:判断现象是所有业务都要求 XA 两阶段提交,导致性能不可接受。实际大部分场景用最终一致性即可。见 5.1。
  • 服务拆分后调用链不可观测:判断现象是接口慢了,不知道是哪个服务、哪个 SQL 慢。见 5.3。
  • 性能优化只靠换编译器:判断现象是上 PyPy 就以为万事大吉,忽略了算法与数据结构。见 5.5。

二、阶段目标与投入

本阶段为可选,投入按岗位需要选择。以下目标为「学完对应方向能讲清」的最低要求。

能力目标(可验证的行为) 验证方式
能说清 CAP、BASE 与最终一致性的取舍 给一个业务场景选对方案
能说清 gRPC 与 HTTP/JSON 的适用场景 按内外部调用选择协议
能搭建指标、日志、链路追踪三件套 接口慢能定位到具体服务与 SQL
能解释 asyncio 事件循环的底层实现 说出 epoll/kqueue 与协程切换成本
能评估 PyPy 与 CPython 3.11+ 的适用边界 给一段代码选对运行时
能识别常见安全风险(注入、越权、敏感数据) 代码 review 找出问题

建议学时:按方向选学,每个方向 10–15 小时;全职选 2–3 个方向约 30–40 小时,在职按 2 倍折算。

学时分配建议:分布式事务 20%、服务化拆分与 gRPC 15%、可观测性 20%、并发底层 15%、性能工程 15%、安全合规 15%。

三、先修自检

先修项 合格标准 不合格时回到
阶段 6 异步与性能 理解事件循环与 GIL 08.7 阶段 6
阶段 5 数据层 理解事务与连接池 08.6 阶段 5
阶段 7 部署 能完成容器化部署 08.8 阶段 7

四、知识地图

模块 知识点 掌握程度 对应题库章节
分布式事务 CAP、BASE、最终一致性、TCC、Saga 能讲清原理 09.6 分布式事务
服务化拆分 微服务边界、gRPC、服务发现 了解 11.1 全链路设计
可观测性 指标、日志、链路追踪、Prometheus/Grafana 会用 08.4 CI/CD 与可观测性
并发底层 epoll、协程切换、锁原语 能讲清原理 09.1 高并发基础
性能工程 CPython 3.11+ 加速、PyPy、C 扩展 了解 09.1 高并发基础
安全 SQL 注入、越权、敏感数据、依赖漏洞 会用 11.4 安全与合规

进度管理建议:本阶段按岗位方向选学,不要全学。《知识点全清单》不展开本阶段内容。

五、分模块精讲

5.1 分布式事务与最终一致性

为什么需要它:单库事务靠 ACID,跨库跨服务时 XA 两阶段提交性能差、耦合紧。大部分业务用最终一致性(本地消息表、Saga、TCC)即可。

核心机制:

  • CAP:一致性、可用性、分区容忍性三者不可兼得;网络分区必然发生,只能在 C 与 A 间取舍。
  • BASE:基本可用、软状态、最终一致;是 AP 方向的实践。
  • 本地消息表:业务表与消息表在同一事务提交,后台任务扫消息表投递,保证可靠。
  • Saga:长事务拆成多个本地事务,每步配补偿动作;失败时反向回滚。
  • TCC:Try-Confirm-Cancel,业务层实现两阶段,侵入性强。

最小可运行示例:

# 本地消息表模式(伪代码)
# 1. 业务操作与消息插入在同一本地事务
with db.begin():
    db.create_order(order)
    db.insert_outbox("order_created", order.id)

# 2. 后台任务扫 outbox 投递到 MQ
# 3. 消费者处理成功后标记消息已完成

常见坑:

现象 原因 修法
所有业务都上 XA 不接受最终一致 按业务区分,核心资金用强一致,非核心用最终一致
消息投递后消费者没处理 没有重试与幂等 本地消息表 + 重试 + 幂等

面试考法:常问「CAP 怎么选、分布式事务怎么做」。答「业务大部分选 AP 最终一致;核心资金用强一致;方案选本地消息表或 Saga」。

5.2 gRPC 与服务化拆分

为什么需要它:内部服务间调用用 HTTP/JSON 序列化开销大、文档弱。gRPC 用 HTTP/2 + Protocol Buffers,性能好、有强类型契约。

核心机制:

  • gRPC:IDL 定义服务,生成客户端/服务端代码;HTTP/2 多路复用;Protobuf 二进制序列化。
  • 适用:内部高频调用、多语言互通;不适合浏览器直接调用(需 gRPC-Web)。
  • 服务发现:Consul、etcd、Kubernetes Service。

最小可运行示例:

// user.proto
syntax = "proto3";
service UserService {
    rpc GetUser (GetUserRequest) returns (User);
}
message GetUserRequest { int64 id = 1; }
message User { int64 id = 1; string name = 2; }

常见坑:

现象 原因 修法
浏览器不能直接调 gRPC HTTP/2 与 Protobuf 用 gRPC-Web 或网关转 REST

面试考法:常问「gRPC 与 REST 怎么选」。答「内部高频调用选 gRPC;对外、浏览器、简单场景选 REST」。

5.3 可观测性体系

为什么需要它:服务多了,出问题不知道是哪个环节。指标(Metrics)、日志(Logging)、链路追踪(Tracing)三件套缺一不可。

核心机制:

  • Metrics:Prometheus 拉取,Grafana 展示 QPS、延迟、错误率、资源使用率。
  • Logging:结构化日志(JSON),含 request_id,便于检索。
  • Tracing:OpenTelemetry 注入 trace_id,跨服务串联,看每个 span 耗时。
  • 黄金指标:延迟、流量、错误、饱和度。

最小可运行示例:

# FastAPI + OpenTelemetry(伪代码)
from opentelemetry.instrumentation.fastapi import FastAPIInstrumentor

FastAPIInstrumentor.instrument_app(app)   # 自动注入 trace_id

常见坑:

现象 原因 修法
接口慢不知道是哪个服务 没链路追踪 接入 OpenTelemetry
日志无法关联请求 没 request_id 中间件注入 request_id

面试考法:常问「可观测性三件套」。答「指标看趋势、日志看详情、追踪看链路;黄金指标:延迟、流量、错误、饱和度」。

5.4 并发底层原理

为什么需要它:asyncio 不是黑盒,理解事件循环基于 epoll/kqueue,才能定位为什么会卡、为什么 CPU 跑不满。

核心机制:

  • Linux 用 epoll,macOS 用 kqueue,事件循环注册 socket 事件,IO 完成回调唤醒协程。
  • 协程切换是用户态操作,比线程切换轻,但仍有成本。
  • GIL 在每次 IO 等待或固定间隔(默认 5ms)释放。
  • 同步阻塞调用为什么卡事件循环:它没走 epoll,事件循环线程被占住。

最小可运行示例:

# 观察 epoll(Linux)
import selectors
selector = selectors.DefaultSelector()
print(type(selector))   # <class 'selectors.EpollSelector'>

常见坑:

现象 原因 修法
以为 asyncio 用多线程 单线程事件循环 用多进程做 CPU 并行

面试考法:常问「asyncio 底层原理」。答「基于 epoll/kqueue,事件循环注册 IO 事件,协程在 IO 等待时让出,完成后回调唤醒」。

5.5 性能工程与编译器

为什么需要它:CPython 3.11 做了 25% 的性能提升,PyPy 对长时间运行的 CPU 密集任务快几倍。但性能优化首先是算法,不是换编译器。

核心机制:

  • CPython 3.11+:Faster CPython 项目,字节码解释器优化,常见操作提速。
  • PyPy:JIT 编译,长时间运行的 CPU 密集任务快;但启动慢、C 扩展兼容性差。
  • C 扩展:用 Cython 或 Rust 写热点,绕过 GIL。
  • 顺序:先 profile 找热点,再优化算法,最后才是换运行时或 C 扩展。

最小可运行示例:

# 对比运行时
python3.11 -c "import time; t=time.perf_counter(); sum(i*i for i in range(10**7)); print(time.perf_counter()-t)"
pypy3 -c "import time; t=time.perf_counter(); sum(i*i for i in range(10**7)); print(time.perf_counter()-t)"

常见坑:

现象 原因 修法
上 PyPy 后 C 扩展报错 PyPy 不兼容所有 C 扩展 评估依赖兼容性

面试考法:常问「CPython 与 PyPy 怎么选」。答「CPython 生态全、兼容性好;PyPy 适合长时 CPU 密集、无 C 扩展依赖」。

5.6 安全与合规

为什么需要它:上线服务面对真实攻击,注入、越权、敏感数据泄露是高频事故。

核心机制:

  • SQL 注入:用参数化查询,不拼接 SQL。
  • 越权:每个请求校验用户对资源的权限,不能只靠前端隐藏。
  • 敏感数据:密码哈希(bcrypt/argon2)、不返回敏感字段、日志脱敏。
  • 依赖漏洞:pip-audit 检查依赖 CVE。

最小可运行示例:

# 错误:SQL 注入
# db.execute(f"SELECT * FROM users WHERE name = '{name}'")

# 正确:参数化
db.execute(text("SELECT * FROM users WHERE name = :name"), {"name": name})

常见坑:

现象 原因 修法
日志打印密码 没脱敏 日志过滤敏感字段
依赖有 CVE 没检查 pip-audit,定期升级

面试考法:常问「常见安全风险」。答「SQL 注入、越权、敏感数据泄露、依赖漏洞;对应防御:参数化、权限校验、哈希脱敏、依赖扫描」。

六、分层练习

6.1 复现型

练习 要求 验收标准 预计耗时
本地消息表 实现一个订单创建后异步通知的流程 消息不丢 3 小时
接入 Prometheus 给 FastAPI 加 /metrics 端点 Grafana 能看到 QPS 2 小时
pip-audit 扫描项目依赖漏洞 输出 CVE 列表 1 小时

6.2 改造型

练习 要求 验收标准 预计耗时
修 SQL 注入 把拼接 SQL 改成参数化 注入测试用例失败 1 小时
加 request_id 中间件注入 request_id 到日志 日志可关联请求 1.5 小时

6.3 设计型

练习 要求 验收标准 预计耗时
分布式事务方案 给一个「下单扣库存」选方案并说明理由 方案与业务匹配 3 小时
可观测性方案 设计一个微服务的指标/日志/追踪方案 能定位典型故障 3 小时

七、排障表

现象 可能原因 排查步骤 解决办法
分布式事务用 XA 性能差 不接受最终一致 看业务场景 改本地消息表/Saga
接口慢不知道哪个服务 没链路追踪 看 trace_id 接入 OpenTelemetry
日志无法关联 没 request_id 看日志格式 中间件注入
PyPy 跑 C 扩展报错 不兼容 看依赖 评估依赖或换 CPython
SQL 注入 拼接 SQL 看代码 参数化
依赖有 CVE 没定期扫描 pip-audit 升级依赖

八、出口条件

本阶段为可选,勾选后说明已具备高阶方向的认知基础。

  • [ ] 能说清 CAP、BASE 与最终一致性的取舍
  • [ ] 能说清 gRPC 与 REST 的适用场景
  • [ ] 能搭建指标、日志、链路追踪三件套
  • [ ] 能解释 asyncio 基于 epoll 的底层模型
  • [ ] 能评估 PyPy 与 CPython 3.11+ 的适用边界
  • [ ] 能识别 SQL 注入、越权、敏感数据泄露风险
  • [ ] 能按岗位方向选学 2–3 个进阶主题

自测题(先自己想,再看要点):

  1. CAP 中网络分区发生时怎么选?
    • 要点:网络分区必然发生,只能在 C 与 A 间取舍;业务大部分选 AP 最终一致。
  2. gRPC 与 REST 怎么选?
    • 要点:内部高频调用选 gRPC;对外、浏览器、简单场景选 REST。
  3. 可观测性三件套是什么?
    • 要点:Metrics、Logging、Tracing;黄金指标:延迟、流量、错误、饱和度。
  4. asyncio 底层基于什么?
    • 要点:Linux epoll、macOS kqueue;事件循环注册 IO 事件,协程让出与唤醒。
  5. CPython 3.11 与 PyPy 的适用边界?
    • 要点:CPython 生态全;PyPy 适合长时 CPU 密集、无 C 扩展依赖。
  6. SQL 注入怎么防?
    • 要点:参数化查询,不拼接 SQL。
  7. 为什么分布式事务大部分用最终一致?
    • 要点:XA 两阶段提交性能差、耦合紧;业务能接受短暂不一致,最终一致即可。