罗罗编程学习记录
本页内容 展开查看

05.10.3 数据同步 CDC

所属:全栈开发面试题库 / 05 数据库与存储 / 05.10 数仓建模与 ETL

覆盖范围

  • CDC 概念与全量/增量
  • Canal、Debezium、Flink CDC 原理
  • Binlog 解析与位点
  • 全量初始化 + 增量同步
  • 一致性与幂等

高频题速览

编号 题目 难度 频率
05.10.3-001 CDC 是什么,和定时拉取区别 基础 ★★★★★
05.10.3-002 Canal 和 Debezium 原理 进阶 ★★★★
05.10.3-003 Flink CDC 怎么实现全量+增量 进阶 ★★★★
05.10.3-004 Binlog 位点怎么管理 进阶 ★★★
05.10.3-005 CDC 数据如何保证幂等 进阶 ★★★

05.10.3-001 CDC 是什么?和定时拉取有什么区别?

频率 ★★★★★ | 难度 基础

一句话结论

CDC(Change Data Capture,变更数据捕获)监听数据库变更日志(binlog/WAL),把 insert/update/delete 实时推下游;定时拉取按时间戳轮询,延迟高、易丢数据;CDC 是近实时同步。

常见误区

  • 误区:CDC 是触发器。正解:CDC 一般基于日志解析,不在业务表加触发器,不影响业务。

05.10.3-002 Canal 和 Debezium 原理是什么?

频率 ★★★★ | 难度 进阶

一句话结论

Canal 模拟 MySQL 从库,伪装成 slave 拉取 binlog 并解析;Debezium 是 Kafka Connect 连接器,解析 MySQL binlog/PG WAL 并输出到 Kafka;两者都解析日志,Debezium 生态更通用。

常见误区

  • 误区:Canal 直接写业务库。正解:Canal 伪装成从库读 binlog。

频率 ★★★★ | 难度 进阶

一句话结论

Flink CDC 2.0+ 通过 chunk 算法:先把表按主键分片,逐片快照读全量,同时在快照期间记录 binlog 位点,快照完成后无缝切换到增量读,实现无锁全量+增量。

常见误区

  • 误区:全量和增量分两步。正解:Flink CDC 一体衔接,避免快照与增量之间的窗口丢数据。

05.10.3-004 Binlog 位点怎么管理?

频率 ★★★ | 难度 进阶

一句话结论

位点(binlog file + position)持久化在 Kafka offset 或 Checkpoint,故障重启从上次位点继续;定期清理旧 binlog 前确保位点已推进,避免丢数据。


05.10.3-005 CDC 数据如何保证幂等?

频率 ★★★ | 难度 进阶

一句话结论

下游按主键 upsert,重放重复事件不会产生重复;删除事件用软删除或按主键 delete;下游表用主键模型(如 Doris Unique、Iceberg upsert)。


05.10.3-006 CDC 支持 DDL 变更吗?

频率 ★★★ | 难度 进阶

一句话结论

多数 CDC 工具默认只同步 DML,DDL(加列、改列)需要单独处理:Canal 需配置 DDL 监听,Debezium 支持 schema 变更事件,下游表需手动加列;生产中 DDL 要先改下游再同步。


05.10.3-007 PG 用什么做 CDC?

频率 ★★ | 难度 进阶

一句话结论

PostgreSQL 用逻辑复制槽(logical replication slot)+ 输出插件(test_decoding/pgoutput),Debezium 封装;复制槽保留 WAL,延迟过大需清理,否则撑爆磁盘。


05.10.3-008 CDC 数据顺序怎么保证?

频率 ★★★ | 难度 进阶

一句话结论

单表 binlog 是有序的,按主键 hash 分区到 Kafka 分区可保证同 key 有序;多表 JOIN 的顺序由 binlog 位点保证,下游按位点消费。


05.10.3-009 大表全量初始化怎么做?

频率 ★★★ | 难度 进阶

一句话结论

大表全量导出用 SELECT ... INTO OUTFILE 或 mysqldump 分片导出,避免锁表;Flink CDC 2.0+ 无锁分片读,不阻塞业务。


05.10.3-010 CDC 延迟过大怎么排查?

频率 ★★★ | 难度 进阶

一句话结论

检查 Kafka 消费组 lag、下游写入瓶颈、binlog 堆积、网络带宽;大事务(一条 binlog 几百 MB)会卡住后续同步,需拆小事务。

典型场景与代码示例

Canal 架构

MySQL 主库
  -> Canal Server(伪装成从库,拉取 binlog)
  -> Kafka(解析后的变更事件)
  -> Flink/消费程序
  -> 目标库(Hive/Doris/CK)

Debezium 架构

MySQL/PG
  -> Debezium Connector(Kafka Connect)
  -> Kafka topic(每个表一个 topic)
  -> 消费者

事件格式:
  {
    "op": "c",  // c=create, u=update, d=delete
    "before": null,
    "after": {"id": 1, "name": "张三"},
    "source": {"file": "mysql-bin.00001", "pos": 12345}
  }
1. 全量阶段:按主键分片读全表
   同时记录 binlog 位点
2. 增量阶段:从记录位点消费 binlog
3. 无缝切换:全量完成后自动切增量
4. 输出到下游(Iceberg/Doris/CK)

面试高频追问

问:CDC 和定时拉取有什么区别?

答:CDC 监听日志实时推送,延迟秒级;定时拉取按时间戳轮询,延迟高、易丢数据。

问:Canal 和 Debezium 怎么选?

答:Canal 是 MySQL 专用、简单;Debezium 是 Kafka Connect 连接器、支持多数据库、生态通用。

答:先分片读全表,同时记录 binlog 位点,全量完成后无缝切增量;无锁不阻塞业务。

问:CDC 怎么保证幂等?

答:下游按主键 upsert,重放重复事件不产生重复;删除事件按主键 delete。

核心要点速记

工具 原理 适用
Canal 伪装从库拉 binlog MySQL 专用
Debezium Kafka Connect 解析 binlog/WAL 多数据库
Flink CDC 无锁分片读 + 增量 全量+增量一体

CDC 关键概念:

  • 位点(binlog file + position):持久化,故障续传
  • 幂等:下游按主键 upsert
  • DDL:默认不同步,需单独处理

一句话记忆:CDC 是近实时同步的首选;全量用 Flink CDC,增量用 Canal/Debezium。

相关概念辨析

Canal vs Debezium

维度 Canal Debezium
来源 阿里 Red Hat
支持源 MySQL MySQL/PG/MongoDB
生态 独立 Kafka Connect
复杂度 轻量 较重
适合 MySQL 单源 多源

全量 vs 增量

  • 全量:一次性同步所有数据,适合初始化。
  • 增量:同步变化数据,适合持续同步。
  • 选择:首次全量+后续增量。

05.10.3-009 binlog 为什么必须用 ROW 模式?

频率 ★★★★ | 难度 进阶

一句话结论

STATEMENT 模式记录 SQL 语句,CDC 无法解析具体行变更;ROW 模式记录每行变更的前后镜像,CDC 才能准确同步。

概念解释

  • STATEMENT:记录 SQL 语句,如 UPDATE t SET ... WHERE id=1。
  • ROW:记录每行变更的前后值,如 id=1, col=old -> col=new。
  • CDC 需求:要知道哪一行变了,变成什么值。

原理流程

  1. STATEMENT:CDC 只能拿到 SQL,无法解析具体行。
  2. ROW:CDC 拿到每行变更的前后镜像,直接同步。
  3. MIXED:混合模式,自动选择,不适合 CDC。

常见误区

  • 误区:MIXED 模式也能 CDC。正解:MIXED 可能用 STATEMENT,CDC 无法解析。

追问延伸

  • binlog 格式:my.cnf 设置 binlog_format=ROW。
  • ROW 模式体积大:但 CDC 必须用 ROW。

05.10.3-010 CDC 数据延迟怎么监控?

频率 ★★★ | 难度 进阶

一句话结论

监控 CDC 延迟:1)记录 binlog 位点时间和当前时间差;2)监控 Kafka lag;3)延迟超阈值告警。

概念解释

  • binlog 位点:CDC 读取的 binlog 文件和位置。
  • 延迟:当前时间 - binlog 位点时间。
  • 告警:延迟超过阈值(如 30 秒)告警。

原理流程

  1. CDC 记录读取的 binlog 位点时间戳。
  2. 计算延迟 = now() - binlog_timestamp。
  3. 延迟 > 30 秒,告警企业微信/钉钉。

常见误区

  • 误区:CDC 实时性 100%。正解:延迟通常秒级,网络抖动会更大。

追问延伸

  • 延迟原因:网络抖动、下游消费慢、binlog 写入延迟。
  • 补偿:延迟过大时手动触发全量同步。

05.10.3-011 Schema 变更对 CDC 有什么影响?

频率 ★★ | 难度 高级

一句话结论

Schema 变更(加列、改列类型)对 CDC 有影响:1)加列 CDC 自动兼容;2)改列类型可能导致数据截断;3)删列要通知下游。

概念解释

  • 加列:CDC 自动识别新列,下游表也要加列。
  • 改列类型:如 INT 改 BIGINT,CDC 同步时可能数据截断。
  • 删列:下游表还有旧列,要同步删除。

原理流程

  1. 业务库加列:CDC 自动识别,下游表也要加列。
  2. 业务库改列类型:CDC 同步时可能数据截断,要先在测试环境验证。
  3. 业务库删列:通知下游删除对应列。

常见误区

  • 误区:Schema 变更不影响 CDC。正解:Schema 变更要同步通知下游。

追问延伸

  • Schema 变更流程:业务库变更 -> CDC 兼容 -> 下游表变更 -> 验证。
  • Debezium 支持 Schema 历史:记录 Schema 变更历史。

05.10.3-012 全量和增量同步怎么切换?

频率 ★★★ | 难度 进阶

一句话结论

全量+增量:首次全量初始化,记录 binlog 位点;后续从位点开始增量同步;切换时先暂停业务,确认位点一致,再启动增量。

概念解释

  • 全量:一次性导出所有数据,适合初始化。
  • 增量:从 binlog 位点开始同步变化数据。
  • 切换:全量导出后,记录 binlog 位点,后续从位点开始。

原理流程

  1. 全量导出:mysqldump 导出所有数据,记录 binlog 位点。
  2. 导入目标库:全量数据导入目标库。
  3. 增量同步:从记录的 binlog 位点开始同步。

常见误区

  • 误区:全量和增量可以同时跑。正解:全量导出时要记录位点,否则增量会重复数据。

追问延伸

  • 位点记录:mysqldump --master-data=2 自动记录位点。
  • 一致性:全量导出和位点记录要在同一时间点。

待整理清单

  • [ ] PG 逻辑复制槽与 slot 延迟
  • [ ] DDL 同步的处理
  • [ ] CDC 到 Iceberg/Hudi 的落地