05.10.3 数据同步 CDC
所属:全栈开发面试题库 / 05 数据库与存储 / 05.10 数仓建模与 ETL
覆盖范围
- CDC 概念与全量/增量
- Canal、Debezium、Flink CDC 原理
- Binlog 解析与位点
- 全量初始化 + 增量同步
- 一致性与幂等
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.10.3-001 | CDC 是什么,和定时拉取区别 | 基础 | ★★★★★ |
| 05.10.3-002 | Canal 和 Debezium 原理 | 进阶 | ★★★★ |
| 05.10.3-003 | Flink CDC 怎么实现全量+增量 | 进阶 | ★★★★ |
| 05.10.3-004 | Binlog 位点怎么管理 | 进阶 | ★★★ |
| 05.10.3-005 | CDC 数据如何保证幂等 | 进阶 | ★★★ |
05.10.3-001 CDC 是什么?和定时拉取有什么区别?
频率 ★★★★★ | 难度 基础
一句话结论
CDC(Change Data Capture,变更数据捕获)监听数据库变更日志(binlog/WAL),把 insert/update/delete 实时推下游;定时拉取按时间戳轮询,延迟高、易丢数据;CDC 是近实时同步。
常见误区
- 误区:CDC 是触发器。正解:CDC 一般基于日志解析,不在业务表加触发器,不影响业务。
05.10.3-002 Canal 和 Debezium 原理是什么?
频率 ★★★★ | 难度 进阶
一句话结论
Canal 模拟 MySQL 从库,伪装成 slave 拉取 binlog 并解析;Debezium 是 Kafka Connect 连接器,解析 MySQL binlog/PG WAL 并输出到 Kafka;两者都解析日志,Debezium 生态更通用。
常见误区
- 误区:Canal 直接写业务库。正解:Canal 伪装成从库读 binlog。
05.10.3-003 Flink CDC 怎么实现全量+增量?
频率 ★★★★ | 难度 进阶
一句话结论
Flink CDC 2.0+ 通过 chunk 算法:先把表按主键分片,逐片快照读全量,同时在快照期间记录 binlog 位点,快照完成后无缝切换到增量读,实现无锁全量+增量。
常见误区
- 误区:全量和增量分两步。正解:Flink CDC 一体衔接,避免快照与增量之间的窗口丢数据。
05.10.3-004 Binlog 位点怎么管理?
频率 ★★★ | 难度 进阶
一句话结论
位点(binlog file + position)持久化在 Kafka offset 或 Checkpoint,故障重启从上次位点继续;定期清理旧 binlog 前确保位点已推进,避免丢数据。
05.10.3-005 CDC 数据如何保证幂等?
频率 ★★★ | 难度 进阶
一句话结论
下游按主键 upsert,重放重复事件不会产生重复;删除事件用软删除或按主键 delete;下游表用主键模型(如 Doris Unique、Iceberg upsert)。
05.10.3-006 CDC 支持 DDL 变更吗?
频率 ★★★ | 难度 进阶
一句话结论
多数 CDC 工具默认只同步 DML,DDL(加列、改列)需要单独处理:Canal 需配置 DDL 监听,Debezium 支持 schema 变更事件,下游表需手动加列;生产中 DDL 要先改下游再同步。
05.10.3-007 PG 用什么做 CDC?
频率 ★★ | 难度 进阶
一句话结论
PostgreSQL 用逻辑复制槽(logical replication slot)+ 输出插件(test_decoding/pgoutput),Debezium 封装;复制槽保留 WAL,延迟过大需清理,否则撑爆磁盘。
05.10.3-008 CDC 数据顺序怎么保证?
频率 ★★★ | 难度 进阶
一句话结论
单表 binlog 是有序的,按主键 hash 分区到 Kafka 分区可保证同 key 有序;多表 JOIN 的顺序由 binlog 位点保证,下游按位点消费。
05.10.3-009 大表全量初始化怎么做?
频率 ★★★ | 难度 进阶
一句话结论
大表全量导出用 SELECT ... INTO OUTFILE 或 mysqldump 分片导出,避免锁表;Flink CDC 2.0+ 无锁分片读,不阻塞业务。
05.10.3-010 CDC 延迟过大怎么排查?
频率 ★★★ | 难度 进阶
一句话结论
检查 Kafka 消费组 lag、下游写入瓶颈、binlog 堆积、网络带宽;大事务(一条 binlog 几百 MB)会卡住后续同步,需拆小事务。
典型场景与代码示例
Canal 架构
MySQL 主库
-> Canal Server(伪装成从库,拉取 binlog)
-> Kafka(解析后的变更事件)
-> Flink/消费程序
-> 目标库(Hive/Doris/CK)
Debezium 架构
MySQL/PG
-> Debezium Connector(Kafka Connect)
-> Kafka topic(每个表一个 topic)
-> 消费者
事件格式:
{
"op": "c", // c=create, u=update, d=delete
"before": null,
"after": {"id": 1, "name": "张三"},
"source": {"file": "mysql-bin.00001", "pos": 12345}
}
Flink CDC 全量+增量
1. 全量阶段:按主键分片读全表
同时记录 binlog 位点
2. 增量阶段:从记录位点消费 binlog
3. 无缝切换:全量完成后自动切增量
4. 输出到下游(Iceberg/Doris/CK)
面试高频追问
问:CDC 和定时拉取有什么区别?
答:CDC 监听日志实时推送,延迟秒级;定时拉取按时间戳轮询,延迟高、易丢数据。
问:Canal 和 Debezium 怎么选?
答:Canal 是 MySQL 专用、简单;Debezium 是 Kafka Connect 连接器、支持多数据库、生态通用。
问:Flink CDC 怎么实现全量+增量?
答:先分片读全表,同时记录 binlog 位点,全量完成后无缝切增量;无锁不阻塞业务。
问:CDC 怎么保证幂等?
答:下游按主键 upsert,重放重复事件不产生重复;删除事件按主键 delete。
核心要点速记
| 工具 | 原理 | 适用 |
|---|---|---|
| Canal | 伪装从库拉 binlog | MySQL 专用 |
| Debezium | Kafka Connect 解析 binlog/WAL | 多数据库 |
| Flink CDC | 无锁分片读 + 增量 | 全量+增量一体 |
CDC 关键概念:
- 位点(binlog file + position):持久化,故障续传
- 幂等:下游按主键 upsert
- DDL:默认不同步,需单独处理
一句话记忆:CDC 是近实时同步的首选;全量用 Flink CDC,增量用 Canal/Debezium。
相关概念辨析
Canal vs Debezium
| 维度 | Canal | Debezium |
|---|---|---|
| 来源 | 阿里 | Red Hat |
| 支持源 | MySQL | MySQL/PG/MongoDB |
| 生态 | 独立 | Kafka Connect |
| 复杂度 | 轻量 | 较重 |
| 适合 | MySQL 单源 | 多源 |
全量 vs 增量
- 全量:一次性同步所有数据,适合初始化。
- 增量:同步变化数据,适合持续同步。
- 选择:首次全量+后续增量。
05.10.3-009 binlog 为什么必须用 ROW 模式?
频率 ★★★★ | 难度 进阶
一句话结论
STATEMENT 模式记录 SQL 语句,CDC 无法解析具体行变更;ROW 模式记录每行变更的前后镜像,CDC 才能准确同步。
概念解释
- STATEMENT:记录 SQL 语句,如 UPDATE t SET ... WHERE id=1。
- ROW:记录每行变更的前后值,如 id=1, col=old -> col=new。
- CDC 需求:要知道哪一行变了,变成什么值。
原理流程
- STATEMENT:CDC 只能拿到 SQL,无法解析具体行。
- ROW:CDC 拿到每行变更的前后镜像,直接同步。
- MIXED:混合模式,自动选择,不适合 CDC。
常见误区
- 误区:MIXED 模式也能 CDC。正解:MIXED 可能用 STATEMENT,CDC 无法解析。
追问延伸
- binlog 格式:my.cnf 设置 binlog_format=ROW。
- ROW 模式体积大:但 CDC 必须用 ROW。
05.10.3-010 CDC 数据延迟怎么监控?
频率 ★★★ | 难度 进阶
一句话结论
监控 CDC 延迟:1)记录 binlog 位点时间和当前时间差;2)监控 Kafka lag;3)延迟超阈值告警。
概念解释
- binlog 位点:CDC 读取的 binlog 文件和位置。
- 延迟:当前时间 - binlog 位点时间。
- 告警:延迟超过阈值(如 30 秒)告警。
原理流程
- CDC 记录读取的 binlog 位点时间戳。
- 计算延迟 = now() - binlog_timestamp。
- 延迟 > 30 秒,告警企业微信/钉钉。
常见误区
- 误区:CDC 实时性 100%。正解:延迟通常秒级,网络抖动会更大。
追问延伸
- 延迟原因:网络抖动、下游消费慢、binlog 写入延迟。
- 补偿:延迟过大时手动触发全量同步。
05.10.3-011 Schema 变更对 CDC 有什么影响?
频率 ★★ | 难度 高级
一句话结论
Schema 变更(加列、改列类型)对 CDC 有影响:1)加列 CDC 自动兼容;2)改列类型可能导致数据截断;3)删列要通知下游。
概念解释
- 加列:CDC 自动识别新列,下游表也要加列。
- 改列类型:如 INT 改 BIGINT,CDC 同步时可能数据截断。
- 删列:下游表还有旧列,要同步删除。
原理流程
- 业务库加列:CDC 自动识别,下游表也要加列。
- 业务库改列类型:CDC 同步时可能数据截断,要先在测试环境验证。
- 业务库删列:通知下游删除对应列。
常见误区
- 误区:Schema 变更不影响 CDC。正解:Schema 变更要同步通知下游。
追问延伸
- Schema 变更流程:业务库变更 -> CDC 兼容 -> 下游表变更 -> 验证。
- Debezium 支持 Schema 历史:记录 Schema 变更历史。
05.10.3-012 全量和增量同步怎么切换?
频率 ★★★ | 难度 进阶
一句话结论
全量+增量:首次全量初始化,记录 binlog 位点;后续从位点开始增量同步;切换时先暂停业务,确认位点一致,再启动增量。
概念解释
- 全量:一次性导出所有数据,适合初始化。
- 增量:从 binlog 位点开始同步变化数据。
- 切换:全量导出后,记录 binlog 位点,后续从位点开始。
原理流程
- 全量导出:mysqldump 导出所有数据,记录 binlog 位点。
- 导入目标库:全量数据导入目标库。
- 增量同步:从记录的 binlog 位点开始同步。
常见误区
- 误区:全量和增量可以同时跑。正解:全量导出时要记录位点,否则增量会重复数据。
追问延伸
- 位点记录:mysqldump --master-data=2 自动记录位点。
- 一致性:全量导出和位点记录要在同一时间点。
待整理清单
- [ ] PG 逻辑复制槽与 slot 延迟
- [ ] DDL 同步的处理
- [ ] CDC 到 Iceberg/Hudi 的落地