CDC Change Data Capture
所属分类 flink
浏览量 65
CDC Change Data Capture 变更数据获取
监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),
将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。
CDC有两种方式,一种是离线的,一种是实时的, 基于查询 基于Binlog
基于查询
sqoop,kafka-jdbc-source
执行模式 batch
不能捕获所有数据变化
高延迟 对数据库压力大
基于Binlog
canal maxwell debezium
执行模式 streaming
可捕获所有数据变化
低延迟 对数据库压力小
Debezium
Debezium is an open source distributed platform for change data capture.
Start it up, point it at your databases, and your apps can start responding to all of the inserts, updates,
and deletes that other apps commit to your databases.
Debezium is durable and fast, so your apps can respond quickly and never miss an event, even when things go wrong.
Debezium 是一个独立的开源项目,专注于提供 Change Data Capture(CDC)的解决方案。
Debezium 支持多种数据库,包括 MySQL、PostgreSQL、MongoDB 等。
它通过连接到数据库的事务日志,实时捕获数据库中的变更,然后将这些变更事件发送到消息队列(如 Apache Kafka)中
上一篇
下一篇
flink currentEmitEventTimeLag
flink集群停止和启动
Flink 任务 Tasks 和 任务槽 Task Slots
dolphinscheduler配置说明
Sec-WebSocket-Key 说明
WebSocket介绍