首页  

CDC Change Data Capture     所属分类 flink 浏览量 65
CDC  Change Data Capture 变更数据获取
监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),
将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。

CDC有两种方式,一种是离线的,一种是实时的, 基于查询  基于Binlog 

  
基于查询
sqoop,kafka-jdbc-source   
执行模式 batch
不能捕获所有数据变化 
高延迟 对数据库压力大 


基于Binlog
canal maxwell debezium 
执行模式 streaming 
可捕获所有数据变化 
低延迟 对数据库压力小


Debezium Debezium is an open source distributed platform for change data capture. Start it up, point it at your databases, and your apps can start responding to all of the inserts, updates, and deletes that other apps commit to your databases. Debezium is durable and fast, so your apps can respond quickly and never miss an event, even when things go wrong. Debezium 是一个独立的开源项目,专注于提供 Change Data Capture(CDC)的解决方案。 Debezium 支持多种数据库,包括 MySQL、PostgreSQL、MongoDB 等。 它通过连接到数据库的事务日志,实时捕获数据库中的变更,然后将这些变更事件发送到消息队列(如 Apache Kafka)中

上一篇     下一篇
flink currentEmitEventTimeLag

flink集群停止和启动

Flink 任务 Tasks 和 任务槽 Task Slots

dolphinscheduler配置说明

Sec-WebSocket-Key 说明

WebSocket介绍