flink-doris-connector 和 flink-cdc-pipeline-connector-doris 的区别
所属分类 flink
浏览量 93
Apache Doris Flink Connector 24.0.0 版本正式发布
https://segmentfault.com/a/1190000045264306
https://blog.csdn.net/SelectDB_Fly/article/details/142146490
https://mvnrepository.com/artifact/org.apache.doris/flink-doris-connector-1.18
org.apache.doris:flink-doris-connector-1.18:24.0.0
https://repo1.maven.org/maven2/org/apache/doris/flink-doris-connector-1.18/24.0.0/flink-doris-connector-1.18-24.0.0.jar
https://nightlies.apache.org/flink/flink-cdc-docs-release-3.2/zh/docs/get-started/quickstart/mysql-to-doris/
flink-cdc-pipeline-connector-doris-3.1.0.jar
https://metaso.cn/s/g9cMVb6
flink-doris-connector 和 flink-cdc-pipeline-connector-doris 是两个不同的连接器,用于不同的场景和目的。
flink-doris-connector:
这是一个用于将数据从Flink写入Apache Doris的连接器。它允许Flink作业将数据流直接写入Doris数据库中。
这个连接器主要用于数据同步和ETL(提取、转换、加载)操作,确保数据从Flink流处理作业中无缝传输到Doris数据库中。
flink-doris-connector 用于将数据从Flink写入Doris的官方连接器,并且有详细的版本兼容性说明。
flink-cdc-pipeline-connector-doris:
这是一个基于Flink CDC(Change Data Capture)的连接器,专门用于处理数据变更流。
它通过捕获数据库中的变更数据(如插入、更新、删除操作),并将这些变更数据流式传输到Flink中进行进一步处理或直接写入Doris。
flink-cdc-pipeline-connector-doris 用于处理Doris数据库中的schema变更,并且在运行中执行了column修改后,同步任务可能会出现问题。
flinkcdc 修改column问题
doris 2.1.4
flink 1.19.1
flink-cdc 3.1.1
flink-cdc-pipeline-connector-doris-3.1.1
使用Pipeline管道提交的Yaml作业,
在运行中执行了column修改alter table user change state states smallint not null default 0出现了问题,
导致后面的数据都无法同步。
https://ask.selectdb.com/questions/D1wg1/pipeline-ti-jiao-de-zuo-ye-xiu-gai-column-wen-ti
上一篇
下一篇
xxljob2.4.1本地部署
少儿体态体能姿势
xxljob2.4.1 表结构
spring里的工具类
flinkcdc3 数据同步测试
flink currentEmitEventTimeLag