flink currentEmitEventTimeLag
所属分类 flink
浏览量 96
currentEmitEventTimeLag 是 Flink 中的一个指标,用于衡量数据从数据库(DB)产生到离开 Source 节点的时间延迟。
这个指标记录的是 Source 发送一条记录到下游节点的时间点与该记录在数据库中产生时间点之间的差值。
可以帮助用户判断数据从数据库到 Flink 系统的延迟情况,从而评估数据处理的实时性。
在 Flink CDC(Change Data Capture)中,currentEmitEventTimeLag 指标特别有用,
可以帮助用户了解数据从数据库到 Flink 系统的延迟情况。
可以通过监控这个指标来判断数据同步的阶段,特别是在全量阶段完成后,可以通过这个指标来判断数据同步的实时性。
currentEmitEventTimeLag = EmitTime - EventTime
EmitTime 记录被发送到下游节点的时间
EventTime 记录在数据库中产生的时间
这个指标在 Flink 的 Kafka Connector 中也有应用,用于测量从记录事件时间戳到源连接器发出记录的时间跨度。
在实际应用中,可以通过 Flink 的 Metrics 系统来获取 currentEmitEventTimeLag 指标的值。
如果出现指标名称冲突的情况,可能会导致指标无法正常记录,
currentEmitEventTimeLag 指标名称冲突会导致该指标无法被记录。
上一篇
下一篇
flink-doris-connector 和 flink-cdc-pipeline-connector-doris 的区别
spring里的工具类
flinkcdc3 数据同步测试
flink集群停止和启动
Flink 任务 Tasks 和 任务槽 Task Slots
CDC Change Data Capture