flink基础
所属分类 flink
浏览量 1189
两种流处理API
面向无界Stream的流处理
面向Batch的批处理API
应用框架层
CEP 事件处理模型
Table 类SQL操作
FlinkML 机器学习库
优势
支持高吞吐,低延迟,高性能
支持高度灵活的窗口(Window)操作
支持有状态计算的Exactly-once语义
提供DataStream API和DataSet API
部署模式
本地模式,集群模式(YARN),云
Local
Standalone Cluster
Yarn Cluster
DataStream
source
fromCollection
readFile
socketText
自定义 addSource 扩展接口 SourceFunction
transformation
map 一对一
flatMap 一对多
filter 过滤
keyBy 将流划分成不相交区域
reduce
fold
aggregate min max sum count minBy maxBy
windowFunction 窗口函数
sink 扩展接口 RichSinkFunciton open close invoke
Time
发生时间 event time
处理时间 processing time
摄取时间 ingestion time
window
时间窗口 Time Window 滚动 tumbling 滑动 sliding
计数窗口 count Window 滚动 滑动
会话窗口 session window
滚动窗口(不重叠)
滑动窗口 (有重叠)
会话窗口 (由不活动的间隙所打断)
并行度 parallelism
槽 slot
状态 state
flink 管理 managed state
keyed state
operator state
用户管理 Raw state
检查点 checkpoint
保存点 savepoint
状态恢复 state recovery
上一篇
下一篇
parquet基本原理
H2数据库使用
ORC文件格式
装逼词汇大全
springboot 使用 servlet 过滤器
springboot 使用 拦截器