首页  

flink基础     所属分类 flink 浏览量 1048
两种流处理API
面向无界Stream的流处理
面向Batch的批处理API

应用框架层
CEP 事件处理模型
Table 类SQL操作
FlinkML 机器学习库

优势
支持高吞吐,低延迟,高性能
支持高度灵活的窗口(Window)操作
支持有状态计算的Exactly-once语义
提供DataStream API和DataSet API


部署模式 
本地模式,集群模式(YARN),云
Local  
Standalone Cluster 
Yarn Cluster


DataStream

source  
    fromCollection
    readFile
    socketText
    自定义 addSource    扩展接口 SourceFunction
    
transformation
    map           一对一
    flatMap       一对多
    filter        过滤
    keyBy      将流划分成不相交区域
    reduce     
    fold
    aggregate   min max sum count minBy maxBy
    windowFunction  窗口函数
sink        扩展接口  RichSinkFunciton  open close invoke



Time   
发生时间  event time  
处理时间  processing time
摄取时间  ingestion time 

window
时间窗口 Time Window     滚动 tumbling 滑动 sliding
计数窗口 count Window    滚动  滑动
会话窗口 session window

滚动窗口(不重叠)
滑动窗口 (有重叠)
会话窗口 (由不活动的间隙所打断)



并行度 parallelism 
槽 slot

状态 state
flink 管理 managed state 
     keyed  state
     operator state
用户管理 Raw state

检查点  checkpoint
保存点  savepoint
状态恢复   state recovery

上一篇     下一篇
parquet基本原理

H2数据库使用

ORC文件格式

装逼词汇大全

springboot 使用 servlet 过滤器

springboot 使用 拦截器