关于流计算的若干想法  
   
所属分类 architecture
浏览量 1316
不一定对 ,仅供参考
 
有状态的流处理  难点 各种检查点 保存点 本地存储 远端存储 宕机故障恢复
计算和存储合并
存储是核心 , 可以在存储上加计算功能 ,譬如加流计算
为各种场景优化的存储
influxdb 为时序数据处理优化的存储
es是为搜索优化的存储
为OLAP优化的 列存数据库
为OLTP 优化的 关系数据库
aerospike 是一个不错的适用于流处理结构的存储
不过还可优化 扩展 , 譬如现在剔除分片 只能遍历所有分片 ,不能直接找到最老的分片直接剔除
flink最后的归宿  或许是 分布式流处理专用存储
离线处理 hadoop  在数据上计算 被嫌弃 (主要原因还是太重)
云端的数据仓库  snowflake  , 存储和计算分离
存储和计算 到底是合还是分?
离线  存储和计算分离  
实时  存储和计算合并,否则性能不行
 上一篇  
   
 下一篇  
 springcloud zuul 简介 
 SpringBoot注册Servlet的三种方式 
 springboot获取内置tomcat端口 
 SpringBoot admin 简介 
 spring如何解决循环依赖 
 Spring的BeanFactoryPostProcessor和BeanPostProcessor