首页  

关于流计算的若干想法     所属分类 architecture 浏览量 975
不一定对 ,仅供参考

 

有状态的流处理  难点 各种检查点 保存点 本地存储 远端存储 宕机故障恢复
计算和存储合并
存储是核心 , 可以在存储上加计算功能 ,譬如加流计算


为各种场景优化的存储
influxdb 为时序数据处理优化的存储
es是为搜索优化的存储
为OLAP优化的 列存数据库
为OLTP 优化的 关系数据库

aerospike 是一个不错的适用于流处理结构的存储
不过还可优化 扩展 , 譬如现在剔除分片 只能遍历所有分片 ,不能直接找到最老的分片直接剔除

flink最后的归宿  或许是 分布式流处理专用存储

离线处理 hadoop  在数据上计算 被嫌弃 (主要原因还是太重)
云端的数据仓库  snowflake  , 存储和计算分离

存储和计算 到底是合还是分?

离线  存储和计算分离  
实时  存储和计算合并,否则性能不行

上一篇     下一篇
springcloud zuul 简介

SpringBoot注册Servlet的三种方式

springboot获取内置tomcat端口

SpringBoot admin 简介

spring如何解决循环依赖

Spring的BeanFactoryPostProcessor和BeanPostProcessor