关于流计算的若干想法
所属分类 architecture
浏览量 975
不一定对 ,仅供参考
有状态的流处理 难点 各种检查点 保存点 本地存储 远端存储 宕机故障恢复
计算和存储合并
存储是核心 , 可以在存储上加计算功能 ,譬如加流计算
为各种场景优化的存储
influxdb 为时序数据处理优化的存储
es是为搜索优化的存储
为OLAP优化的 列存数据库
为OLTP 优化的 关系数据库
aerospike 是一个不错的适用于流处理结构的存储
不过还可优化 扩展 , 譬如现在剔除分片 只能遍历所有分片 ,不能直接找到最老的分片直接剔除
flink最后的归宿 或许是 分布式流处理专用存储
离线处理 hadoop 在数据上计算 被嫌弃 (主要原因还是太重)
云端的数据仓库 snowflake , 存储和计算分离
存储和计算 到底是合还是分?
离线 存储和计算分离
实时 存储和计算合并,否则性能不行
上一篇
下一篇
springcloud zuul 简介
SpringBoot注册Servlet的三种方式
springboot获取内置tomcat端口
SpringBoot admin 简介
spring如何解决循环依赖
Spring的BeanFactoryPostProcessor和BeanPostProcessor