时序数据库技术点
所属分类 tsdb
浏览量 658
5G时代
Core/Edge/Endpoint 云/边/端
物联网 边缘计算
工业物联网
时序数据库分类
基于关系数据库 timescale
基于KV的时序数据库 OpenTSDB
专门面向时序数据场景的原生时序数据库 InfluxDB IoTDB TDengine 等
内存时序数据库
Google的Monarch,Facebook基于Gorilla论文实现的产品
GoldWind发电数据采集,2w个风机,一个风机有120-510个传感器,采集频率高达50Hz
每秒5亿个时序指标点的数据
这个数据量让数据采集/存储/计算面临很大的挑战
业务中常见的查询需求
写入吞吐问题,数据查询分析的性能问题
弱网环境 数据乱序
B+Tree
LSM-Tree
磁盘IO
扇区 最小组成单元,通常512字节
block(块) 按块读取 块大小 4~64KB
顺序IO 随机IO
LSM-Tree
write ahead log WAL
内存
immutable 持久化
Merging Compaction
读取过程
查 MemTable
查 immutable Mem-table
查 磁盘文件
BloomFilter 读优化
InfluxDB TSMFile格式
多副本 集群 高可靠
LSM-Tree 存储
定制索引和查询优化
列式存储 类型压缩
弱网乱序 写前保序和写后重排
实时计算 流 微批
边缘端的计算能力
NativeStreaming 批是流的特例
Micro-Batching 流是批的特例
LSM Tree 要点整理
leveldb要点
时间序列数据库介绍
常用时序数据库比较
上一篇
下一篇
HikariCP 使用及参数
jackson TypeReference使用 json string 转 泛型 list
java 数据库访问 持久层 框架
scala Option(null) 和 Some(null) 的区别
scala Option 小结
jdbc获取自增主键ID