首页  

时序数据库技术点     所属分类 tsdb 浏览量 658
5G时代
Core/Edge/Endpoint 云/边/端

物联网 边缘计算
工业物联网

时序数据库分类

基于关系数据库     timescale
基于KV的时序数据库  OpenTSDB
专门面向时序数据场景的原生时序数据库  InfluxDB IoTDB  TDengine 等


内存时序数据库
Google的Monarch,Facebook基于Gorilla论文实现的产品

GoldWind发电数据采集,2w个风机,一个风机有120-510个传感器,采集频率高达50Hz
每秒5亿个时序指标点的数据
这个数据量让数据采集/存储/计算面临很大的挑战
业务中常见的查询需求
写入吞吐问题,数据查询分析的性能问题

弱网环境  数据乱序

B+Tree  
LSM-Tree

磁盘IO
扇区 最小组成单元,通常512字节
block(块)  按块读取   块大小 4~64KB

顺序IO 随机IO

LSM-Tree 
write ahead log   WAL
内存
immutable 持久化 
Merging Compaction

读取过程
查 MemTable 
查 immutable Mem-table
查 磁盘文件 

BloomFilter  读优化

InfluxDB TSMFile格式


多副本 集群 高可靠
LSM-Tree  存储
定制索引和查询优化
列式存储 类型压缩
弱网乱序 写前保序和写后重排

实时计算 流 微批

边缘端的计算能力

NativeStreaming  批是流的特例
Micro-Batching   流是批的特例


LSM Tree 要点整理 leveldb要点 时间序列数据库介绍 常用时序数据库比较

上一篇     下一篇
HikariCP 使用及参数

jackson TypeReference使用 json string 转 泛型 list

java 数据库访问 持久层 框架

scala Option(null) 和 Some(null) 的区别

scala Option 小结

jdbc获取自增主键ID