doris 简介
所属分类 doris
浏览量 251
Doris由百度大数据部研发,之前叫百度Palo,于2017年开源,2018年贡献到 Apache 社区后,更名为Doris
基于MPP(大规模并行处理)的分析型数据库
MPP 将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将结果汇总在一起得到最终的结果(与Hadoop相似)
MPP Massively Parallel Processing 大规模并行处理
核心特性
基于MPP(大规模并行处理)架构的分析型数据库
性能卓越,PB级别数据毫秒/秒级响应
支持标准SQL语言,兼容MySQL协议
向量化执行器
高效的聚合表技术
新型预聚合技术Rollup
高性能、高可用、高可靠
极简运维,弹性伸缩
TPC-H、TPC-DS性能领先,性价比高,高并发查询,100台集群可达10w QPS,流式导入单节点50MB/s,小批量导入毫秒延迟
OLAP分类
MOLAP Multidimension OLAP
通过预计算,提供稳定的切片数据,实现多次查询一次计算,减轻了查询时的计算压力,保证了查询的稳定性, 空间换时间
ROLAP Relational OLAP
基于实时的大规模并行计算,对集群的要求较高。
MPP引擎的核心是通过将数据分散,以实现CPU、IO、内存资源的分布,来提升并行计算能力。
在当前数据存储以磁盘为主的情况下,数据Scan需要的较大的磁盘IO,以及并行导致的高CPU
传统去重算法需要大量计算资源,实时的大规模去重指标对CPU、内存都是一个巨大挑战。
目前Doris最新版本已经支持Bitmap算法,配合预计算可以很好地解决去重应用场景。
doris是一个ROLAP引擎, 可以满足以下需求
灵活多维分析
明细+聚合
主键更新
Doris 架构简单,只有FE(Frontend)、BE(Backend)两种角色,不依赖任何外部组件,部署和运维友好
FE(Frontend)以 Java 语言为主
主要功能职责:
1) 接收用户连接请求(MySql 协议层)
2) 元数据存储与管理
3) 查询语句的解析与执行计划下发
4) 集群管控
FE
leader follower observer
leader 是选举出来的特殊follower ,实现元数据高可用
BE(Backend) 以 C++ 语言为主
主要功能职责:
1) 数据存储与管理
2) 查询计划的执行
上一篇
下一篇
Flink1.18.1 本地单机部署 及 flinkCDC3.0 测试
Skywalking 术语
linux安装切换多个版本jdk
linux 权限 777
Prometheus Pushgateway
flink1.18.1 pushgateway prometheus监控