首页  

doris 简介     所属分类 doris 浏览量 74
Doris由百度大数据部研发,之前叫百度Palo,于2017年开源,2018年贡献到 Apache 社区后,更名为Doris

基于MPP(大规模并行处理)的分析型数据库

MPP 将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将结果汇总在一起得到最终的结果(与Hadoop相似)

MPP  Massively Parallel Processing  大规模并行处理


​​​​​​​核心特性 基于MPP(大规模并行处理)架构的分析型数据库 性能卓越,PB级别数据毫秒/秒级响应 支持标准SQL语言,兼容MySQL协议 向量化执行器 高效的聚合表技术 新型预聚合技术Rollup 高性能、高可用、高可靠 极简运维,弹性伸缩 TPC-H、TPC-DS性能领先,性价比高,高并发查询,100台集群可达10w QPS,流式导入单节点50MB/s,小批量导入毫秒延迟
OLAP分类 MOLAP Multidimension OLAP 通过预计算,提供稳定的切片数据,实现多次查询一次计算,减轻了查询时的计算压力,保证了查询的稳定性, 空间换时间 ROLAP Relational OLAP 基于实时的大规模并行计算,对集群的要求较高。 MPP引擎的核心是通过将数据分散,以实现CPU、IO、内存资源的分布,来提升并行计算能力。 在当前数据存储以磁盘为主的情况下,数据Scan需要的较大的磁盘IO,以及并行导致的高CPU 传统去重算法需要大量计算资源,实时的大规模去重指标对CPU、内存都是一个巨大挑战。 目前Doris最新版本已经支持Bitmap算法,配合预计算可以很好地解决去重应用场景。 doris是一个ROLAP引擎, 可以满足以下需求 灵活多维分析 明细+聚合 主键更新
Doris 架构简单,只有FE(Frontend)、BE(Backend)两种角色,不依赖任何外部组件,部署和运维友好 FE(Frontend)以 Java 语言为主 主要功能职责: 1) 接收用户连接请求(MySql 协议层) 2) 元数据存储与管理 3) 查询语句的解析与执行计划下发 4) 集群管控 FE leader follower observer leader 是选举出来的特殊follower ,实现元数据高可用 BE(Backend) 以 C++ 语言为主 主要功能职责: 1) 数据存储与管理 2) 查询计划的执行

上一篇     下一篇
Flink1.18.1 本地单机部署 及 flinkCDC3.0 测试

Skywalking 术语

linux安装切换多个版本jdk

linux 权限 777

Prometheus Pushgateway

flink1.18.1 pushgateway prometheus监控