数据仓库入门
所属分类 DW
浏览量 691
主要内容
数据仓库是什么
数据仓库有什么特点
数据仓库结构
ETL 抽取extraction 转换transformation 加载load
数据集市 DM
ODS Operational Data Store
元数据
操作型 和 分析型 数据库
OLTP(联机事务处理)
OLAP(联机分析处理)
数据仓库 面向分析的存储系统
数据仓库特点
面向主题
通过主题域将多个业务系统的数据加载到一起,为了各个主题(用户 订单 商品等)进行分析而建
集成性
将不同源数据库中的数据汇总到一起
历史性
数据被加载后一般情况下将被长期保留
时变性
包含不同时间段的数据快照,可将其汇总,生成各历史阶段的数据分析报告
稳定性
一般仅执行查询操作,很少会有删除和更新 , 但是需定期加载和刷新数据
数据仓库结构
数据源 业务数据 日志 外部爬取数据
ETL模块
数据仓库
ODS > DW (DM1 DM2 ...)
数据应用 报表 分析 展示 挖掘 即席查询
元数据
数据集市 DM 小型数据仓库 一般面向部门、单个主题或特定应用,且之间互不影响
ODS Operational Data Store,操作数据存储
存储各大业务型数据库ETL后的数据,是最接近数据源中数据的一层,主要目的是为了数据集中
元数据(Meta Date),即数据的数据,可分为 技术元数据 和 业务元数据
技术元数据为开发和管理数据仓库的IT 人员使用,描述了与数据仓库开发、管理和维护相关的数据
包括数据源信息、数据转换描述、数据仓库模型、数据清洗与更新规则、数据映射和访问权限等
业务元数据为管理层和业务分析人员服务,从业务角度描述数据,
包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等,
帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用
上一篇
下一篇
MySQL获取所有表和表结构信息
BI常用词汇
akka简介
数据仓库相关书籍
数据库分类
idea SmartTomcat 插件