大数据工程师入门概述
所属分类 bigdata
浏览量 660
1.数据采集 找出描述用户或对业务发展有帮助的数据,并将定义相关的数据格式,交由业务开发部门负责收集对应的数据。
2.ETL工程 对收集到的数据,进行各种清洗、处理、转化等操作,完成格式转换,便于后续分析,保证数据质量,以便得出可以信赖的结果。
3.构建数仓 将数据有效治理起来,构建统一的数据仓库,让数据与数据间建立连接,碰撞出更大的价值。
4.数据建模 基于已有的数据,梳理数据间的复杂关系,建立恰当的数据模型,便于分析出有价值的结论。
5.统计分析 对数据进行各种维度的统计分析,建立指标体系,系统性地描述业务发展的当前状态,寻找业务中的问题,发现新的优化点与增长点。
6.用户画像 基于用户的各方面数据,建立对用户的全方位理解,构建每个特定用户的画像,以便针对每个个体完成精细化运营。
编程基础 Java Scala sql python
大数据框架 hdfs yarn hive spark sparkSQL
工具
Hue&Zeppelin 探索分析
Azkaban 任务调度
Tableau 可视化
业务基础
数据收集
ETL工程
数据仓库基础
元数据
指标体系
分析思维
数据分析思维方法论
问题排查
上一篇
下一篇
2022中国SaaS领域新形势
Scala object 伴生对象
Scala中apply的用法
scala 模式匹配
scala Option Some None
scala 类型系统