首页  

大数据工程师入门概述     所属分类 bigdata 浏览量 648
1.数据采集	找出描述用户或对业务发展有帮助的数据,并将定义相关的数据格式,交由业务开发部门负责收集对应的数据。
2.ETL工程 	对收集到的数据,进行各种清洗、处理、转化等操作,完成格式转换,便于后续分析,保证数据质量,以便得出可以信赖的结果。
3.构建数仓	将数据有效治理起来,构建统一的数据仓库,让数据与数据间建立连接,碰撞出更大的价值。
4.数据建模	基于已有的数据,梳理数据间的复杂关系,建立恰当的数据模型,便于分析出有价值的结论。
5.统计分析	对数据进行各种维度的统计分析,建立指标体系,系统性地描述业务发展的当前状态,寻找业务中的问题,发现新的优化点与增长点。
6.用户画像	基于用户的各方面数据,建立对用户的全方位理解,构建每个特定用户的画像,以便针对每个个体完成精细化运营。


编程基础      Java Scala sql python 
大数据框架    hdfs yarn hive spark sparkSQL
工具
  Hue&Zeppelin  探索分析
  Azkaban       任务调度
  Tableau       可视化  
  
业务基础  
  数据收集
  ETL工程
  数据仓库基础
  元数据
  指标体系
  
分析思维
  数据分析思维方法论
  问题排查

上一篇     下一篇
2022中国SaaS领域新形势

Scala object 伴生对象

Scala中apply的用法

scala 模式匹配

scala Option Some None

scala 类型系统