ETL工具简介
所属分类 ETL
浏览量 714
ETL Extract-Transform-Load 抽取 转换 加载
ETL是构建数据仓库的重要一环
从数据源抽取数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库
Kettle
包括4个产品 Spoon Pan CHEF Kitchen
SPOON 通过图形界面设计ETL转换过程(Transformation)
PAN 批量运行由Spoon设计的ETL转换 Pan是一个后台执行的程序
CHEF 创建任务(Job
KITCHEN 批量使用由Chef设计的任务
Kettle 中有两种脚本文件 transformation 和 job
transformation 完成针对数据的基础转换
job 完成整个工作流的控制
Talend
Datax
DataX 是离线数据同步工具/平台
实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能
https://github.com/alibaba/DataX
DataPipeline
上一篇
下一篇
Scala快速入门
play scala slick example
scala简易指南
数据仓库和管道构建指南
scala break continue
Scala implicit 隐式转换