首页  

ETL工具简介     所属分类 ETL 浏览量 555
ETL  Extract-Transform-Load 抽取 转换 加载
ETL是构建数据仓库的重要一环
从数据源抽取数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库

Kettle
包括4个产品 Spoon Pan CHEF Kitchen
SPOON 通过图形界面设计ETL转换过程(Transformation)
PAN   批量运行由Spoon设计的ETL转换  Pan是一个后台执行的程序 
CHEF  创建任务(Job 
KITCHEN   批量使用由Chef设计的任务 
Kettle 中有两种脚本文件 transformation 和 job
transformation 完成针对数据的基础转换
job  完成整个工作流的控制



Talend

Datax

DataX 是离线数据同步工具/平台
实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能
https://github.com/alibaba/DataX


DataPipeline

上一篇     下一篇
Scala快速入门

play scala slick example

scala简易指南

数据仓库和管道构建指南

scala break continue

Scala implicit 隐式转换