ETL常用工具分享

ETL&＃xff0c;是英文Extract-Transform-Load的缩写&＃xff0c;用来描述将数据从来源端经过抽取&＃xff08;extract&＃xff09;、转换&＃xff08;transform&＃xff09;、加载&＃xff08;load&＃xff09;至目的端的过程。最近在弄ETL方向的研究&＃xff0c;到时也和大家分享一下成果。

ETL实现方案有很多&＃xff0c;可以通过编码开发方式&＃xff0c;也可以通过成熟可视化框架。如果没有编程基础&＃xff0c;定制化要求不高&＃xff0c;可考虑用一些成熟产品框架。如&＃xff1a;

• Kettle

• DataPipeline

• Talend

• Informatica

• Datax

当然&＃xff0c;我们也可以通过编码来实现&＃xff0c;如java、python、go、scala等开发语言&＃xff0c;再配合一些技术框架&＃xff0c;如flink、flume、kafka、hadoop、spark等等。

这次我自己主要做技术研究为主&＃xff0c;所以两个方向都有去研究。发现坑还是挺多的&＃xff0c;特别是一些环境安装与部署。这次我主要安装flink和kettle的环境&＃xff0c;发现有些安装包还是没有那么容易找到&＃xff0c;所以分享给大家&＃xff0c;大家有需要的话&＃xff0c;可以拿去参考。

这次给大家分享一下相应的工具包&＃xff0c;如下&＃xff1a;

可关注本人公众号&＃xff0c;回复相应关键编号进行获取&＃xff0c;如回复“2020082106”&＃xff0c;获取kettle spoon 8.2的下载链接。

只要自己有时间&＃xff0c;都尽量写写文章&＃xff0c;与大家交流分享。

本人公众号&＃xff1a;

CSDN博客地址&＃xff1a;https://blog.csdn.net/ispeasant