大数据平台数据仓库ETL基本思路

ETL工具

开源工具&＃xff1a;

Sqoop&＃xff1a;Hadoop&＃xff08;hive&＃xff09;和关系型数据库之间传输数据的开源ETL工具。

Beeline&＃xff1a;hive客户端工具&＃xff0c;基于SQLline的JDBC客户端

Azkaban&＃xff1a;任务调度开源工具。

自开发工具&＃xff1a;

1. 脚本生成工具&＃xff1a;jar包&＃xff0c;基于系统调研时产生的表级调研文档&＃xff0c;自动检索数据源并生成整体ETL工具中拥有较高规范的脚本文件的脚手架&＃xff1a;ods层建表语句、sqoop脚本、sync脚本、flow脚本。必要时依据实际情况对脚本进行人工调整。
2. 脚本执行工具&＃xff1a;python程序&＃xff0c;读取参数文件数据并替换脚本中的对应参数&＃xff0c;执行脚本。
3. SQL执行工具&＃xff1a;python程序&＃xff0c;读取参数文件数据并替换脚本中的对应参数&＃xff0c;执行脚本。
4. CTL参数生成工具&＃xff1a;python程序&＃xff0c;基于TDH-mysql库ctl控制表生成对应的参数文件。
5. 互斥锁&＃xff1a;依据azkaban中并发project的操作表情况&＃xff0c;设计互斥锁避免并发操作同一张表的情况发生。
6. 数据源检查&＃xff1a;jar包&＃xff0c;基于TDH-mysql库ctl表信息和数据源实际情况&＃xff0c;检查数据源表结构变更情况&＃xff0c;判断是否需人工介入&＃xff0c;记录变更情况。
7. 稽核工具:oracle-ods层数据抽取完整性、ods-dw层数据映射正确性稽核。人工开发脚本。

ETL开发过程

大数据平台新数据源加入&＃xff0c;ETL开发过程&＃xff1a;

1. 数据调研&＃xff1a;
   1. 对数据源系统进行调研&＃xff0c;输出系统调研文档、表级调研文档、字段级调研文档、数据字典等调研资料
2. 脚本脚手架生成&＃xff1a;
   1. 确定大数据平台抽取范围&＃xff08;表&＃43;时间&＃xff09;、抽取方式&＃xff08;增量/全量&＃xff09;、抽取周期等。信息补充到表级调研文档
   2. 脚本生成工具&＃43;表级调研文档—>生成各脚本程序的脚手架。细节及特殊情况进行人工调整。包括&＃xff1a;ods层建表语句、sqoop脚本、sync脚本、azkaban调度脚本
   3. Waterdrop下使用ods层建语句创建数据源ods层表结构&＃xff1a;txtfile和orc表
   4. Sqoop脚本及sync脚本拷贝到指定路径&＃xff0c;调整或检查azkaban脚本
   5. 上传azkaban脚本&＃xff0c;检查任务逻辑
3. 参数文件生成&＃xff1a;
   1. 配置TDH-mysql的ctl库相关表信息
   2. 执行CTL参数生成工具生成对应数据源的参数文件
4. 数据初始化&＃xff1a;
   1. 调整参数文件&＃xff0c;使数据同步范围为全部时间&＃xff08;全量&＃xff09;
   2. 执行azkaban任务&＃xff0c;初始化数据到ods层
5. DW层脚本开发&＃xff1a;
   1. DW层表结构设计、关联关系设计、映射关系设计&＃xff0c;形成dw层设计文档
   2. DW层映射mapp脚本开发&＃xff0c;形成sql脚本文件&＃xff0c;拷贝到执行路径
   3. DW层建表语句及TMP表建表语句存档
6. DW层部署&＃xff1a;
   1. 对DW层脚本进行血缘分析&＃xff0c;生成依赖关系文档
   2. 调整azkaban脚本文件&＃xff0c;补充DW层任务调度
   3. 按需设计互斥锁、调整相关代码补充锁机制
7. 数据稽核&＃xff1a;
   1. 数据源检查程序初始化
   2. 数据稽核脚本配置
   3. 启动运行&＃xff08;调整azkaban脚本&＃xff09;