Sqoop的使用场景分析

本文隶属于专栏《1000个问题搞定大数据技术体系》&＃xff0c;该专栏为笔者原创&＃xff0c;引用请注明来源&＃xff0c;不足和错误之处请在评论区帮忙指出&＃xff0c;谢谢&＃xff01;

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

适合使用 Sqoop 的场景

Apache Sqoop 可以用来满足大数据中的多种数据传输需求&＃xff0c;这些场景中&＃xff0c; HDFS 作为主要的数据存储手段&＃xff0c;用于存储来自各种源系统的数据。

下面列举了一些案例&＃xff0c;在这些场景中使用 Sqoop 更有意义

1. 对于 RDBMS 与 Hadoop ( HDFS / Hive / HBase )数据传输&＃xff0c;例如常规的批处理&＃xff0c;或近似批处理&＃xff0c;比较适合使用 Apache Sqoop 。
   Apache Sqoop 是数据获取层的一种主要的被广为使用的工具。
2. 从 MongoDB 、 Cassandra 之类的 NOSQL 数据库传输数据到 Hadoop 文件系统中。
3. 拥有大量依赖关系数据库的应用软件的企业&＃xff0c; Sqoop 是传输数据到数据湖中的最佳选项。
4. Hadoop 是一个存储海量数据的事实上的标准。 Sqoop 允许用户轻松地从传统数据库导入数据到 HDFS 中。
5. 如果需要考虑传输性能时&＃xff0c;适合使用 Sqoop &＃xff0c;因为它可以对数据进行分割&＃xff0c;并行进行传输。
6. Sqoop 中有 connectorI 的概念&＃xff0c;如果企业中有多种依赖不同数据库的应用程序 Sqoop 是一个理想的选择。

Apache Sqoop 项目已经被 Apache 基金会终止&＃xff0c;故 Apache Sqoop 后续已经得不到更新。

不适合使用 Sqoop 的场景

当业务极度依赖如 Oracle 、 MYSQL 、 Postgresql 、 Teradata 之类的关系数据库时&＃xff0c; Sqoop 是最合适的配套工具。

Sqoop 并不是特别适合处理事件驱动型数据。

对于事件驱动型数据&＃xff0c;适合使用 Apache Flume 而不是 Sqoop 。

下面列举了一些主要的不适合使用 Sqoop 的场景:

1. 事件驱动型数据。
2. 多源流式数据的处理与传输&＃xff0c;如使用 JMS 从源系统传输过来的流式数据。
3. 处理实时数据而不是处理批量/小批量数据。
4. 处理宿主在 Web 服务器上的各种应用程序产生的日志形式的数据。
5. 如果当 Sqoop job 执行时&＃xff0c;源系统不能承受较大的压力&＃xff0c;那么应避免使用 Sqoop 。同样地&＃xff0c;当批处理任务中数据量特别大时&＃xff0c;会给源系统带来更大的压力&＃xff0c;这通常不是用户所期望的。