sqoop理论和安装部署

1. Sqoop是什么 ?

• Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具

  • 导入数据

    • 将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统

  • 导出数据

    • 从Hadoop的文件系统中导出数据到关系数据库

2. Sqoop工作原理

      sqoop将导入和导出的命令翻译成mapreduce程序实现

• 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

3. Sqoop安装部署

1、下载安装包
  下载sqoop安装包
  sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
2、规划安装目录
  /opt/bigdata
3、上传安装包到服务器
4、解压安装包到指定的规划目录
  tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/bigdata
5、重命名解压目录
  mv sqoop-1.4.7.bin__hadoop-2.6.0  sqoop-1.4.7
6、修改配置
  进入到sqoop安装目录下的conf文件夹中
    先重命名文件  cp sqoop-env-template.sh  sqoop-env.sh
    修改文件，添加java环境变量
      vim sqoop-env.sh
          #Set path to where bin/hadoop is available
          export HADOOP_COMMON_HOME=/opt/bigdata/hadoop-2.7.3
          
          #Set path to where hadoop-*-core.jar is available
          export HADOOP_MAPRED_HOME=/opt/bigdata/hadoop-2.7.3
          
          #set the path to where bin/hbase is available
          export HBASE_HOME=/opt/bigdata/hbase-1.2.1
          
          #Set the path to where bin/hive is available
          export HIVE_HOME=/opt/bigdata/hive-1.2.2

7、添加mysql驱动jar包
  把mysql的驱动jar包添加到sqoop的lib目录下，可以拷贝之前hive的lib目录下的mysql驱动
      cp /opt/bigdata/hive/lib/mysql-connector-java-5.1.46.jar /opt/bigdata/sqoop-1.4.7/lib/

8、配置sqoop环境变量
  vim  /etc/profile
      export SQOOP_HOME=/opt/bigdata/sqoop-1.4.7
      export PATH=$PATH:$SQOOP_HOME/bin

9、让sqoop环境变量生效
  source .bash_profile

4.几个常用的命令:

• 命令行查看帮助文档

sqoop list-databases --help

• 列出node1上mysql数据库中所有的数据库名称

sqoop-list-databases --connect jdbc:mysql://node2:3306/ --username root --password QQ@cf123456

• 查看某一个数据库下面的所有数据表

sqoop list-tables --connect jdbc:mysql://node2:3306/user_cf_db --username root --password QQ@cf123456