Hadoop之mysql安装配置和sqoop安装配置

mysql安装配置

Hive需要管理一些数据&＃xff0c;一般我们使用MySQL来存放在线安装执行命令
sudo apt-get install mysql-server mysql-client启动停止mysql服务
$sudo start mysql
$sudo stop mysql 修改了配置文件后需要重启 mysqld 才能使这些修改生效。检查 mysqld 进程是否已经开启&＃xff1a;
$pgrep mysqld
如果进程开启&＃xff0c;这个命令将会返回该进程的 id


设置MySQL远程访问1.取消本地监听
正常情况下&＃xff0c;mysql占用的3306端口只是在IP 127.0.0.1上监听&＃xff0c;拒绝了其他IP的访问&＃xff08;通过netstat可以查看到&＃xff09;。
取消本地监听需要修改 my.cnf 文件&＃xff1a;
$sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf
//找到如下内容&＃xff0c;并注释
#bind-address &＃61; 127.0.0.12.重启 mysql完成&＃xff01;

sqoop安装配置

1.下载压缩包 https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz2.解压&＃xff0c;配置环境变量a、解压
tar –xzf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/ ->解压b、配置环境变量
vim /etc/profile ->修改文件&＃xff0c;配置环境变量
在文件最后加上下面两行&＃xff08;其中SQOOP_HOME后面的值为你解压的路径&＃xff09;
export SQOOP_HOME&＃61;/usr/local/sqoop-1.4.6
export PATH&＃61;$PATH:$SQOOP_HOME/bin
最后再更新环境变量的值 source /etc/profilec、sqoop-env.sh文件配置
配置$SQOOP_HOME/conf/sqoop-env.sh&＃xff08;如果没有该文件&＃xff0c;将sqoop-env-templete.sh重命名为sqoop-env.sh即可&＃xff09;
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME&＃61;/home/xm/hadoop-2.7.1
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME&＃61;/home/xm/hadoop-2.7.1d、因为sqoop是hadoop与关系型数据库之间的数据交换&＃xff0c;所以需要使用相关数据的jar包&＃xff0c;这儿我们用的是mysql&＃xff0c;所以需要下载mysql的链接jar包&＃xff0c;然后放在sqoop的家目录下的lib目录下。下载链接&＃xff1a;http://www.pennyx.cn:8080/img/mysql-connector-java-5.1.32-bin.jar
wget http://www.pennyx.cn:8080/img/mysql-connector-java-5.1.32-bin.jar ->下载
mv mysql-connector-java-5.1.32-bin.jar /usr/local/sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz/lib/ ->添加jar包5.安装完成后简单验证&＃xff08;显示所有数据库&＃xff09;
sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password 数据库密码