热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Sqoop1.4.6配置和使用

http:jingpin.jikexueyuan.comarticle39333.htmlhttp:sqoop.apache.orgdocs1.4.6SqoopUserGuide.h

http://jingpin.jikexueyuan.com/article/39333.html

http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_example_invocations_4

http://blog.csdn.net/panguoyuan/article/details/38871807

http://www.tutorialspoint.com/sqoop/sqoop_installation.htm

http://www.open-open.com/lib/view/open1401346410480.html

http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_sqoop2_configure.html

https://my.oschina.net/crxy/blog/417890

http://blog.csdn.net/lyn1539815919/article/details/52400555

http://www.cnblogs.com/xing901022/p/5920891.html

(1)安装环境
         操作系统:Linux(Ubuntu16.04)
         JDK版本:1.7.0_45
         Hadoop版本:hadoop2.7.0
         Sqoop版本:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
         hadoop安装目录:/home/hadoop/hadoop-2.7.3
         Sqoop安装目录:/home/hadoop/sqoop-1.4.6
         Hadoop和Sqoop都是同一个用户hadoop下面,hadoop用户的的家目录:/home/hadoop
2)修改Sqoop配置文件 
         cd  /home/hadoop/sqoop-1.4.6/conf  
         cp sqoop-env-template.sh  sqoop-env.sh  
      在文件sqoop-env.sh的末尾追加如下几个环境变量设置:
           export HADOOP_COMMON_HOME=/home/hadoop/hadoop-2.7.3  
         export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-2.7.3/share/hadoop/mapreduce  
         #export HIVE_HOME=/home/hadoop/hive-0.12.0            
(3)修改hadoop用户的环境变量
      编辑文件:/home/hadoop/.bash_profile,追加如下内容:
         export SQOOP_HOME=/home/hadoop/sqoop-1.4.6
         export PATH=$PATH:$SQOOP_HOME/bin  
         export LOGDIR=$SQOOP_HOME/logs  
(4)将mysql的jdbc驱动程序放到$SQOOP_HOME/lib目录下
         将 mysql-connector-java-5.1.15.jar 复制到 :/home/hadoop/sqoop-1.4.5/lib目录下
(5)试用sqoop
         1 、用Sqoop来列出192.168.0.1下的数据库
                进入$SQOOP_HOME/bin目录下执行如下命令:
               # ./sqoop list-databases --connect jdbc:mysql://192.168.0.1:3306/mydb?characterEncoding=UTF-8 --username test --password 'test'

    sqoop_test是建的database

    [

    mysql -u root -p

    create database sqoop_test;

    use sqoop_test;

    create table test(var int(4));

    ]

    ./sqoop list-tables --connect jdbc:mysql://localhost/sqoop_test?characterEncoding=UTF-8 --username root --password '00'
         2、将表book下的数据导入到HDFS中去
               进入$SQOOP_HOME/bin目录下执行如下命令:
              ./sqoop import  --connect jdbc:mysql://192.168.0.1:3306/mydb?characterEncoding=UTF-8 --username test --password 'test' --target-dir '/user/hive/warehouse/book' --table book ; 

./sqoop list-tables --connect jdbc:mysql://localhost/sqoop_test?characterEncoding=UTF-8 --username root --password '00'

把数据导入到mysql

./sqoop export --connect jdbc:mysql://localhost/sqoop_test --username root --password '00' --table sqoop_t --export-dir /t/data_sqoop_test

./sqoop export --connect jdbc:mysql://localhos3306/sqoop_test --username root --password '00' --table sqoop_t --export-dir /t/data_sqoop_test


推荐阅读
  • importorg.apache.hadoop.hdfs.DistributedFileSystem;导入方法依赖的package包类privatevoidtestHSyncOpe ... [详细]
  • 前言折腾了一段时间hadoop的部署管理,写下此系列博客记录一下。为了避免各位做部署这种重复性的劳动,我已经把部署的步骤写成脚本,各位只需要按着本文把脚本执行完,整个环境基本就部署 ... [详细]
  • 我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多 ... [详细]
  • 既然HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的she ... [详细]
  • 本文_大数据之非常详细Sqoop安装和基本操作
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了大数据之非常详细Sqoop安装和基本操作相关的知识,希望对你有一定的参考价值。大数据大数据之 ... [详细]
  • sqoop从mysql导出到hdfs:sqoopimport--connectjdbc:mysql:888.888.88.88:3306est1--usernameroot--pa ... [详细]
  • 本文介绍了OC学习笔记中的@property和@synthesize,包括属性的定义和合成的使用方法。通过示例代码详细讲解了@property和@synthesize的作用和用法。 ... [详细]
  • 对于一般的扩展包,我们一般直接pipinstallxxx即可安装,但是unrar直接安装后,发现并不能通过Python程序实现解压的功能& ... [详细]
  • MapReduce工作流程最详细解释
    MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型,MapReduce的计算过程被封装的很好,我们只用使用Map和Reduce函数,所以对其整体的计算过程不是太 ... [详细]
  • Azkaban(三)Azkaban的使用
    界面介绍首页有四个菜单projects:最重要的部分,创建一个工程,所有flows将在工程中运行。scheduling:显示定时任务executing:显示当前运行的任务histo ... [详细]
  • 本文由编程笔记#小编为大家整理,主要介绍了HDFS数据完整性相关的知识,希望对你有一定的参考价值。数据完整性Hadoop用户肯定都希望系统在存储和处理 ... [详细]
  • 马蜂窝数据总监分享:从数仓到数据中台,大数据演进技术选型最优解
    大家好,今天分享的议题主要包括几大内容:带大家回顾一下大数据在国内的发展,从传统数仓到当前数据中台的演进过程;我个人认为数 ... [详细]
  • 毕设做到后半部分,需要实现将用户在一段时间(比如1天)内产生的新数据导入HDFS的功能,这样数据仓库中的数据才能和数据库中的数据同步在新建了一个PyDev项目后,需要如下操作(拣最 ... [详细]
  • hbase伪集群搭建
    hbase数据存储有三种跑法,跑在本地磁盘上、跑在伪分布式上、跑在完全分布式上--------额。。。官网的文档挺坑爹的,结合官网、百度、谷歌的各种 ... [详细]
  • 大数据学习路线!
    大数据如此火热的现在,想必许多小伙伴都想要加入这个行业。也是AI菌今天就要拿出收藏已久的大数据学习计划。帮助你不走弯路,迈向大数据之路。1大数据应用离不开基础软件的支撑,且大部分大 ... [详细]
author-avatar
手机用户2502852635_269
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有