热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

FileNotFoundException:Filedoesnotexist

ubuntu用sqoop将数据从hive导入mysql时,命令:

ubuntu 用sqoop将数据从hive导入mysql时,命令:




  1. cd /usr/local/sqoop

  2. bin/sqoop export --connect jdbc:mysql://localhost:3306/dbtaobao --username root -P root --table user_log --export-dir '/user/hive/warehouse/dbtaobao.db/inner_user_log' --fields-terminated-by ',';结果显示:

    Warning: /usr/local/sqoop/../accumulo does not exist! Accumulo imports will fail.

    Please set $ACCUMULO_HOME to the root of your Accumulo installation.

    Warning: /usr/local/sqoop/../zookeeper does not exist! Accumulo imports will fail.

    Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.

    21/02/14 17:21:44 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6

    Enter password:

    21/02/14 17:21:45 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.

    21/02/14 17:21:45 INFO tool.CodeGenTool: Beginning code generation

    21/02/14 17:21:46 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `user_log` AS t LIMIT 1

    21/02/14 17:21:46 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `user_log` AS t LIMIT 1

    21/02/14 17:21:46 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/local/hadoop

    注: /tmp/sqoop-hadoop/compile/716352b8f5fd8b50d5e58683cd97b340/user_log.java使用或覆盖了已过时的 API。

    注: 有关详细信息, 请使用 -Xlint:deprecation 重新编译。

    21/02/14 17:21:49 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-hadoop/compile/716352b8f5fd8b50d5e58683cd97b340/user_log.jar

    21/02/14 17:21:49 INFO mapreduce.ExportJobBase: Beginning export of user_log

    21/02/14 17:21:50 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar

    21/02/14 17:21:52 INFO Configuration.deprecation: mapred.reduce.tasks.speculative.execution is deprecated. Instead, use mapreduce.reduce.speculative

    21/02/14 17:21:52 INFO Configuration.deprecation: mapred.map.tasks.speculative.execution is deprecated. Instead, use mapreduce.map.speculative

    21/02/14 17:21:52 INFO Configuration.deprecation: mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address

    21/02/14 17:21:52 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id

    21/02/14 17:21:52 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessiOnId=

    21/02/14 17:21:53 INFO mapreduce.JobSubmitter: Cleaning up the staging area file:/usr/local/hadoop/tmp/mapred/staging/hadoop765752367/.staging/job_local765752367_0001

    21/02/14 17:21:53 ERROR tool.ExportTool: Encountered IOException running export job: java.io.FileNotFoundException: File does not exist: hdfs://localhost:9000/usr/local/sqoop/lib/parquet-avro-1.4.1.jar


看看这个: https://blog.csdn.net/wangshuminjava/article/details/80179648


   



推荐阅读
  • 先看下面这条语句,它实现的功能是将特定日期的数据从mysql表中直接导入hive$sqoopimport\--connectjdbc:mysql:192.168.xx ... [详细]
  • [root@cloud4conf]#sqoopexport--connectjdbc:mysql:192.168.56.1:3306hive--usernameroot--pas ... [详细]
  • MySQL数据 实时同步到KafkaBinlog canal、Maxwell、Kafka Connect 实现MySQL增量同步
    一、需求分析早期业务借助Sqoop将Mysql中的数据同步到Hive、hdfs来进行数据分析,使用过程中也带来了一些问题:虽然Sqoop支持增量同步但还属于粗粒度的离线同步,无法满 ... [详细]
  • 从接触DataX起就有一个疑问,它和Sqoop到底有什么区别,昨天部署好了DataX和Sqoop,就可以对两者进行更深入的了解了。两者从原理上看有点相似,都是解决异构环境的数据交换 ... [详细]
  • 如何在php中将mysql查询结果赋值给变量
    本文介绍了在php中将mysql查询结果赋值给变量的方法,包括从mysql表中查询count(学号)并赋值给一个变量,以及如何将sql中查询单条结果赋值给php页面的一个变量。同时还讨论了php调用mysql查询结果到变量的方法,并提供了示例代码。 ... [详细]
  • MyBatis多表查询与动态SQL使用
    本文介绍了MyBatis多表查询与动态SQL的使用方法,包括一对一查询和一对多查询。同时还介绍了动态SQL的使用,包括if标签、trim标签、where标签、set标签和foreach标签的用法。文章还提供了相关的配置信息和示例代码。 ... [详细]
  • r2dbc配置多数据源
    R2dbc配置多数据源问题根据官网配置r2dbc连接mysql多数据源所遇到的问题pom配置可以参考官网,不过我这样配置会报错我并没有这样配置将以下内容添加到pom.xml文件d ... [详细]
  • 本文介绍了在MacOS系统上安装MySQL的步骤,并详细说明了如何设置MySQL服务的开机启动和如何修改MySQL的密码。通过下载MySQL的macos版本并按照提示一步一步安装,在系统偏好设置中可以找到MySQL的图标进行设置。同时,还介绍了通过终端命令来修改MySQL的密码的具体操作步骤。 ... [详细]
  • MySQL语句大全:创建、授权、查询、修改等【MySQL】的使用方法详解
    本文详细介绍了MySQL语句的使用方法,包括创建用户、授权、查询、修改等操作。通过连接MySQL数据库,可以使用命令创建用户,并指定该用户在哪个主机上可以登录。同时,还可以设置用户的登录密码。通过本文,您可以全面了解MySQL语句的使用方法。 ... [详细]
  • 如何在php文件中添加图片?
    本文详细解答了如何在php文件中添加图片的问题,包括插入图片的代码、使用PHPword在载入模板中插入图片的方法,以及使用gd库生成不同类型的图像文件的示例。同时还介绍了如何生成一个正方形文件的步骤。希望对大家有所帮助。 ... [详细]
  • Postgresql备份和恢复的方法及命令行操作步骤
    本文介绍了使用Postgresql进行备份和恢复的方法及命令行操作步骤。通过使用pg_dump命令进行备份,pg_restore命令进行恢复,并设置-h localhost选项,可以完成数据的备份和恢复操作。此外,本文还提供了参考链接以获取更多详细信息。 ... [详细]
  • 本文介绍了如何使用PHP代码将表格导出为UTF8格式的Excel文件。首先,需要连接到数据库并获取表格的列名。然后,设置文件名和文件指针,并将内容写入文件。最后,设置响应头部,将文件作为附件下载。 ... [详细]
  • 在加载一个第三方厂商的dll文件时,提示“找不到指定模块,加载失败”。由于缺乏必要的技术支持,百思不得期间。后来发现一个有用的工具 ... [详细]
  • 数据仓库中基本概念
    一、数据仓库数据仓库(DataWarehouse)是一个面向主题的、集成的、稳定的且随时间变化的数据集合,用于支持管理人员的决策面向主题主题就是类型的意思。传统数 ... [详细]
  • 数据仓库分层设计(基于Hive)
    1、数据仓库逻辑分层架构先来看数据仓库的逻辑分层架构:分层名称可能不一样,但基本是都是这样想要看懂数据仓库的逻辑分层架构,先要弄懂以下概念 ... [详细]
author-avatar
灵绾绾
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有