热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

windows部署hadoop2.7.0

    这里使用自己编译的hadoop-2.7.0版本部署在windows上,记得几年前,部署hadoop需要借助于cygwin,还需要开启ssh服务,最近发现,原来不需要借助cy

        这里使用自己编译的hadoop-2.7.0版本部署在windows上,记得几年前,部署hadoop需要借助于cygwin,还需要开启ssh服务,最近发现,原来不需要借助cygwin,也无需开启ssh免密登录这些类linux的复杂流程。直接就可以sbin/start-all.cmd,开启了四个服务。

第一步、准备hadoop-2.7.0,其实就是自己编译,这里不介绍,可以直接在网上找已经编译好的windows版本。这里将我自己编译的放在github上。编译过的hadoop与一般下载的hadoop的区别在于bin目录,如果是windows,那么会有很多dll,lib等文件。主要的还是需要libwinutils.lib,winutils.exe这些文件。

第二步、既然能编译hadoop-2.7.0,那么本地环境肯定是有了jdk了,这里不介绍环境了,很简单,只需要jdk,一个编译好的hadoop-2.7.0,设置etc/hadoop/hadoop-env.cmd中的JAVA_HOME环境变量。这里需要注意,如果环境变量路径中有Program Files,需要修改为PROGRA~1,如下所示:

另外需要将hadoop目录作为环境变量HADOOP_HOME加入系统中,并将%HADOOP_HOME%\bin加入到Path环境变量中。 

接着就可以验证hadoop版本信息了:

第三步、修改配置core-site.xml,hdfs-site.xml,mapred-site.xml(默认是mapred-site.xml.template,重命名一下),yarn-site.xml

core-site.xml



   



        fs.defaultFS

        hdfs://localhost:9000

    

hdfs-site.xml



   



        dfs.replication

        1

    

    



        dfs.namenode.name.dir

        /E:/software/hadoop-2.7.0/namenode

    

    



        dfs.datanode.data.dir

        /E:/software/hadoop-2.7.0/datanode

    

mapred-site.xml



     



          mapreduce.framework.name

          yarn

    

yarn-site.xml



     



          yarn.nodemanager.aux-services

          mapreduce_shuffle

      

     



          yarn.nodemanager.aux-services.mapreduce.shuffle.class

          org.apache.hadoop.mapred.ShuffleHandler

      

将配置文件中提到的目录datanode,namenode创建一下,另外创建一个tmp文件夹。

第四步、格式化数据 :hadoop namenode -format

第五步、启动hadoop-dfs和hadoop-yarn服务,直接运行sbin\start-all.cmd

这里会分别启动四个窗口,包含了namenode,datanode,resourcemanager,nodemanager服务。

namenode console 

datanode console 

resourcemanager console 

 

nodemanager console 

服务启动了,没有异常,可以进行进一步的验证。

jps查看服务

hdfs验证

mapreduce验证 :运行hadoop自带的示例 wordcount


hadoop jar share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.0.jar wordcount /user/hadoop/input \
/user/hadoop/output

查看wordcount运行结果: 

webui界面就不展示了,至此,windows上部署hadoop就演示完成了。重点是需要一个编译好的hadoop。 



推荐阅读
  • springboot启动不了_Spring Boot + MyBatis 多模块搭建教程
    作者:枫本非凡来源:www.cnblogs.comorzlinp9717399.html一、前言1、创建父工程最近公司项目准备开始重构,框 ... [详细]
  • Hadoop2.6.0 + 云centos +伪分布式只谈部署
    3.0.3玩不好,现将2.6.0tar.gz上传到usr,chmod-Rhadoop:hadophadoop-2.6.0,rm掉3.0.32.在etcp ... [详细]
  • Centos7.6安装Gitlab教程及注意事项
    本文介绍了在Centos7.6系统下安装Gitlab的详细教程,并提供了一些注意事项。教程包括查看系统版本、安装必要的软件包、配置防火墙等步骤。同时,还强调了使用阿里云服务器时的特殊配置需求,以及建议至少4GB的可用RAM来运行GitLab。 ... [详细]
  • 本文介绍了如何使用C#制作Java+Mysql+Tomcat环境安装程序,实现一键式安装。通过将JDK、Mysql、Tomcat三者制作成一个安装包,解决了客户在安装软件时的复杂配置和繁琐问题,便于管理软件版本和系统集成。具体步骤包括配置JDK环境变量和安装Mysql服务,其中使用了MySQL Server 5.5社区版和my.ini文件。安装方法为通过命令行将目录转到mysql的bin目录下,执行mysqld --install MySQL5命令。 ... [详细]
  • 大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记
    本文介绍了大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记,包括outputFormat接口实现类、自定义outputFormat步骤和案例。案例中将包含nty的日志输出到nty.log文件,其他日志输出到other.log文件。同时提供了一些相关网址供参考。 ... [详细]
  • 本文介绍了在sqoop1.4.*版本中,如何实现自定义分隔符的方法及步骤。通过修改sqoop生成的java文件,并重新编译,可以满足实际开发中对分隔符的需求。具体步骤包括修改java文件中的一行代码,重新编译所需的hadoop包等。详细步骤和编译方法在本文中都有详细说明。 ... [详细]
  • mapreduce源码分析总结
    这篇文章总结的非常到位,故而转之一MapReduce概述MapReduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的ÿ ... [详细]
  • LVS-DR直接路由实现负载均衡示例
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • CentOS 7配置SSH远程访问及控制
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • Linux服务器密码过期策略、登录次数限制、私钥登录等配置方法
    本文介绍了在Linux服务器上进行密码过期策略、登录次数限制、私钥登录等配置的方法。通过修改配置文件中的参数,可以设置密码的有效期、最小间隔时间、最小长度,并在密码过期前进行提示。同时还介绍了如何进行公钥登录和修改默认账户用户名的操作。详细步骤和注意事项可参考本文内容。 ... [详细]
  • Nginx使用(server参数配置)
    本文介绍了Nginx的使用,重点讲解了server参数配置,包括端口号、主机名、根目录等内容。同时,还介绍了Nginx的反向代理功能。 ... [详细]
  • 本文介绍了Java工具类库Hutool,该工具包封装了对文件、流、加密解密、转码、正则、线程、XML等JDK方法的封装,并提供了各种Util工具类。同时,还介绍了Hutool的组件,包括动态代理、布隆过滤、缓存、定时任务等功能。该工具包可以简化Java代码,提高开发效率。 ... [详细]
  • phpcomposer 那个中文镜像是不是凉了 ... [详细]
  • 一、Struts2是一个基于MVC设计模式的Web应用框架在MVC设计模式中,Struts2作为控制器(Controller)来建立模型与视图的数据交互。Struts2优点1、实现 ... [详细]
  • MapReduce 切片机制源码分析
     总体来说大概有以下2个大的步骤1.连接集群(yarnrunner或者是localjobrunner)2.submitter.submitJobInternal()在该方法中会创建 ... [详细]
author-avatar
心若在梦就在_2012
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有