热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

安装并配置Hadoop伪分布模式

首先进入Downloads文件夹,执行wget-cURL命令将Hadoop2.7下载到Downloads文件夹然后如上图,等下载完毕后查看Downloads文件夹中已经有hadoop-2.7.

首先进入Downloads文件夹,执行wget -c URL  命令将Hadoop2.7下载到Downloads文件夹


然后如上图,等下载完毕后查看Downloads文件夹中已经有hadoop-2.7.0.tar.gz

此时执行sudo tar zxvf hadoop-2.7.0.tar.gz -C /usr/local  将压缩包解压包了local文件夹下。

接着进入/usr/local,并查看hadoop文件夹存在


进入如下目录,修改被圈起来的两个文件:


将原始内容改为如下:


此时退出到hadoop文件夹下,再次进去到bin目录,执行hdfs  namenode -format,结果找不到命令如下图:


然后退回hadoop目录,执行bin/hdfs  namenode -format,结果显示找不到java路径,于是怀疑是jdk配置还未生效,输入exit退出。

如下图重新登录。

进入hadoop目录后执行之前的命名,根据箭头处显示,格式化namenode成功。


接下来执行 sbin/start-dfs.sh,开启节点,结果报错,如下

经分析原因是,虚拟机是32位,jdk32位,结果hadoop64位,于是找别人要到了重新编译的32位,并重新配置到上一步。网址:http://pan.baidu.com/s/1c0rW6Vu

于是继续执行sbin/start-dfs.sh


结果JAVA_HOME没问题的情况下显示找不到JAVA_HONE,于是发现需要在etc/hdoop/hadoop-env.sh 中设置JAVA_HOME如下


保存后,退回hadoop目录,执行sbin/start-dfs.sh


发现是权限问题(刚开始准备使用sudo管理员权限执行,但是不知道root用户的密码,所以采用:),于是将hadoop文件夹的权限分配给fujiaxiaoshao,如下:


成功分配权限后,

发现不能直接开启进程,需要重新格式化namenode,否则,namenode无法正常开启

于是重新格式化namenode,开启进程后发现datanode没有成功开启,查看datanode的日志,报错,百度,如下网址解决:

http://www.cnblogs.com/kinglau/p/3796274.html/usr/local/hadoop/tmp/dfs/name

重新开启后成功!


备注:需要学会看日志,日志提示报错内容。

远程查看:


另外需要对目录权限有所注意,把目录权限分配给特定用户。


SSH免密码登陆


 
推荐阅读
  • 本文详细分析了Hive在启动过程中遇到的权限拒绝错误,并提供了多种解决方案,包括调整文件权限、用户组设置以及环境变量配置等。 ... [详细]
  • 本文详细介绍了macOS系统的核心组件,包括如何管理其安全特性——系统完整性保护(SIP),并探讨了不同版本的更新亮点。对于使用macOS系统的用户来说,了解这些信息有助于更好地管理和优化系统性能。 ... [详细]
  • Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • Hadoop发行版本选择指南:技术解析与应用实践
    本文详细介绍了Hadoop的不同发行版本及其特点,帮助读者根据实际需求选择最合适的Hadoop版本。内容涵盖Apache Hadoop、Cloudera CDH等主流版本的特性及应用场景。 ... [详细]
  • 全面解析运维监控:白盒与黑盒监控及四大黄金指标
    本文深入探讨了白盒和黑盒监控的概念,以及它们在系统监控中的应用。通过详细分析基础监控和业务监控的不同采集方法,结合四个黄金指标的解读,帮助读者更好地理解和实施有效的监控策略。 ... [详细]
  • Symfony是一个功能强大的PHP框架,以其依赖注入(DI)特性著称。许多流行的PHP框架如Drupal和Laravel的核心组件都基于Symfony构建。本文将详细介绍Symfony的安装方法及其基本使用。 ... [详细]
  • 本文详细分析了JSP(JavaServer Pages)技术的主要优点和缺点,帮助开发者更好地理解其适用场景及潜在挑战。JSP作为一种服务器端技术,广泛应用于Web开发中。 ... [详细]
  • 优化ListView性能
    本文深入探讨了如何通过多种技术手段优化ListView的性能,包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 本文详细介绍了如何在Linux系统上安装和配置Smokeping,以实现对网络链路质量的实时监控。通过详细的步骤和必要的依赖包安装,确保用户能够顺利完成部署并优化其网络性能监控。 ... [详细]
  • 本文介绍了如何通过 Maven 依赖引入 SQLiteJDBC 和 HikariCP 包,从而在 Java 应用中高效地连接和操作 SQLite 数据库。文章提供了详细的代码示例,并解释了每个步骤的实现细节。 ... [详细]
  • 本文详细记录了在银河麒麟操作系统和龙芯架构上使用 Qt 5.15.2 进行项目打包时遇到的问题及解决方案,特别关注于 linuxdeployqt 工具的应用。 ... [详细]
  • CentOS系统安装与配置常见问题及解决方案
    本文详细介绍了在CentOS系统安装过程中遇到的常见问题及其解决方案,包括Vi编辑器的操作、图形界面的安装、网络连接故障排除等。通过本文,读者可以更好地理解和解决这些常见问题。 ... [详细]
  • 本文详细介绍了如何在PHP中进行数组删除、清空等操作,并提供了在Visual Studio Code中创建PHP文件的步骤。 ... [详细]
  • ElasticSearch 集群监控与优化
    本文详细介绍了如何有效地监控 ElasticSearch 集群,涵盖了关键性能指标、集群健康状况、统计信息以及内存和垃圾回收的监控方法。 ... [详细]
author-avatar
靠谱的留一手_267
这个家伙很懒,什么也没留下!
RankList | 热门文章