热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Hadoop学习(1)---(64bit)Centos7+Vmware安装及Hadoop环境预配置

大数据时代,任何行业都离不开大体量数据的分析技术。笔者最近开始使用Hadoop工具,在使用过程中遇到了各种问题,走了很多弯路,遂做记录。安装准备Vmware:VMwareworkst
大数据时代,任何行业都离不开大体量数据的分析技术。笔者最近开始使用Hadoop工具,在使用过程中遇到了各种问题,走了很多弯路,遂做记录。
  • 安装准备
    Vmware:VMwareworkstation_full_12.1.0.2487.1453173744
    Cent: CentOS-7-x86_64-DVD-1611.iso

    注意:为了可视化及后续开发工作,本文安装的为gnome版本。centos系统位数与vmware建立虚拟机的位数一致,且要与要安装的hadoop版本位数一致,否则会出现错误。

  • 安装流程

    1. 首先对vmware进行安装,完成后点击创建虚拟机,这过程较简单,可参照网络上教程来进行配置。需要注意的是在选择操作系统时选择Linux,版本选择CentOS 64位,之后网络部分选择NAT(网络地址转换)模式。其他部分按默认即可。

    2. 配置完成后进行安装系统
      CD/DVD选择CentOS7盘路径,之后开启此虚拟机,进行安装。安装阶段需要配置的有两处:磁盘配置(系统安装位置)以及root密码和用户创建。
      (1) 磁盘配置:/boot 200mib xfs
      /home 1024mib ext4
      /swap 2048mib swap
      / 16.8g ext4
      (2) 用户创建:为了后续hadoop安装中的SSH配置,用户名需要一致,例如用户安装四台虚拟机,一台master,三台slave,用户名均为hadoop。这样在主机进行登录时可以ssh +从机ip地址的形式直接登录,这部分在后边SSH配置部分进行详细说明。

  • CentOS系统配置

    1. 终端配置
      默认系统中无打开终端快捷键,比较别扭。可以打开设置-键盘-快捷键-增加(+),名称输入“Launch a Terminal”,命令输入/usr/bin/gnome-terminal,添加后单击自定义快捷键,按个人习惯配置快捷键,这里以Ctrl+t键 。
    2. 网络配置
      默认系统内网络服务为关闭,终端输入

      sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33

      打开后如下,进行配置,有注释的为需要更改或增加的项。

      TYPE=Ethernet
      BOOTPROTO=static ##需要静态ip则为static
      DEFROUTE=yes
      PEERDNS=yes
      PEERROUTES=yes
      IPV4_FAILURE_FATAL=no
      IPV6INIT=yes
      IPV6_AUTOCOnF=yes
      IPV6_DEFROUTE=yes
      IPV6_PEERDNS=yes
      IPV6_PEERROUTES=yes
      IPV6_FAILURE_FATAL=no
      IPV6_ADDR_GEN_MODE=stable-privacy
      DNS1=192.168.38.2 ##dns用于外网域名解析
      IPADDR=192.168.38.101 ##配置IP地址
      GATEWAY=192.168.38.2 ##网关 从Vmware虚拟网络编辑器-VMnet8-Nat设置-网关
      NETMASK=255.255.255.0 ##子网掩码
      NAME=ens33
      UUID=e14f3828-11c7-468f-91e0-1d4812447664
      DEVICE=ens33
      OnBOOT=yes ##是否开机自动启动

      配置完成后输入

      service network restart 

      systemctl restart network

      重启网络,测试网络输入

      ping www.csdn.com

      ping值正常则进行成功。

END


推荐阅读
  • 本文介绍了在rhel5.5操作系统下搭建网关+LAMP+postfix+dhcp的步骤和配置方法。通过配置dhcp自动分配ip、实现外网访问公司网站、内网收发邮件、内网上网以及SNAT转换等功能。详细介绍了安装dhcp和配置相关文件的步骤,并提供了相关的命令和配置示例。 ... [详细]
  • Nginx使用AWStats日志分析的步骤及注意事项
    本文介绍了在Centos7操作系统上使用Nginx和AWStats进行日志分析的步骤和注意事项。通过AWStats可以统计网站的访问量、IP地址、操作系统、浏览器等信息,并提供精确到每月、每日、每小时的数据。在部署AWStats之前需要确认服务器上已经安装了Perl环境,并进行DNS解析。 ... [详细]
  • 基于PgpoolII的PostgreSQL集群安装与配置教程
    本文介绍了基于PgpoolII的PostgreSQL集群的安装与配置教程。Pgpool-II是一个位于PostgreSQL服务器和PostgreSQL数据库客户端之间的中间件,提供了连接池、复制、负载均衡、缓存、看门狗、限制链接等功能,可以用于搭建高可用的PostgreSQL集群。文章详细介绍了通过yum安装Pgpool-II的步骤,并提供了相关的官方参考地址。 ... [详细]
  • 本文介绍了Linux系统中正则表达式的基础知识,包括正则表达式的简介、字符分类、普通字符和元字符的区别,以及在学习过程中需要注意的事项。同时提醒读者要注意正则表达式与通配符的区别,并给出了使用正则表达式时的一些建议。本文适合初学者了解Linux系统中的正则表达式,并提供了学习的参考资料。 ... [详细]
  • CentOS 7部署KVM虚拟化环境之一架构介绍
    本文介绍了CentOS 7部署KVM虚拟化环境的架构,详细解释了虚拟化技术的概念和原理,包括全虚拟化和半虚拟化。同时介绍了虚拟机的概念和虚拟化软件的作用。 ... [详细]
  • 本文介绍了在CentOS上安装Python2.7.2的详细步骤,包括下载、解压、编译和安装等操作。同时提供了一些注意事项,以及测试安装是否成功的方法。 ... [详细]
  • CEPH LIO iSCSI Gateway及其使用参考文档
    本文介绍了CEPH LIO iSCSI Gateway以及使用该网关的参考文档,包括Ceph Block Device、CEPH ISCSI GATEWAY、USING AN ISCSI GATEWAY等。同时提供了多个参考链接,详细介绍了CEPH LIO iSCSI Gateway的配置和使用方法。 ... [详细]
  • centos安装Mysql的方法及步骤详解
    本文介绍了centos安装Mysql的两种方式:rpm方式和绿色方式安装,详细介绍了安装所需的软件包以及安装过程中的注意事项,包括检查是否安装成功的方法。通过本文,读者可以了解到在centos系统上如何正确安装Mysql。 ... [详细]
  • Centos7搭建ELK(Elasticsearch、Logstash、Kibana)教程及注意事项
    本文介绍了在Centos7上搭建ELK(Elasticsearch、Logstash、Kibana)的详细步骤,包括下载安装包、安装Elasticsearch、创建用户、修改配置文件等。同时提供了使用华为镜像站下载安装包的方法,并强调了保证版本一致的重要性。 ... [详细]
  • Unity3D引擎的体系结构和功能详解
    本文详细介绍了Unity3D引擎的体系结构和功能。Unity3D是一个屡获殊荣的工具,用于创建交互式3D应用程序。它由游戏引擎和编辑器组成,支持C#、Boo和JavaScript脚本编程。该引擎涵盖了声音、图形、物理和网络功能等主题。Unity编辑器具有多语言脚本编辑器和预制装配系统等特点。本文还介绍了Unity的许可证情况。Unity基本功能有限的免费,适用于PC、MAC和Web开发。其他平台或完整的功能集需要购买许可证。 ... [详细]
  • PG12新增的VACUUM命令的SKIP_LOCKED选项
    PG12版本的VACUUM命令新增了SKIP_LOCKED选项,该选项使得vacuum命令在遇到被lock住的table时可以跳过并被视为成功执行。之前的版本中,vacuum命令会一直处于等待状态。本文还提到了PostgreSQL 12.1版本的相关信息。 ... [详细]
  • Linux重启网络命令实例及关机和重启示例教程
    本文介绍了Linux系统中重启网络命令的实例,以及使用不同方式关机和重启系统的示例教程。包括使用图形界面和控制台访问系统的方法,以及使用shutdown命令进行系统关机和重启的句法和用法。 ... [详细]
  • Metasploit攻击渗透实践
    本文介绍了Metasploit攻击渗透实践的内容和要求,包括主动攻击、针对浏览器和客户端的攻击,以及成功应用辅助模块的实践过程。其中涉及使用Hydra在不知道密码的情况下攻击metsploit2靶机获取密码,以及攻击浏览器中的tomcat服务的具体步骤。同时还讲解了爆破密码的方法和设置攻击目标主机的相关参数。 ... [详细]
  • 本文介绍了Oracle数据库中tnsnames.ora文件的作用和配置方法。tnsnames.ora文件在数据库启动过程中会被读取,用于解析LOCAL_LISTENER,并且与侦听无关。文章还提供了配置LOCAL_LISTENER和1522端口的示例,并展示了listener.ora文件的内容。 ... [详细]
  • 本文介绍了在Mac上搭建php环境后无法使用localhost连接mysql的问题,并通过将localhost替换为127.0.0.1或本机IP解决了该问题。文章解释了localhost和127.0.0.1的区别,指出了使用socket方式连接导致连接失败的原因。此外,还提供了相关链接供读者深入了解。 ... [详细]
author-avatar
大米的感悟_673
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有