大数据时代,任何行业都离不开大体量数据的分析技术。笔者最近开始使用Hadoop工具,在使用过程中遇到了各种问题,走了很多弯路,遂做记录。
安装准备 Vmware:VMwareworkstation_full_12.1.0.2487.1453173744 Cent: CentOS-7-x86_64-DVD-1611.iso
注意:为了可视化及后续开发工作,本文安装的为gnome版本。centos系统位数与vmware建立虚拟机的位数一致,且要与要安装的hadoop版本位数一致,否则会出现错误。
安装流程
首先对vmware进行安装,完成后点击创建虚拟机,这过程较简单,可参照网络上教程来进行配置。需要注意的是在选择操作系统时选择Linux,版本选择CentOS 64位,之后网络部分选择NAT(网络地址转换)模式。其他部分按默认即可。
配置完成后进行安装系统 CD/DVD选择CentOS7盘路径,之后开启此虚拟机,进行安装。安装阶段需要配置的有两处:磁盘配置(系统安装位置)以及root密码和用户创建。 (1) 磁盘配置:/boot 200mib xfs /home 1024mib ext4 /swap 2048mib swap / 16.8g ext4 (2) 用户创建:为了后续hadoop安装中的SSH配置,用户名需要一致,例如用户安装四台虚拟机,一台master,三台slave,用户名均为hadoop。这样在主机进行登录时可以ssh +从机ip地址的形式直接登录,这部分在后边SSH配置部分进行详细说明。
CentOS系统配置
网络配置 默认系统内网络服务为关闭,终端输入
sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33
打开后如下,进行配置,有注释的为需要更改或增加的项。
TYPE=EthernetBOOTPROTO=static ##需要静态ip则为staticDEFROUTE=yesPEERDNS=yesPEERROUTES=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCOnF=yesIPV6_DEFROUTE=yesIPV6_PEERDNS=yesIPV6_PEERROUTES=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyDNS1=192.168.38.2 ##dns用于外网域名解析IPADDR=192.168.38.101 ##配置IP地址GATEWAY=192.168.38.2 ##网关 从Vmware虚拟网络编辑器-VMnet8-Nat设置-网关NETMASK=255.255.255.0 ##子网掩码 NAME=ens33UUID=e14f3828-11c7-468f-91e0-1d4812447664DEVICE=ens33OnBOOT=yes ##是否开机自动启动
配置完成后输入
service network restart
或
systemctl restart network
重启网络,测试网络输入
ping www.csdn.com
ping值正常则进行成功。
END