首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

centos6.5无网环境下利用ambari搭建HDP环境

作者：喂_早安学院_703 | 来源：互联网 | 2023-05-24 20:22
2019独角兽企业重金招聘Python工程师标准1安装前服务器环境准备1.1环境规划实验机器总数3台。IP主机名部署环境192.168.1.223223Ambari-serv

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

1 安装前服务器环境准备

1.1 环境规划

实验机器总数3台。

IP

主机名

部署环境

192.168.1.223

223

Ambari-server、ambari-agent、yum源

192.168.1.224

224

Ambari-agent

192.168.1.225

225

Ambari-agent

1.2 配置hosts

在三台主机中添加主机名与IP之间的对应关系。

vim /etc/hosts

将以下內容添加进去

192.168.1.223 223192.168.1.224 224192.168.1.225 225

1.3 关闭防火墙

在所有的主机上&＃xff0c;执行如下命令&＃xff0c;关闭防火墙。

chkconfig iptables offservice iptables stop

1.4 关闭SELINUX和PackageKit

在所有的主机上&＃xff0c;执行如下命令

SELINUX修改

vim /etc/selinux/config

做如下更改&＃xff1a;SELINUX&＃61;disabled

PackageKit(系统中已经安装了PackageKit)

 vim /etc/yum/pluginconf.d/refresh-packagekit.conf 

做如下更改&＃xff1a;enabled&＃61;0

1.5 安装NTP时钟同步

在所有的主机上&＃xff0c;执行如下操作

安装NTP服务

yum install -y ntpchkconfig ntpd on

启动NTP服务

service ntpd start

1.6 建立SSH互信

在所有的主机上建立互信&＃xff0c;要求所有的机器必须能够项目无密码登陆。

首先&＃xff0c;登陆ambari-server机器&＃xff0c;执行如下命令生成公钥

//首先切换到当前登录用户的用户目录下cd ~/mkdir .sshssh-keygen -t rsacd .sshcat id_rsa.pub >> authorized_keyschmod 700 ~/.sshchmod 600 ~/.ssh/authorized_keys

将authorized_keys中的秘钥分发到所有ambari-agent节点上。

ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.1.224ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.1.225

在其它ambari-agent节点上也同样利用上面的命令生成公钥&＃xff0c;然后将公钥分发给ambari-server。然后&＃xff0c;两个agent相互信任。

1.7 关闭Transparent HugePages

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defragecho never > /sys/kernel/mm/redhat_transparent_hugepage/enabledecho never > /sys/kernel/mm/transparent_hugepage/enabledecho never > /sys/kernel/mm/transparent_hugepage/defrag

1.8 安装JDK

卸载自带的Open-jdk

rpm -qa | grep javarpm -e –nodeps 加上查询出来的名字

从官网下载JDK安装包

利用终端工具将安装包上传至服务器

执行如下命令

mkdir /usr/local/jdktar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/local/jdk/vim /etc/profile

将如下內容放到文件底部&＃xff0c;保存

export JAVA_HOME&＃61;/usr/local/jdk/jdk1.8.0_181export JRE_HOME&＃61;$JAVA_HOME/jreexport CLASSPATH&＃61;.:$JAVA_HOME/lib:$JRE_HOME/libexport PATH&＃61;$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

检查是否安装成功

java -version

2 本地ambari yum源搭建

2.1 安装创建本地源的工具

yum install yum-utils createrepo

2.2 安装httpd

yum install httpd

2.3 托管ambari安装包到apache服务器

将本地安装包上传服务器后&＃xff0c;解压到/var/www/html目录下。如果解压后的目录中没有repodata文件夹&＃xff0c;则用以下命令生成repodata。

cd /root/HDP/tar -vzxf ambari.tar.gz -C /var/www/html/ambari/tar -vzxf HDP.tar.gz -C /var/www/html/HDP/tar -vzxf  HDP-UTILS.tar.gz -C /var/www/html/hdp-util/# 如果解压后的目录中没有repodata才执行 createrepo操作createrepo /var/www/html/ambari/centos6/

2.4 启动httpd服务

chkconfig httpd onservice httpd start

2.5 添加ambari&＃43;HDP源配置

添加源的时候baseurl填写安装包托管到apache服务器的地址。

添加ambari源

cd /etc/yum.repos.d/vim ambari.repo

将以下內容添加进ambari.repo

baseurl为当前ambari安装包托管到apache服务器的地址

gpgkey填写当前GPGKEY托管到apache服务器的地址

#VERSION_NUMBER&＃61;2.6.2.0-155[ambari-2.6.2.0]name&＃61;ambari Version - ambari-2.6.2.0baseurl&＃61;http://192.168.1.223/ambari/centos6/gpgcheck&＃61;1gpgkey&＃61;http://192.168.1.223/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled&＃61;1priority&＃61;1

添加HDP源

cd /etc/yum.repos.d/vim hdp.repo

将以下內容添加进hdp.repo

baseurl为当前hdp安装包托管到apache服务器的地址

gpgkey填写当前GPGKEY托管到apache服务器的地址

#VERSION_NUMBER&＃61;2.6.5.0-292[HDP-2.6.5.0]name&＃61;HDP Version - HDP-2.6.5.0baseurl&＃61;http://192.168.1.223/hdp/centos6gpgcheck&＃61;1gpgkey&＃61;http://192.168.1.223/hdp/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled&＃61;1priority&＃61;1[HDP-UTILS-1.1.0.22]name&＃61;HDP-UTILS Version - HDP-UTILS-1.1.0.22baseurl&＃61;http://192.168.1.223/hdp-utilgpgcheck&＃61;1gpgkey&＃61;http://192.168.1.223/hdp-util/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled&＃61;1priority&＃61;1

查看是否添加成功

yum clean allyum repolist

2.6 准备系统yum源

从网上下载相对应linux版本的完整版安装包

在服务器上创建相应yum源托管目录。由于文件较大&＃xff0c;我们通过软连接方式托管到服务器。

mkdir -p /var/www/html/centos/7/os/mkdir -p /opt/centos/7/os/x86_64/Packagesln -s /opt/centos/7/os/x86_64/ /var/www/html/centos/7/os/


解压linux安装包&＃xff0c;将Packages目录下的文件拷贝到/opt/centos/7/os/x86_64/Packages目录下&＃xff0c;将RPM-GPG-KEY-CentOS-7拷贝到/opt/centos/7/os/x86_64/目录下。

2.8 添加系统yum配置

执行如下命令

createrepo /var/www/html/centos/7/os/x86_64/vim /etc/yum.repos.d/local.repo

将如下內容拷贝到local.repo然后保存

#LOCAL[local]name&＃61;localbaseurl&＃61;http://服务器IP地址/centos/$releasever/os/$basearch/gpgcheck&＃61;1gpgkey&＃61;http://服务器IP地址/centos/$releasever/os/$basearch/RPM-GPG-KEY-CentOS-7enabled&＃61;1priority&＃61;1

执行如下命令进行测试

yum clean allyum makecacheyum repolist

2.9 配置说明

首先&＃xff0c;在一台机器上制作好局域网本地源后&＃xff0c;其它机器只需要按照2.5和2.8步骤进行相应的配置即可。

3 Ambari-Server搭建

3.1 安装ambari-server

yum install ambari-server

3.2 配置ambari-server

注意加粗地方的选择

ambari-server setupUsing python  /usr/bin/python2Setup ambari-serverChecking SELinux...SELinux status is &＃39;disabled&＃39;Customize user account for ambari-server daemon [y/n] (n)? yEnter user account for ambari-server daemon (root):rootAdjusting ambari-server permissions and ownership...Checking firewall status...Checking JDK...[1] Oracle JDK 1.8 &＃43; Java Cryptography Extension (JCE) Policy Files 8[2] Oracle JDK 1.7 &＃43; Java Cryptography Extension (JCE) Policy Files 7[3] Custom JDK&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;Enter choice (1): 3WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.Path to JAVA_HOME: /usr/local/jdk/jdk1.8.0_60Validating JDK on Ambari Server...done.Completing setup...Configuring database...Enter advanced database configuration [y/n] (n)? n

3.3 启动ambari-server

ambari-server start

访问服务器IP地址&＃43;8080端口&＃xff0c;看到ambari界面&＃xff0c;则安装成功。

4 利用Ambari部署HDP

4.1 准备mysql驱动

将驱动改名为mysql-connector-java.jar复制到ambari-server服务器的/var/lib/ambari-server/resources目录下

4.2 按照界面提示进行操作

进入管理界面后&＃xff0c;点击这个按钮

https://img7.php1.cn/3cdc5/cfe7/978/b31a8134826e34cc.png

输入集群名字

https://img7.php1.cn/3cdc5/cfe7/978/4f68c34af6cba0ec.png

选择HDP版本&＃xff0c;填写HDP&＃xff0c;和相应本地yum源地址

https://img7.php1.cn/3cdc5/cfe7/978/f61590da863953c0.png

https://img7.php1.cn/3cdc5/cfe7/978/eb99b0fc55f0c071.png

填写目标机器主机名&＃xff0c;和ambari-server的私钥

https://img7.php1.cn/3cdc5/cfe7/978/53e2b530e351b4b4.png

Ambari-server私钥查看

cat ~/.ssh/id_rsa

等待安装

https://img7.php1.cn/3cdc5/cfe7/978/2eea62247244f10e.png

https://img7.php1.cn/3cdc5/cfe7/978/7a9ba65849252f12.png

选择需要服务

https://img7.php1.cn/3cdc5/cfe7/978/ea74d81db193cdb0.png

默认安装就好&＃xff0c;后期可以改&＃xff0c;一路next。

https://img7.php1.cn/3cdc5/cfe7/978/0e64f8715289bd61.png

https://img7.php1.cn/3cdc5/cfe7/978/0c5df783faba7699.png

注意在进行这一步操作时&＃xff0c;需要填写几种环境的用户名和密码

https://img7.php1.cn/3cdc5/cfe7/978/52bc53613d72ddda.png

最终安装成功后&＃xff0c;跳转到主页

5 遇到的问题

5.1 修改SSL验证

当ambari-agent向ambari-server注册时出现如下错误&＃xff0c;则执行此步骤。

NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.

执行如下步骤解决

vim /etc/ambari-agent/conf/ambari-agent.ini

相应位置配置做出如下修改

[security]force_https_protocol&＃61;PROTOCOL_TLSv1_2

如果python版本为2.7那么还需要进行如下修改

vim /etc/python/cert-verification.cfg

将如下內容进行修改

[https]verify&＃61;disable

 


转:https://my.oschina.net/u/3226414/blog/1929941



推荐阅读
  • linux

    第四讲Apache+LAMP服务器基本配置

    第四讲ApacheLAMP服务器基本配置Apache的编译安装从Apache的官方网站下载源码包：http:httpd.apache.orgdownload.cgi今 ... [详细]
  • require

    Linux服务器密码过期策略、登录次数限制、私钥登录等配置方法

    Linux服务器密码过期策略、登录次数限制、私钥登录等配置方法
    本文介绍了在Linux服务器上进行密码过期策略、登录次数限制、私钥登录等配置的方法。通过修改配置文件中的参数，可以设置密码的有效期、最小间隔时间、最小长度，并在密码过期前进行提示。同时还介绍了如何进行公钥登录和修改默认账户用户名的操作。详细步骤和注意事项可参考本文内容。 ... [详细]
  • require

    rhel5.5搭建网关+LAMP+postfix+dhcp的步骤和配置方法

    本文介绍了在rhel5.5操作系统下搭建网关+LAMP+postfix+dhcp的步骤和配置方法。通过配置dhcp自动分配ip、实现外网访问公司网站、内网收发邮件、内网上网以及SNAT转换等功能。详细介绍了安装dhcp和配置相关文件的步骤，并提供了相关的命令和配置示例。 ... [详细]
  • require

    Centos7.6安装Gitlab教程及注意事项

    Centos7.6安装Gitlab教程及注意事项
    本文介绍了在Centos7.6系统下安装Gitlab的详细教程，并提供了一些注意事项。教程包括查看系统版本、安装必要的软件包、配置防火墙等步骤。同时，还强调了使用阿里云服务器时的特殊配置需求，以及建议至少4GB的可用RAM来运行GitLab。 ... [详细]
  • require

    Linux虚拟化部署中的VLAN配置方法详解

    本文详细介绍了在Linux虚拟化部署中进行VLAN配置的方法。首先要确认Linux系统内核是否已经支持VLAN功能，然后配置物理网卡、子网卡和虚拟VLAN网卡的关系。接着介绍了在Linux配置VLAN Trunk的步骤，包括将物理网卡添加到VLAN、检查添加的VLAN虚拟网卡信息以及重启网络服务等。最后，通过验证连通性来确认配置是否成功。 ... [详细]
  • require

    Linux如何安装Mongodb的详细步骤和注意事项

    Linux如何安装Mongodb的详细步骤和注意事项
    本文介绍了Linux如何安装Mongodb的详细步骤和注意事项，同时介绍了Mongodb的特点和优势。Mongodb是一个开源的数据库，适用于各种规模的企业和各类应用程序。它具有灵活的数据模式和高性能的数据读写操作，能够提高企业的敏捷性和可扩展性。文章还提供了Mongodb的下载安装包地址。 ... [详细]
  • require

    mysql升级（从5.6.15升级到5.7.15的步骤）

    本文介绍了将mysql从5.6.15升级到5.7.15的详细步骤，包括关闭访问、备份旧库、备份权限、配置文件备份、关闭旧数据库、安装二进制、替换配置文件以及启动新数据库等操作。 ... [详细]
  • char

    centos安装Mysql的方法及步骤详解

    centos安装Mysql的方法及步骤详解
    本文介绍了centos安装Mysql的两种方式：rpm方式和绿色方式安装，详细介绍了安装所需的软件包以及安装过程中的注意事项，包括检查是否安装成功的方法。通过本文，读者可以了解到在centos系统上如何正确安装Mysql。 ... [详细]
  • char

    5个基本Linux命令行工具的现代化替代品

    本文介绍了5个基本Linux命令行工具的现代化替代品，包括du、top和ncdu。这些替代品在功能上进行了改进，提高了可用性，并且适用于现代化系统。其中，ncdu是du的替代品，它提供了与du类似的结果，但在一个基于curses的交互式界面中，重点关注占用磁盘空间较多的目录。 ... [详细]
  • char

    明明白白你的Linux服务器——网络篇(2)

    三、寻找恶意IP并用iptables禁止掉找出恶意连接你的服务器80端口的IP，直接用iptables来drop掉它；这里建议写脚本来运行， ... [详细]
  • js

    Linux下Perl的安装及第一个程序运行

    本文介绍了在Linux下安装Perl的步骤，并提供了一个简单的Perl程序示例。同时，还展示了运行该程序的结果。 ... [详细]
  • string

    C#制作Java+Mysql+Tomcat环境安装程序，一键式安装教程

    本文介绍了如何使用C#制作Java+Mysql+Tomcat环境安装程序，实现一键式安装。通过将JDK、Mysql、Tomcat三者制作成一个安装包，解决了客户在安装软件时的复杂配置和繁琐问题，便于管理软件版本和系统集成。具体步骤包括配置JDK环境变量和安装Mysql服务，其中使用了MySQL Server 5.5社区版和my.ini文件。安装方法为通过命令行将目录转到mysql的bin目录下，执行mysqld --install MySQL5命令。 ... [详细]
  • bit

    CentOS安装Python2.7.2的步骤和注意事项

    本文介绍了在CentOS上安装Python2.7.2的详细步骤，包括下载、解压、编译和安装等操作。同时提供了一些注意事项，以及测试安装是否成功的方法。 ... [详细]
  • bit

    centos7将网卡名字改成eth样式

    1、打开etcsysconfiggrub，   #vimetcsysconfiggrub   内容如下： ... [详细]
  • process

    Linux之进程数和句柄数：linux句柄数含义

    本文主要介绍关于linux文件描述符设置,centos7设置文件句柄数,centos7查看进程数的知识点，对【Linux之进程数和句柄数】和【linux句柄数含义】有兴趣的朋友可以看下由【东城绝神】投 ... [详细]
author-avatar
喂_早安学院_703
这个家伙很懒，什么也没留下！
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有