cdh的集成phoenix安装_安装Ambari和HDP

最新的CDH已经没有了社区版&＃xff0c;也就是说以后使用新版本的Cloudera Manager和CDH都是要收费的&＃xff0c;这对于很多小公司来说&＃xff0c;可能无法承受。转向Ambari是他们的一个可选项。Ambari是Apache的一个顶级开源项目&＃xff0c;开源是其最大的优势&＃xff0c;开源也意味着Ambari可以灵活地进行扩展&＃xff0c;集成更多的数据组件&＃xff0c;对于需要定制化和二次开发的企业来说&＃xff0c;Ambari也极具吸引力。

1、安装包准备

链接如下&＃xff1a;

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.1.5/ambari-2.6.1.5-centos7.tar.gzhttps://download.csdn.net/download/ljk168/10351315http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.4.0/HDP-GPL-2.6.4.0-centos7-rpm.tar.gzhttp://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gzhttp://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/HDP-2.6.4.0-centos7-rpm.tar.gz

2、主机准备。

本次Ambari环境基于三台2核8G的EC2服务器&＃xff0c;操作系统为Centos7.6&＃xff0c;三台主机如下

和安装Cloudera Manager、CDH类似&＃xff0c;首先需要修改三台主机的网络设置、禁用SElinux、修改主机名、关闭防火墙、ssh免密、开启http服务、设置时钟同步、安装JDK&＃xff0c;在此不作详细介绍&＃xff0c;具体可以参考之前安装CDH7.1.1的文章。

由于AWS中国的EC2服务器没有开放80和8080端口&＃xff0c;我们将Http服务的端口改为了8085&＃xff0c;Ambari Web服务的端口改成了8086端口。

3、安装MariaDB&＃xff0c;创建数据库

安装并启动

yum -y install mariadb-serversystemctl start mariadb.servicesystemctl enable mariadb.service

设置密码123456&＃xff0c;一路回车

mysql_secure_installation

配置数据库

登录MySQL

mysql -u root -p123456

创建所需数据库

# 创建ambari数据库create database ambari;CREATE USER &＃39;ambari&＃39;&＃64;&＃39;%&＃39;IDENTIFIED BY &＃39;123456&＃39;;GRANT ALL PRIVILEGES ON *.* TO &＃39;ambari&＃39;&＃64;&＃39;%&＃39;;FLUSH PRIVILEGES;# 创建Hive数据库create database hive;CREATE USER &＃39;hive&＃39;&＃64;&＃39;%&＃39;IDENTIFIED BY &＃39;123456&＃39;;GRANT ALL PRIVILEGES ON *.* TO &＃39;hive&＃39;&＃64;&＃39;%&＃39;;FLUSH PRIVILEGES;# 创建Oozie数据库create database oozie;CREATE USER &＃39;oozie&＃39;&＃64;&＃39;%&＃39;IDENTIFIED BY &＃39;123456&＃39;;GRANT ALL PRIVILEGES ON *.* TO &＃39;oozie&＃39;&＃64;&＃39;%&＃39;;FLUSH PRIVILEGES;

将Mysql驱动放置在 /usr/share/java目录

4、上传安装包&＃xff0c;创建本地yum源&＃xff0c;开始安装ambari

将ambari、HDP 、HDP-GPL 、HDP-UTILS包解压至 /var/www/html目录下

将各个目录最底层的repo文件移动至 /etc/yum.repo/下&＃xff0c;并修改为

ambari.repo

[ambari-2.6.1.5]name&＃61;ambari Version - ambari-2.6.1.5baseurl&＃61;http://52.83.64.220:8085/ambari/centos7/2.6.1.5-3gpgcheck&＃61;1gpgkey&＃61;http://52.83.64.220:8085/ambari/centos7/2.6.1.5-3/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled&＃61;1priority&＃61;1

hdp.repo

[HDP-2.6-repo-1]name&＃61;HDP-2.6-repo-1baseurl&＃61;http://52.83.64.220:8085/HDP/centos7/2.6.4.0-91gpgcheck&＃61;1gpgkey&＃61;http://52.83.64.220:8085/HDP/centos7/2.6.4.0-91/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinspriority&＃61;1enabled&＃61;1[HDP-UTILS-1.1.0.22-repo-1]name&＃61;HDP-UTILS-1.1.0.22-repo-1baseurl&＃61;http://52.83.64.220:8085/HDP-UTILS/centos7/1.1.0.22gpgcheck&＃61;1gpgkey&＃61;http://52.83.64.220:8085/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinspriority&＃61;1enabled&＃61;1[HDP-HDP-GPL-repo-1]name&＃61;HDP-GPLbaseurl&＃61;http://52.83.64.220:8085/HDP-GPL/centos7/2.6.4.0-91gpgcheck&＃61;1gpgkey&＃61;http://52.83.64.220:8085/HDP-GPL/centos7/2.6.4.0-91/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinspriority&＃61;1enabled&＃61;1

开始安装ambari-server

# 安装yum install -y ambari-server# 配置ambari-server setup

大都是常规的配置&＃xff0c;其中提示输入 JAVA_HOME和 ambari元数据库的登录密码&＃xff0c;需要输入之前设置的路径和密码

登录ambari数据库&＃xff0c;对数据库进行初始化

mysql -uroot -p123456use ambarisource /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sqlshow tables;

完成数据库的初始化后&＃xff0c;启动

ambari-server start

5、登录Ambari Web页面&＃xff0c;配置HDP

用admin/admin登录ambari界面ambari1.soundhearer.com:8086

create a cluster

select a version

confirm host    

此处可能会出现类似以下错误

NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.

需要修改 ambari-agent 的配置文件

# 文件位置 vim /etc/ambari-agent/conf/ambari-agent.ini&＃xff3b;security&＃xff3d;中增加一项 force_https_protocol&＃61;PROTOCOL_TLSv1_2

choose services

assign master

assign slaves and clients

customize services

review

Install, Start and Test

Summary

至此安装Ambari和HDP结束。