CDH安装文档
安装步骤参考
https://www.cnblogs.com/fujiangong/p/5620050.html
安装中问题点：
首先看centos版本再去找对应的CDH包 el6/el7等
源码安装Mysql流程：
参考文档:
https://www.cnblogs.com/galengao/p/5755788.html
https://blog.csdn.net/beyondlpf/article/details/6996104
1. 源码包需求 将源码包加入到/usr/local/package下
源码包下载链接：
https://pan.baidu.com/s/1bBfG6z9TlErw5y58eGe8Hw
密码：wlld
cmake-3.5.0.tar.gz
mysql-5.7.17.tar.gz
boost_1_59_0.tar.gz
2. yum安装依赖包 蓝色为一条命令 注意空格格式
yum -y install gcc gcc-c++ make cmake ncurses ncurses-devel man ncurses libxml2 libxml2-devel openssl-devel bison bison-devel
3. 解压boost, 5.7需要boost
cd /usr/local/package/
tar zxvf boost_1_59_0.tar.gz
mv boost_1_59_0 ../
4. 解压cmake, 并安装
cd /usr/local/package/
tar -zxvf cmake-3.5.0.tar.gz && cd cmake-3.5.0/
./configure --prefix=/usr/local/cmake
gmake && make install
5. 使用cmake编译安装mysql
cd /usr/local/package/
tar -zxvf mysql-5.7.17.tar.gz && cd mysql-5.7.17/
/usr/local/cmake/bin/cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DWITH_BOOST=/usr/local/boost_1_59_0 -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci
make && make install
#配置mysql
cp /etc/my.cnf /etc/my.cnf.bak
rm -rf /etc/my.cnf
#mysql初始化
cd /usr/local/mysql
chown -R mysql .
chgrp -R mysql .
cd mysql/
#创建数据目录
mkdir -p /usr/local/mysql/data/
bin/mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
bin/mysql_ssl_rsa_setup --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
chown -R root .
chown -R mysql data/
#复制配置文件
cp support-files/my-default.cnf /etc/my.cnf
#使用service管理
cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
#将mysql目录加入到环境变量
vi /etc/profile
# 在profile文件末尾增加两行
PATH=/usr/local/mysql/bin:/usr/local/mysql/lib:$PATH
export PATH
# 使PATH搜索路径立即生效：
source /etc/profile
#修改配置文件
vi /etc/my.cnf
#修改第19行(取消注释且修改为) datadir = /data/mysql/data/
service mysqld start
ps aux | grep mysqld
mysql -uroot -p
#如果启动mysqld服务报错 首先看data目录下是否有库正常如下
如果没有 删除data目录重新执行 以下命令
#创建数据目录
mkdir -p /usr/local/mysql/data/
bin/mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
bin/mysql_ssl_rsa_setup --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
chown -R root .
chown -R mysql data/
进入mysql 第一次密码为空 直接 mysql -uroot -p 回车 回车
mysql-connector-java-5.1.18.jar 不能用6.0的 因为6.0的跟jdk1.7不兼容 cdh用jdk1.7又比较稳定 所以 用mysql-connect jar 最后选的5.1.18
数据库服务起不来 报Mysql缺少socket这个错
要注意etc/my.cnf 文件 可以把其他节点 该文件scp过来
然后要是仍然报错 找不到mysql.sock centos7的话就在缺少路径建立一个软连接就解决了
ln -s 我们mysql.sock 缺少报错路径
若仍报PID错误去看报错日志 如果说已存在mysql服务：去/tmp 下把之前的mysql.sock删掉 然后启动mysqld服务
/etc/my.cnf 文件如下配置--在[mysqld]下加以下几条
/opt/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p1234.com --scm-host localhost scm scm scm
会提示密码不正确
进入mysql 查找密码/修改密码
mysql -uroot -p 回车 输入密码；
select username,password from mysql.user
发现没有password列 mysql版本不一样导致
给集群安装之前再次确认ntp是否成功（用date查看时间是否一致），以及防火墙端口是否有添加例外;NTP和防火墙是集群安装最常见的两个问题；如果集群安装或启动报错请优先检查这两个。
ssh配置时 一定要确保成功 要不页面配置自动下载时会一直报异常
ssh免密 1to2 1to3 2to3 3to2 2unto1 3unto1 这样就行
CRT上传文件(ALT+P) 到节点 出现上传拒绝访问情况
只能先上传到跳板机 在SCP 发送文件到节点
上传下载文件从linux 用rz sz 若没有
先安装yum -y install lrzsz
sohu的yum源 这个资源库可以 找了其他的库都404
wget http://mirrors.sohu.com/help/CentOS-Base-sohu.repo
更新完yum源后，建议更新一下，使操作立即生效
yum makecache
yum不支持并发执行多个安装 若有多个执行先手动杀掉 其他的
在线安装由于网络下载超时导致安装失败
这时可以 到主机上ps -ef | grep yum 看在下载什么组件 然后可以通过资源库地址,找到对应的rpm包，直接用高网速的环境下载，然后传给指定节点，这样能节省时间。
我用的环境是[downloaduser@logv03 ~]$ 进行高速下载
资源库地址 http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.7.0/
http://archive.cloudera.com/cdh5/sles/11/x86_64/cdh/5.7.6/RPMS/noarch/
然后通过
[root@jqdigit03~]#
将文件下载到指定节点 -p指定输出目录
Wget -P /root/
ftp://120.27.27.83/boost_1_59_0.tar.gz --ftp-user=downloaduser --ftp-password='Dt%6Yu7*ir' -r
拷JAR到其他节点时注意
此时需要对agent目录下的uuid进行删除 然后启动agent服务就会生成一个新的uuid 否则都是一个uuid 这样在CM管理界面中找不到对应的主机节点 或者会发生刷新一次一个新节点 所有节点不会都显示出来
/opt/cm-5.7.0/lib/cloudera-scm-agent 该路径下的uuid文件
当服务都起来了 之后仍然打不开CM管理页面 这时需要
连接公司VPN才可访问web
cloudera-scm-server start
CM管理页面的服务可以在集群安装后再按需添加
当页面如CPU，网络，磁盘 等小窗口都是获取数据失败时
页面显示报错 无法发出查询 host Monitor未运行
此时添加并开启 cloudera manager service 进行配置
配置后重进页面 状态恢复正常
如果启动hdfs-namenode失败 看日志如果是权限问题则
chown hdfs:root -R /dfs/nn/*
如果运行后某台机子出现配置错误 出现未检测到JDK等 需要去主机上确认 然后重启agent服务刷新页面 问题解决
如果启动cloudera manager service 添加角色启动失败
则看日志 若是因为权限不够，则去主机上进行授权
检测下其他用户是否真的有权限去访问 /root文件夹
如在uar用户下 ll /root 访问被拒绝 则权限不够
需要切到root用户下 进行chmod 755 /root
如果传文件夹中出现某个文件权限不够被拒绝的情况
则需现在root用户下 对其进行chmod -R 777 文件夹
这样该文件夹具有了全权限
重启页面后，如下图所示，证明配置成功
京公网安备 11010802041100号