热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

阿里云ECSZookeeper安装

续上篇:http:blog.csdn.netstella_wu1017articledetails72843841在hadoop部署完成后,开始部署Zookeeper,zookeepe

续上篇:

http://blog.csdn.net/stella_wu1017/article/details/72843841

在hadoop部署完成后,开始部署Zookeeper,zookeeper的安装环境需求:

http://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html#sc_requiredSoftware

首先Zookeeper需要保证有3个以上的奇数节点。

首先,下载zookeeper3.4.10

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz
解压文件,并移动

tar -zxvf zookeeper-3.4.10.tar.gz
mv zookeeper-3.4.10 /opt/zookeeper

配置hosts文件,同hadoop,加入ip+hostname。由于hadoop配置了,这里就不需要再配了。

编辑zookeeper配置文件,先复制一份./conf/zoo_sample.cfg为zoo.cfg,然后编辑zoo.cfg

cp zoo_sample.cfg zoo.cfg

我们这里只调整zookeeper的data和logs的存放位置

mkdir -p /opt/zookeeper/zookeeper/data
mkdir -p /opt/zookeeper/zookeeper/datalog
mkdir -p /opt/zookeeper/zookeeper/log

在zoo.cfg中添加或修改以下参数

dataDir=/opt/zookeeper/zookeeper/data
dataLogDir=/opt/zookeeper/zookeeper/datalog
clientPort=2181
initLimit=5
syncLimit=2
autopurge.snapRetainCount=10
autopurge.purgeInterval=1
server.1=host1:2888:3888
server.2=host2:2888:3888
server.3=host3:2888:3888

在/opt/zookeeper/zookeeper/data下创建myid。按照自然数1-255创建。
比方host1那台机器,就在myid里写1.

echo 1 > myid
host2那台机器,就在对应机器的myid里写2....

在/etc/profile.d/zookeeper.sh中配置

export ZOOKEEPER_HOME=/opt/zookeeper/current
export ZOO_LOG_DIR=${ZOOKEEPER_HOME}/log
export PATH=$PATH:${ZOOKEEPER_HOME}/bin

修改/bin/zkEnv.sh

ZOO_LOG4J_PROP="INFO,ROLLINGFILE"

修改conf/log4j.properties

log4j.appender.ROLLINGFILE.MaxFileSize=100MB
log4j.appender.ROLLINGFILE.MaxBackupIndex=10
修改/opt/zookeeper的权限

chown -R hadoop:hadoop zookeeper

然后将zookeeper文件夹复制到其余2台机器上,复制完后,需要修改myid为对应机器序号,并保证文件夹的访问权限。

然后建立软连接

ln -s /opt/zookeeper/zookeeper-3.4.10 ./current

然后进入bin文件夹,启动。每台机器都要运行
./zkServer.sh start

可以使用查看状态,如果没有启动成功,则查看log日志

./zkServer.sh status

详细的安装可以参考以下这篇文章:

[转] http://blog.csdn.net/aquester/article/details/24301195









推荐阅读
  • python zookeeeper 学习和操作
    1.zookeeeper介绍ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用协调及其管理的 ... [详细]
  • 介绍怎样在IntellijIdea中通过创建mavenproject配置MapReduce的编程环境。一、软件环境我使用的软件版本号例如以下:IntellijIdea2017.1M ... [详细]
  • 本文介绍了在sqoop1.4.*版本中,如何实现自定义分隔符的方法及步骤。通过修改sqoop生成的java文件,并重新编译,可以满足实际开发中对分隔符的需求。具体步骤包括修改java文件中的一行代码,重新编译所需的hadoop包等。详细步骤和编译方法在本文中都有详细说明。 ... [详细]
  • Hadoop源码解析1Hadoop工程包架构解析
    1 Hadoop中各工程包依赖简述   Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。   GoogleCluster:ht ... [详细]
  • 前言折腾了一段时间hadoop的部署管理,写下此系列博客记录一下。为了避免各位做部署这种重复性的劳动,我已经把部署的步骤写成脚本,各位只需要按着本文把脚本执行完,整个环境基本就部署 ... [详细]
  • springboot dubbo框架中log4j与slf4jlog4j12日志冲突问题的解决方法
    在基于springboot开发项目中,使用dubbo的RPC框架进行业务拆分,出 ... [详细]
  • 学习mybatis的基础知识:mybatis入门教程(二)
    2019独角兽企业重金招聘Python工程师标准2.3MyBatisprintsql在log4j.properties配置文件中添加如下配置,让mybatis打 ... [详细]
  • Hbase 进阶
    一、RegionServer架构1)StoreFile保存实际数据的物理文件,StoreFile以Hfile的形式存储在HDFS上。每个Store会有一 ... [详细]
  • Spring入门第十讲——Hibernate5.0.7+Struts2.3.24+Spring4.2.4三大框架整合开发
    回顾SSH框架至此,Hibernate-5.0.7、Struts-2.3.24和Spring-4.2.4这三个框架,我们已经都过了一遍了。现在,咱就要 ... [详细]
  • springboot日志【转】【补】
     市面上的日志框架日志门面(日志的抽象层)日志实现JCL(JakartaCommonsLogging)(2014)SLF4j(SimpleLoggingFacadeforJava) ... [详细]
  • 本文介绍了如何使用Express App提供静态文件,同时提到了一些不需要使用的文件,如package.json和/.ssh/known_hosts,并解释了为什么app.get('*')无法捕获所有请求以及为什么app.use(express.static(__dirname))可能会提供不需要的文件。 ... [详细]
  • 从零基础到精通的前台学习路线
    随着互联网的发展,前台开发工程师成为市场上非常抢手的人才。本文介绍了从零基础到精通前台开发的学习路线,包括学习HTML、CSS、JavaScript等基础知识和常用工具的使用。通过循序渐进的学习,可以掌握前台开发的基本技能,并有能力找到一份月薪8000以上的工作。 ... [详细]
  • ZooKeeper 学习
    前言相信大家对ZooKeeper应该不算陌生。但是你真的了解ZooKeeper是个什么东西吗?如果别人面试官让你给他讲讲ZooKeeper是个什么东西, ... [详细]
  • mapreduce源码分析总结
    这篇文章总结的非常到位,故而转之一MapReduce概述MapReduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的ÿ ... [详细]
  • Hadoop 源码学习笔记(4)Hdfs 数据读写流程分析
    Hdfs的数据模型在对读写流程进行分析之前,我们需要先对Hdfs的数据模型有一个简单的认知。数据模型如上图所示,在NameNode中有一个唯一的FSDirectory类负责维护文件 ... [详细]
author-avatar
手机用户2502926947
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有