Zookeeper入门教程一（概述、安装和命令）

1.1 什么是Zookeeper

Zookeeper官网对于“What is Zookeeper&＃xff1f;”做出以下解释&＃xff08;吐槽了难以管理的应用&＃xff09;&＃xff1a;

ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. All of these kinds of services are used in some form or another by distributed applications. Each time they are implemented there is a lot of work that goes into fixing the bugs and race conditions that are inevitable. Because of the difficulty of implementing these kinds of services, applications initially usually skimp on them ,which make them brittle in the presence of change and difficult to manage. Even when done correctly, different implementations of these services lead to management complexity when the applications are deployed.

from

ZooKeeper是一个开源的分布式应用程序协调服务&＃xff0c;是Hadoop的一个子项目。它是集群的管理者&＃xff08;就是用来管理服务的&＃xff09;&＃xff1b;

ZooKeeper本身提供的常见服务如下&＃xff08;先看看&＃xff0c;以后会用起来的&＃xff09; :

• 命名服务 - 按名称标识集群中的节点。它类似于DNS&＃xff0c;但仅对于节点。
• 配置管理 - 加入节点的最近的和最新的系统配置信息。
• 集群管理 - 是否有机器退出和加入、选举master。
• 选举算法 - 选举一个节点作为协调目的的leader。
• 分布式锁 - 在修改数据的同时锁定数据。
• 队列管理 - 同步队列或者按照 FIFO 方式进行入队和出队操作

1.2 数据模型ZNode

Zookeeper使用了类似文件系统的数据模型&＃xff0c;它的命名空间中的每个节点拥有它自己或者自己子节点相关的数据&＃xff0c;ZK中必须使用绝对路径“/”开头。如图所示&＃xff1a;

ZooKeeper树中&＃xff0c;每一个节点被称为znode&＃xff0c;和文件系统一样&＃xff0c;我们能够自由的添加、删除znode&＃xff0c;唯一的不同在于znode是可以存储数据的。有两种类型的znode&＃xff1a;

• 持久节点&＃xff08;PERSISTENT&＃xff09;&＃xff1a;

即使在创建该特定znode的客户端断开连接后&＃xff0c;持久节点仍然存在。默认情况下所有znode节点都是持久的。

• 临时节点(EPHEMERAL)&＃xff1a;

客户端活跃时&＃xff0c;临时节点就是有效的。当客户端与ZooKeeper集合断开连接时&＃xff0c;临时节点会自动删除。临时节点不允许有子节点。\

• 顺序节点

顺序节点可以是持久的或临时的。当一个新的znode被创建为一个顺序节点时&＃xff0c;ZooKeeper通过将10位的序列号附加到原始名称来设置znode的路径。例如&＃xff0c;如果将具有路径 /db的znode创建为顺序节点&＃xff0c;则ZooKeeper会将路径更改为 /db0000000001 &＃xff0c;并将下一个序列号设置为0000000002。如果两个顺序节点是同时创建的&＃xff0c;那么ZooKeeper不会对每个znode使用相同的数字。

ZooKeeper服务器是用Java创建的&＃xff0c;它在JVM上运行&＃xff0c;安装zookeeper之前要先安装JVM&＃xff08;此步骤略过&＃xff09;。

ZooKeeper可以运行在多种系统平台上面&＃xff0c;下表展示了ZooKeeper支持的系统平台。

2.2 单机安装

可以到官网下载&＃xff0c;也可以点击百度云下载3.4.9版本 &＃xff0c;执行命令&＃xff1a;

tar -zxvf zookeeper-3.4.9.tar.gz


进入解压缩后的文件&＃xff0c;如图所示&＃xff0c;

解释一下目录&＃xff1a;

bin目录中是zk可执行脚本目录&＃xff0c;包括zk服务端、zk客户端&＃xff1b;conf 是zk的配置文件目录&＃xff1b;lib中是zk依赖的包&＃xff1b;contrib 中是用于操作zk的工具包&＃xff1b;recipes目录 &＃xff1a;zk某些用法的代码示例&＃xff1b;


在conf文件夹中&＃xff0c;有一个文件zoo_sample.cfg&＃xff0c;修改其名称为zoo.cfg&＃xff1b;

编辑该配置文件&＃xff1a;vim zoo.cfg

# The number of milliseconds of each tick
tickTime&＃61;2000
# The number of ticks that the initial
# synchronization phase can take
initLimit&＃61;10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit&＃61;5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir&＃61;/usr/local/zk/datadataLogDir&＃61;/usr/local/zk/log
# the port at which the clients will connect
clientPort&＃61;2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns&＃61;60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount&＃61;3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval&＃61;1


了解一下这些配置参数的意思&＃xff1a;

1. tickTime

时长单位为毫秒&＃xff0c;是zk使用的基本时间度量单位。默认值为2000毫秒。

2. initLimit

指定了启动zookeeper时&＃xff0c;zookeeper实例中的随从实例同步到领导实例的初始化连接时间限制&＃xff0c;超出时间限制则连接失败&＃xff08;以tickTime为时间单位&＃xff09;&＃xff1b;

3. syncLimit

指定了zookeeper正常运行时&＃xff0c;主从节点之间同步数据的时间限制&＃xff0c;若超过这个时间限制&＃xff0c;那么随从实例将会被丢弃&＃xff1b;

4. clientPort

客户端连接使用端口&＃xff0c;默认2181端口&＃xff1b;

5. dataDir

必须配置&＃xff0c;用于配置存储快照文件。如果没有配置dataLogDir&＃xff0c;那么事务日志也会存储在此目录。

添加日志存储路径&＃xff0c;保存&＃xff1b;进入bin目录下。执行 ./zkServer.sh start 启动zookeeper&＃xff0c;显示如图信息&＃xff0c;zookeeper启动成功&＃xff1b;

启动zookeeper 客户端&＃xff0c;连接到服务端&＃xff0c;成功安装并开启&＃xff01;

2.2 集群部署

对于集群模式下的ZooKeeper部署&＃xff0c;3个ZooKeeper服务进程是建议的最小进程数量&＃xff08;建议是奇数个&＃xff0c;原因之后将&＃xff09;&＃xff0c;而且不同的服务进程建议部署在不同的物理机器上面&＃xff0c;减少机器宕机带来的风险&＃xff0c;以实现ZooKeeper集群的高可用。

三个zookeeper的conf/zoo.cfg 配置如下&＃xff1a;

tickTime&＃61;2000
initLimit&＃61;10
syncLimit&＃61;5
dataDir&＃61;/usr/lcoal/zk/data
dataLogDir&＃61;/usr/local/zk/log
clientPort&＃61;2181
server.1&＃61;192.168.2.149:2888:3888
server.2&＃61;192.168.2.151:2888:3888
server.3&＃61;192.168.2.152:2888:3888


每个节点的配置文件(zoo.cfg)都是一样的&＃xff0c;只有 myid 文件不一样。myid 的值必须是 zoo.cfg中server.{数值} 的{数值}部分。其中2888是集群之间的通信端口&＃xff0c;3888 是投票选举使用的端口&＃xff1b;

在dataDir目录下&＃xff0c;添加myid文件&＃xff1b;内容如下&＃xff1a;

149 &＃xff1a;echo &＃39;1&＃39; > /usr/local/zk/data/myid&＃xff1b;
151 &＃xff1a;echo &＃39;2&＃39; > /usr/local/zk/data/myid&＃xff1b;
152 &＃xff1a;echo &＃39;3&＃39; > /usr/local/zk/data/myid&＃xff1b;

最后使用单机模式的方式启动zookeeper即可&＃xff0c;完成集群式部署&＃xff1b;



通过命令./zkCli.sh -server 192.168.2.149:2181,192.168.2.151:2181,192.168.2.152:2181&＃xff0c;即可连接到zookeeper集群&＃xff0c;至于连接到哪一个上&＃xff0c;是随机的。

[root&＃64;linux-test bin]# ./zkCli.sh -server 192.168.2.149:2181,192.168.2.151:2181,192.168.2.152:2181
Connecting to 192.168.2.149:2181,192.168.2.151:2181,192.168.2.152:2181
2018-11-26 18:01:23,551 [myid:] - INFO [main:Environment&＃64;100] - Client environment:zookeeper.version&＃61;3.4.9-1757313, built on 08/23/2016 06:50 GMT
2018-11-26 18:01:23,554 [myid:] - INFO [main:Environment&＃64;100] - Client environment:host.name&＃61;localhost
2018-11-26 18:01:23,554 [myid:] - INFO [main:Environment&＃64;100] - Client environment:java.version&＃61;1.8.0_161
2018-11-26 18:01:23,556 [myid:] - INFO [main:Environment&＃64;100] - Client environment:java.vendor&＃61;Oracle Corporation
2018-11-26 18:01:23,556 [myid:] - INFO [main:Environment&＃64;100] - Client environment:java.home&＃61;/software/jdk/jdk1.8.0_161/jre
2018-11-26 18:01:23,557 [myid:] - INFO [main:Environment&＃64;100] - Client environment:java.class.path&＃61;/software/zookeeper-3.4.9/bin/../build/classes:/software/zookeeper-3.4.9/bin/../build/lib/*.jar:/software/zookeeper-3.4.9/bin/../lib/slf4j-log4j12-1.6.1.jar:/software/zookeeper-3.4.9/bin/../lib/slf4j-api-1.6.1.jar:/software/zookeeper-3.4.9/bin/../lib/netty-3.10.5.Final.jar:/software/zookeeper-3.4.9/bin/../lib/log4j-1.2.16.jar:/software/zookeeper-3.4.9/bin/../lib/jline-0.9.94.jar:/software/zookeeper-3.4.9/bin/../zookeeper-3.4.9.jar:/software/zookeeper-3.4.9/bin/../src/java/lib/*.jar:/software/zookeeper-3.4.9/bin/../conf:.:/software/jdk/jdk1.8.0_161/lib/dt.jar:/software/jdk/jdk1.8.0_161/lib/tools.jar
2018-11-26 18:01:23,557 [myid:] - INFO [main:Environment&＃64;100] - Client environment:java.library.path&＃61;/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2018-11-26 18:01:23,557 [myid:] - INFO [main:Environment&＃64;100] - Client environment:java.io.tmpdir&＃61;/tmp
2018-11-26 18:01:23,557 [myid:] - INFO [main:Environment&＃64;100] - Client environment:java.compiler&＃61;
2018-11-26 18:01:23,557 [myid:] - INFO [main:Environment&＃64;100] - Client environment:os.name&＃61;Linux
2018-11-26 18:01:23,557 [myid:] - INFO [main:Environment&＃64;100] - Client environment:os.arch&＃61;amd64
2018-11-26 18:01:23,557 [myid:] - INFO [main:Environment&＃64;100] - Client environment:os.version&＃61;2.6.32-358.el6.x86_64
2018-11-26 18:01:23,557 [myid:] - INFO [main:Environment&＃64;100] - Client environment:user.name&＃61;root
2018-11-26 18:01:23,557 [myid:] - INFO [main:Environment&＃64;100] - Client environment:user.home&＃61;/root
2018-11-26 18:01:23,557 [myid:] - INFO [main:Environment&＃64;100] - Client environment:user.dir&＃61;/software/zookeeper-3.4.9/bin
2018-11-26 18:01:23,561 [myid:] - INFO [main:ZooKeeper&＃64;438] - Initiating client connection, connectString&＃61;192.168.2.149:2181,192.168.2.151:2181,192.168.2.152:2181 sessionTimeout&＃61;30000 watcher&＃61;org.apache.zookeeper.ZooKeeperMain$MyWatcher&＃64;579bb367
Welcome to ZooKeeper!
2018-11-26 18:01:23,615 [myid:] - INFO [main-SendThread(192.168.2.152:2181):ClientCnxn$SendThread&＃64;1032] - Opening socket connection to server 192.168.2.152/192.168.2.152:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2018-11-26 18:01:23,731 [myid:] - INFO [main-SendThread(192.168.2.152:2181):ClientCnxn$SendThread&＃64;876] - Socket connection established to 192.168.2.152/192.168.2.152:2181, initiating session
2018-11-26 18:01:23,766 [myid:] - INFO [main-SendThread(192.168.2.152:2181):ClientCnxn$SendThread&＃64;1299] - Session establishment complete on server 192.168.2.152/192.168.2.152:2181, sessionid &＃61; 0x3674f6dcafc0000, negotiated timeout &＃61; 30000WATCHER::WatchedEvent state:SyncConnected type:None path:null
[zk: 192.168.2.149:2181,192.168.2.151:2181,192.168.2.152:2181(CONNECTED) 0]

三、Zookeeper 命令简介

ZooKeeper命名空间中的Znode&＃xff0c;兼具文件和目录两种特点。既像文件一样维护着数据、元信息、ACL、时间戳等数据结构&＃xff0c;又像目录一样可以作为路径标识的一部分。

3.1 ZNode节点命令

在bin目录下&＃xff0c;通过./zkCli.sh 连接到本地zkserver&＃xff0c;就可以操作znode节点了&＃xff0c;常用命令:

① help命令用于查询客户端所支持的命令

[zk: localhost:2181(CONNECTED) 0] help
ZooKeeper -server host:port cmd argsstat path [watch]set path data [version]ls path [watch]delquota [-n|-b] pathls2 path [watch]setAcl path aclsetquota -n|-b val pathhistory redo cmdnoprintwatches on|offdelete path [version]sync pathlistquota pathrmr pathget path [watch]create [-s] [-e] path data acladdauth scheme authquit getAcl pathclose connect host:port


② create 命令用于创建节点&＃xff0c;其中-s为顺序节点&＃xff0c;-e为临时节点

create /orm/mybatis mydata
create -s /orm/mybatis orderData
create -e /orm/mybatis temporaryData


③ set命令用于设置节点的数据&＃xff0c;如&＃xff1a;

&＃xff08;注&＃xff1a;Zookeeper是用来协调服务的&＃xff0c;因此znode里存储的都是小数据&＃xff0c;而不是大容量的数据&＃xff0c;数据容量一般在1MB范围内。&＃xff09;

set /orm/mybatis i_am_a_mybatis


④ get 命令用于获取节点的信息&＃xff0c;注意节点的路径必须是以/开头的绝对路径。如get /orm/mybatis

[zk: localhost:2181(CONNECTED) 12] get /orm/mybatis
i_am_a_mybatis
cZxid &＃61; 0x200000009
ctime &＃61; Mon Nov 26 18:18:49 CST 2018
mZxid &＃61; 0x20000000a
mtime &＃61; Mon Nov 26 18:24:22 CST 2018
pZxid &＃61; 0x200000009
cversion &＃61; 0
dataVersion &＃61; 1
aclVersion &＃61; 0
ephemeralOwner &＃61; 0x0
dataLength &＃61; 14
numChildren &＃61; 0


参数解释&＃xff1a;

⑤stat 命令用于查看节点的状态信息&＃xff0c;如stat /orm/mybatis

⑥ls命令 用于获取路径下的节点信息&＃xff0c;注意路径为绝对路径&＃xff0c;如:ls /orm/mybatis

⑦setquota命令用于设置节点个数以及数据长度的配额&＃xff0c;如&＃xff1a;

setquota –n 5 /orm/mybatis //设置/orm/mybatis 子节点个数最大为5setquota –b 100 /orm/mybatis //设置/orm/mybatis 节点长度最大为100


⑧ listquota命令用于显示配额&＃xff0c;如listquota /orm/mybatis

⑨delquota:该命令用于删除配额&＃xff0c;-n为子节点个数&＃xff0c;-b为节点数据长度&＃xff0c;如&＃xff1a;delquota –n 2

⑪ setAcl命令&＃xff0c;用于设置节点ACL &＃xff08;注&＃xff1a;每个znode都有一个ACL&＃xff1a;Access Control List&＃xff08;访问控制列表&＃xff09;&＃xff09;

⑫ getAcl命令获取节点的Acl&＃xff0c;如getAcl /node1

zk提供了下边三种身份验证模式&＃xff1a;world: 它下面只有一个id, 叫anyone, world:anyone代表任何人&＃xff0c;zookeeper中对所有人有权限的结点就是属于world:anyone的auth: 它不需要id, 只要是通过authentication的user都有权限&＃xff08;zookeeper支持通过kerberos来进行authencation, 也支持username/password形式的authentication)digest: 它对应的id为username:BASE64(SHA1(password))&＃xff0c;它需要先通过username:password形式的authenticationip: 它对应的id为客户机的IP地址&＃xff0c;设置的时候可以设置一个ip段&＃xff0c;比如ip:192.168.1.0/16, 表示匹配前16个bit的IP段super: 在这种scheme情况下&＃xff0c;对应的id拥有超级权限&＃xff0c;可以做任何事情(cdrwa)


ACL权限对应如下表&＃xff1a;

在设置ACL时&＃xff0c;可以给zk客户端和服务器端的连接设置ACL&＃xff0c;也可以在创建znode时&＃xff0c;给znode设置ACL&＃xff0c;在创建了znode后&＃xff0c;如果有zk客户端来操作znode&＃xff0c;只有满足权限要求时&＃xff0c;才能完成相对应的操作&＃xff1a;

⑩ addauth命令&＃xff0c;用于节点认证&＃xff0c;使用方式&＃xff1a;如addauth digest username:password

⑬ sync命令

sync命令用于强制同步&＃xff0c;由于请求在半数以上的zk server上生效就表示此请求生效&＃xff0c;那么就会有一些zk server上的数据是旧的。sync命令就是强制同步所有的更新操作。

⑭printwatchers命令&＃xff0c;用于设置和显示监视状态&＃xff0c;值为on或则off

⑮ quit命令 &＃xff0c;退出客户端

以上内容就是zookeper入门级别学习的开始&＃xff0c;我们了解了什么是zookeeper&＃xff0c;以及zookeepr的数据模型、常用命令、安装部署等&＃xff1b;但zookeeper能帮助我们做哪些东西呢&＃xff1f;我们为什么要学习并且使用它呢&＃xff0c;在之后的系列文章中&＃xff0c;我们会更多的了解并使用zookeeper。

欢迎各位留言交流。