Zookeeper参数详解及原理与优化

Zookeeper 是什么

　Zookeeper 是一个基于 Google Chubby 论文实现的一款解决分布式数据一致性问题的开源实现&＃xff0c;方便了依赖 Zookeeper 的应用实现 数据发布 / 订阅、负载均衡、服务注册与发现、分布式协调、事件通知、集群管理、Leader 选举、 分布式锁和队列 等功能

基本概念

集群角色

　一般的&＃xff0c;在分布式系统中&＃xff0c;构成集群的每一台机器都有自己的角色&＃xff0c;最为典型的集群模式就是 Master / Slave 主备模式。在该模式中&＃xff0c;我们把能够处理所有写操作的机器称为 Master 节点&＃xff0c;并把所有通过异步复制方式获取最新数据、提供读服务的机器称为 Slave 节点

　而 Zookeeper 中&＃xff0c;则是引入了 领导者&＃xff08;Leader&＃xff09;、跟随者&＃xff08;Follower&＃xff09;、观察者&＃xff08;Observer&＃xff09;三种角色 和 领导&＃xff08;Leading&＃xff09;、跟随&＃xff08;Following&＃xff09;、观察&＃xff08;Observing&＃xff09;、寻找&＃xff08;Looking&＃xff09; 等相应的状态。在 Zookeeper 集群中的通过一种 Leader 选举的过程&＃xff0c;来选定某个节点作为 Leader 节点&＃xff0c;该节点为客户端提供读和写服务。而 Follower 和 Observer 节点&＃xff0c;则都能提供读服务&＃xff0c;唯一的区别在于&＃xff0c;Observer 机器不参与 Leader 选举过程 和 写操作的"过半写成功"策略&＃xff0c;Observer只会被告知已经 commit 的 proposal。因此 Observer 可以在不影响写性能的情况下提升集群的读性能&＃xff08;详见下文 “性能优化 - 优化策略 - Observer 模式” 部分&＃xff09;

会话

　Session 指客户端会话。在 Zookeeper 中&＃xff0c;一个客户端会话是指 客户端和服务器之间的一个 TCP 长连接。客户端启动的时候&＃xff0c;会与服务端建立一个 TCP 连接&＃xff0c;客户端会话的生命周期&＃xff0c;则是从第一次连接建立开始算起。通过这个连接&＃xff0c;客户端能够通过心跳检测与服务器保持有效的会话&＃xff0c;并向 Zookeeper 服务器发送请求并接收响应&＃xff0c;以及接收来自服务端的 Watch 事件通知

　Session 的 sessionTimeout 参数&＃xff0c;用来控制一个客户端会话的超时时间。当服务器压力太大 或者是网络故障等各种原因导致客户端连接断开时&＃xff0c;Client 会自动从 Zookeeper 地址列表中逐一尝试重连&＃xff08;重试策略可使用 Curator 来实现&＃xff09;。只要在 sessionTimeout 规定的时间内能够重新连接上集群中任意一台服务器&＃xff0c;那么之前创建的会话仍然有效。如果&＃xff0c;在 sessionTimeout 时间外重连了&＃xff0c;就会因为 Session 已经被清除了&＃xff0c;而被告知 SESSION_EXPIRED&＃xff0c;此时需要程序去恢复临时数据&＃xff1b;还有一种 Session 重建后的在新节点上的数据&＃xff0c;被之前节点上因网络延迟晚来的写请求所覆盖的情况&＃xff0c;在 ZOOKEEPER-417 中被提出&＃xff0c;并在该 JIRA 中新加入的 SessionMovedException&＃xff0c;使得 用同一个 sessionld/sessionPasswd 重建 Session 的客户端能感知到&＃xff0c;但是这个问题到 ZOOKEEPER-2219 仍然没有得到很好的解决

数据模型

　在 Zookeeper 中&＃xff0c;节点分为两类&＃xff0c;第一类是指 构成集群的机器&＃xff0c;称之为机器节点&＃xff1b;第二类则是指 数据模型中的数据单元&＃xff0c;称之为数据节点 ZNode。Zookeeper 将所有数据存储在内存中&＃xff0c;数据模型的结构类似于树&＃xff08;ZNode Tree&＃xff09;&＃xff0c;由斜杠&＃xff08;/&＃xff09;进行分割的路径&＃xff0c;就是一个 ZNode&＃xff0c;例如 /foo/path1。每个 ZNode 上都会保存自己的数据内容 和 一系列属性信息

　ZNode 可以分为持久节点&＃xff08;PERSISTENT&＃xff09;和临时节点&＃xff08;EPHEMERAL&＃xff09;两类。所谓持久节点是指一旦这个 ZNode 被创建了&＃xff0c;除非主动进行移除操作&＃xff0c;否则这个节点将一直保存在 Zookeeper 上。而临时节点的生命周期&＃xff0c;是与客户端会话绑定的&＃xff0c;一旦客户端会话失效&＃xff0c;那么这个客户端创建的所有临时节点都会被移除。在 HBase 中&＃xff0c;集群则是通过 **/hbase/rs/* 和 /hbase/master 两个临时节点&＃xff0c;来监控 HRegionServer 进程的加入和宕机 和 HMaster 进程的 Active 状态**

　另外&＃xff0c;Zookeeper 还有一种 顺序节点&＃xff08;SEQUENTIAL&＃xff09;。该节点被创建的时候&＃xff0c;Zookeeper 会自动在其子节点名上&＃xff0c;加一个由父节点维护的、自增整数的后缀&＃xff08;上限&＃xff1a;Integer.MAX_VALUE&＃xff09;。该节点的特性&＃xff0c;还可以应用到 持久 / 临时节点 上&＃xff0c;组合成 持久顺序节点&＃xff08;PERSISTENT_SEQUENTIAL&＃xff09; 和 临时顺序节点&＃xff08;EPHEMERAL_SEQUENTIAL&＃xff09;

版本

　Zookeeper 的每个 ZNode 上都会存储数据&＃xff0c;对应于每个 ZNode&＃xff0c;Zookeeper 都会为其维护一个叫做 Stat 的数据结构&＃xff0c;Stat 中记录了这个 ZNode 的三个数据版本&＃xff0c;分别是 version&＃xff08;当前 ZNode 数据内容的版本&＃xff09;&＃xff0c;cversion&＃xff08;当前 ZNode 子节点的版本&＃xff09;和 aversion&＃xff08;当前 ZNode 的 ACL 变更版本&＃xff09;。这里的版本起到了控制 Zookeeper 操作原子性的作用&＃xff08;详见下文 “源码分析 - 落脚点 - Zookeeper 乐观锁” 部分&＃xff09;

　如果想要让写入数据的操作支持 CAS&＃xff0c;则可以借助 Versionable#withVersion 方法&＃xff0c;在 setData()的同时指定当前数据的 verison。如果写入成功&＃xff0c;则说明在当前数据写入的过程中&＃xff0c;没有其他用户对该 ZNode 节点的内容进行过修改&＃xff1b;否则&＃xff0c;会抛出一个 KeeperException.BadVersionException&＃xff0c;以此可以判断本次 CAS 写入是失败的。而这样做的好处就是&＃xff0c;可以避免 “并发局部更新 ZNode 节点内容” 时&＃xff0c;发生相互覆盖的问题

Watcher

　Watcher&＃xff08;事件监听器&＃xff09;是 Zookeeper 提供的一种 发布/订阅的机制。Zookeeper 允许用户在指定节点上注册一些 Watcher&＃xff0c;并且在一些特定事件触发的时候&＃xff0c;Zookeeper 服务端会将事件通知给订阅的客户端。该机制是 Zookeeper 实现分布式协调的重要特性

ACL

　类似于 Unix 文件系统&＃xff0c;Zookeeper 采用 ACL&＃xff08;Access Control Lists&＃xff09;策略来进行权限控制&＃xff08;使用方式&＃xff0c;详见下文 “常用命令 - 执行脚本 - zkCli - 节点操作” 部分&＃xff1b;代码实现&＃xff0c;详见 PrepRequestProcessor#checkACL&＃xff09;

常用的权限控制

IP

编码

&＃64;Before
public void init() throws Exception {zoo &＃61; new ZooKeeper(HOST.concat(":" &＃43; CLIENT_PORT), TIME_OUT_MILLISECOND, null);acls &＃61; new ArrayList<>();acls.add(new ACL(ZooDefs.Perms.ALL, new Id(IP, "10.24.40.178")));acls.add(new ACL(ZooDefs.Perms.ALL, new Id(IP, "127.0.0.1")));aclsNoAuth &＃61; new ArrayList<>();aclsNoAuth.add(new ACL(ZooDefs.Perms.ALL, new Id(IP, "127.0.0.1")));
}
&＃64;Test
public void ipAcl() throws Exception {if (zoo.exists(IP_PATH, null) !&＃61; null) zoo.delete(IP_PATH, -1);if (zoo.exists(IP_PATH_NO_AUTH, null) !&＃61; null) zoo.delete(IP_PATH_NO_AUTH, -1);zoo.create(IP_PATH, IP.getBytes(), acls, CreateMode.PERSISTENT);assertEquals(IP, new String(zoo.getData(IP_PATH, false, null)));zoo.create(IP_PATH_NO_AUTH, IP.getBytes(), aclsNoAuth, CreateMode.PERSISTENT);try {zoo.getData(IP_PATH_NO_AUTH, false, null);} catch (KeeperException.NoAuthException e) {assertEquals("KeeperErrorCode &＃61; NoAuth for ".concat(IP_PATH_NO_AUTH), e.getMessage());}
}

Tips: Full code is here.

命令行

$ zkCli.sh -server localhost:2181[zk: localhost:2181(CONNECTED) 16] ls /[leader, election, zookeeper, origin, ip, auth_test, benchmark][zk: localhost:2181(CONNECTED) 17] ls /ipAuthentication is not valid : /ip[zk: localhost:2181(CONNECTED) 18] getAcl /ip&＃39;ip,&＃39;10.24.40.178: cdrwa&＃39;ip,&＃39;127.0.0.1: cdrwa
$ zkCli.sh -server 127.0.0.1:2181[zk: 127.0.0.1:2181(CONNECTED) 1] ls /ip[][zk: 127.0.0.1:2181(CONNECTED) 2] get /ipipcZxid &＃61; 0x10000c43bctime &＃61; Tue Aug 22 16:50:37 CST 2017mZxid &＃61; 0x10000c43bmtime &＃61; Tue Aug 22 16:50:37 CST 2017pZxid &＃61; 0x10000c43bcversion &＃61; 0dataVersion &＃61; 0aclVersion &＃61; 0ephemeralOwner &＃61; 0x0dataLength &＃61; 2numChildren &＃61; 0

优缺点

　简单易用&＃xff0c;直接在物理层面&＃xff0c;对用户进行权限隔离&＃xff1b;但是&＃xff0c;如果不将 127.0.0.1 放入到 IP Acl 列表里&＃xff0c;会给服务端的运维带来麻烦

Digest

编码

&＃64;Before
public void init() throws Exception {zoo &＃61; new ZooKeeper(HOST.concat(":" &＃43; CLIENT_PORT), TIME_OUT_MILLISECOND, null);zoo.addAuthInfo("digest", "yuzhouwan:com".getBytes());zooNoAuth &＃61; new ZooKeeper(HOST.concat(":" &＃43; CLIENT_PORT), TIME_OUT_MILLISECOND, null);
}
&＃64;Test
public void digestAcl() throws Exception {if (zoo.exists(AUTH_PATH_CHILD, null) !&＃61; null) zoo.delete(AUTH_PATH_CHILD, -1);if (zoo.exists(AUTH_PATH, null) !&＃61; null) zoo.delete(AUTH_PATH, -1);zoo.create(AUTH_PATH, bytes, ZooDefs.Ids.CREATOR_ALL_ACL, CreateMode.PERSISTENT);try {zooNoAuth.create(AUTH_PATH_CHILD, bytes, ZooDefs.Ids.CREATOR_ALL_ACL, CreateMode.PERSISTENT);} catch (KeeperException.InvalidACLException e) {assertEquals("KeeperErrorCode &＃61; InvalidACL for /auth_test/child", e.getMessage());}zoo.create(AUTH_PATH_CHILD, bytes, ZooDefs.Ids.CREATOR_ALL_ACL, CreateMode.PERSISTENT);try {zooNoAuth.delete(AUTH_PATH_CHILD, -1);} catch (KeeperException.NoAuthException e) {assertEquals("KeeperErrorCode &＃61; NoAuth for /auth_test/child", e.getMessage());}assertEquals(AUTH_PATH, new String(zoo.getData(AUTH_PATH, false, null)));
}

Tips: Full code is here.

命令行

$ zkCli.sh -server localhost:2181[zk: localhost:2181(CONNECTED) 5] ls /[leader, auth_test, election, zookeeper, benchmark, origin][zk: localhost:2181(CONNECTED) 6] ls /auth_testAuthentication is not valid : /auth_test[zk: localhost:2181(CONNECTED) 7] get /auth_testAuthentication is not valid : /auth_test[zk: localhost:2181(CONNECTED) 8] getAcl /auth_test&＃39;digest,&＃39;yuzhouwan:h/j&＃43;/wDlblTtA48jnbq8snP1glA&＃61;: cdrwa[zk: localhost:2181(CONNECTED) 9] addauth digest yuzhouwan:true[zk: localhost:2181(CONNECTED) 10] get /auth_test/auth_testcZxid &＃61; 0x10000c31ectime &＃61; Tue Aug 22 15:26:27 CST 2017mZxid &＃61; 0x10000c31emtime &＃61; Tue Aug 22 15:26:27 CST 2017pZxid &＃61; 0x10000c31ecversion &＃61; 0dataVersion &＃61; 0aclVersion &＃61; 0ephemeralOwner &＃61; 0x0dataLength &＃61; 10numChildren &＃61; 0

优缺点

　可以建立角色&＃xff0c;按照用户名、密码进行权限控制&＃xff1b;但是&＃xff0c;想要修改某个用户的密码&＃xff0c;需要对所有的 ACLs 做更改

SASL & Kerberos

环境搭建

单机版

安装

$ cd ~/install/
$ wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
$ wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz.md5
# 校验 MD5
$ head -n 1 zookeeper-3.4.10.tar.gz.md5e4cf1b1593ca870bf1c7a75188f09678 zookeeper-3.4.10.tar.gz
$ md5sum zookeeper-3.4.10.tar.gze4cf1b1593ca870bf1c7a75188f09678 *zookeeper-3.4.10.tar.gz
# 对比 MD5 码一致后进行解压安装
$ tar zxvf zookeeper-3.4.10.tar.gz -C ~/software/
$ cd ~/software
$ ln -s zookeeper-3.4.10 zookeeper

配置

cd zookeeper
$ mkdir tmp
$ cp conf/zoo_sample.cfg conf/zoo.cfg
$ mkdir -p /home/zookeeper/data/zookeeper
$ mkdir -p /home/zookeeper/logs/zookeeper
# 更多配置&＃xff0c;详见下文 “常用配置” 部分
$ vim conf/zoo.cfgtickTime&＃61;2000initLimit&＃61;10syncLimit&＃61;5dataDir&＃61;/home/zookeeper/data/zookeeperdataLogDir&＃61;/home/zookeeper/logs/zookeeperclientPort&＃61;2181

启动

$ bin/zkServer.sh start
$ bin/zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /home/zookeeper/software/zookeeper/bin/../conf/zoo.cfgMode: standalone
$ bin/zkCli.sh

分布式

更多配置&＃xff0c;详见下文 “常用配置” 部分

$ vim conf/zoo.cfgtickTime&＃61;2000initLimit&＃61;10syncLimit&＃61;5dataDir&＃61;/home/zookeeper/data/zookeeperdataLogDir&＃61;/home/zookeeper/logs/zookeeperclientPort&＃61;2181server.1&＃61;yuzhouwan01:2281:2282server.2&＃61;yuzhouwan02:2281:2282server.3&＃61;yuzhouwan03:2281:2282
# 在各个节点的 dataDir下创建 myid 文件&＃xff0c;并对应 zoo.cfg中配置的 id
[zookeeper&＃64;yuzhouwan01 ~] echo "1" > /home/zookeeper/data/zookeeper/myid
[zookeeper&＃64;yuzhouwan02 ~] echo "2" > /home/zookeeper/data/zookeeper/myid
[zookeeper&＃64;yuzhouwan03 ~] echo "3" > /home/zookeeper/data/zookeeper/myid

常用命令

四字命令

Tips: 部分加粗命令对资源消耗比较大&＃xff0c;生产环境慎用!

使用方式

DOS ***

避免 wchp / wchc 四字命令被 DOS ***利用

$ vim zoo.cfg# 4lw.commands.whitelist&＃61;*4lw.commands.whitelist&＃61;stat, ruok, conf, isro

产生的日志

动态配置

$ vim zoo_replicated1.cfgtickTime&＃61;2000dataDir&＃61;/zookeeper/data/zookeeper1initLimit&＃61;5syncLimit&＃61;2dynamicConfigFile&＃61;/zookeeper/conf/zoo_replicated1.cfg.dynamic
$ vim zoo_replicated1.cfg.dynamicserver.1&＃61;125.23.63.23:2780:2783:participant;2791server.2&＃61;125.23.63.24:2781:2784:participant;2792server.3&＃61;125.23.63.25:2782:2785:participant;2793

监控

TCP Dump

使用 tcpdump 命令&＃xff0c;需要在 root 权限下执行

$ sudo tcpdump tcp port 2181 and host ! 127.0.0.1# 下面抓包到的信息&＃xff0c;是 Curator 远程连接&＃xff0c;并在 /children 命名空间下&＃xff0c;创建临时节点 /yuzhouwan&＃xff0c;最终断开 TCP 连接的过程14:50:16.192736 IP 10.10.10.10.56342 > yuzhouwan01.eforward: Flags [S], seq 818611125, win 8192, options [mss 1460,nop,wscale 8,nop,nop,sackOK], length 014:50:16.192765 IP yuzhouwan01.eforward > 10.10.10.10.56342: Flags [S.], seq 3867146147, ack 818611126, win 14600, options [mss 1460,nop,nop,sackOK,nop,wscale 7], length 014:50:16.193502 IP 10.10.10.10.56342 > yuzhouwan01.eforward: Flags [.], ack 1, win 256, length 014:50:16.196755 IP 10.10.10.10.56342 > yuzhouwan01.eforward: Flags [P.], seq 1:50, ack 1, win 256, length 4914:50:16.196768 IP yuzhouwan01.eforward > 10.10.10.10.56342: Flags [.], ack 50, win 115, length 014:50:16.198618 IP yuzhouwan01.eforward > 10.10.10.10.56342: Flags [P.], seq 1:42, ack 50, win 115, length 4114:50:16.214597 IP 10.10.10.10.56342 > yuzhouwan01.eforward: Flags [P.], seq 50:76, ack 42, win 256, length 2614:50:16.215109 IP yuzhouwan01.eforward > 10.10.10.10.56342: Flags [P.], seq 42:62, ack 76, win 115, length 20

Tips: 比较关心的一个问题是&＃xff0c;tcpdump 是否会对性能造成影响&＃xff1f;答案是&＃xff0c;会的。当过滤上千的 IP 时&＃xff0c;已经会影响到服务器性能。主要瓶颈在 BPF Filter&＃xff0c;这是一个 O(n)O(n)  线性时间复杂度的算法&＃xff0c;可以考虑 HiPAC 多维树匹配 替代

指标

numenta / nupic

　NuPIC&＃xff08;Numenta Platform for Intelligent Computing&＃xff0c;Numenta智能计算平台&＃xff09; 是一个与众不同的开源人工智能平台&＃xff0c;它基于一种脑皮质学习算法&＃xff0c;即 “层级实时记忆”&＃xff08;Hierarchical Temporal Memory&＃xff0c;HTM&＃xff09;。该算法旨在模拟新大脑皮层的工作原理&＃xff0c;将复杂的问题转化为模式匹配与预测&＃xff0c;而传统的 AI 算法大多是针对特定的任务目标而设计的
　NuPIC 聚焦于分析实时数据流&＃xff0c;可以通过学习数据之间基于时间的状态变化&＃xff08;而非阀值设置&＃xff09;&＃xff0c;对未知数据进行预测&＃xff0c;并揭示其中的非常规特性。详见我的另一篇博客&＃xff1a;人工智能

性能调优

Benchmark&＃xff08;Test First&＃xff09;

　brownsys / zookeeper-benchmark &＃xff08;很难找到合适的开源项目&＃xff0c;需自己编写 Benchmark 工具&＃xff09;

优化策略