一脸懵逼学习Zookeeper（动物园管理员）

1：Zookeeper （动物园管理员，提供少量数据的存储和管理，提供对数据节点的监听器）是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等；
官方网址：http://zookeeper.apache.org/

 2：为什么使用Zookeeper？

　　（1）大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程（如资源、任务分配等）；
　　（2）目前，大部分应用需要开发私有的协调程序，缺乏一个通用的机制；
　　（3）协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器；
　　（4）ZooKeeper：提供通用的分布式锁服务，用以协调分布式应用；
3：Zookeeper能帮我们做什么？

　　（1）Hadoop2.0,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息等；
　　（2）HBase,使用Zookeeper的事件处理确保整个集群只有一个HMaster,察觉HRegionServer联机和宕机,存储访问控制列表等；
4：Zookeeper的特性：

　　（1）Zookeeper是简单的；
　　（2）Zookeeper是富有表现力的；
　　（3）Zookeeper具有高可用性；
　　（4）Zookeeper采用松耦合交互方式；
　　（5）Zookeeper是一个资源库；

5：Zookeeper的安装和配置（单机模式）：

　　（1）下载ZooKeeper：http://labs.renren.com/apache-mirror/zookeeper/zookeeper-3.4.3/zookeeper-3.4.3.tar.gz；
　　（2）解压：tar xzf zookeeper-3.4.3.tar.gz；
　　（3）在conf目录下创建一个配置文件zoo.cfg：

tickTime=2000
dataDir=/Users/zdandljb/zookeeper/data
dataLogDir=/Users/zdandljb/zookeeper/dataLog        
clientPort=2181

　　（4）启动ZooKeeper的Server：sh bin/zkServer.sh start, 如果想要关闭，输入：zkServer.sh stop
6：Zookeeper的安装和配置（集群模式）：

　　（1）创建myid文件，server1机器的内容为：1，server2机器的内容为：2，server3机器的内容为：3
　　（2）在conf目录下创建一个配置文件zoo.cfg：

tickTime=2000
dataDir=/Users/zdandljb/zookeeper/data
dataLogDir=/Users/zdandljb/zookeeper/dataLog         
clientPort=2181                         initLimit=5                          
syncLimit=2                                  
server.1=server1:2888:3888                                
server.2=server2:2888:3888                                
server.3=server3:2888:3888

 7：Zookeeper的安装和配置（伪集群模式）：

　　（1）建了3个文件夹，server1 server2 server3，然后每个文件夹里面解压一个zookeeper的下载包；
　　（2）进入data目录，创建一个myid的文件，里面写入一个数字，server1,就写一个1，server2对应myid文件就写入2，server3对应myid文件就写个3；
　　（3）在conf目录下创建一个配置文件zoo.cfg：

tickTime=2000
dataDir=/Users/zdandljb/zookeeper/data
dataLogDir=xxx/zookeeper/server1/          
clientPort=2181                                  
initLimit=5                           
syncLimit=2                                  
server.1=server1:2888:3888                                 
server.2=server2:2888:3888                                   
server.3=server3:2888:3888

 8：Zookeeper的数据模型：

　　（1）层次化的目录结构，命名符合常规文件系统规范
　　（2）每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识
　　（3）节点Znode可以包含数据和子节点，但是EPHEMERAL类型的节点不能有子节点
　　（4）Znode中的数据可以有多个版本，比如某一个路径下存有多个数据版本，那么查询这个路径下的数据就需要带上版本
　　（5）客户端应用可以在节点上设置监视器
　　（6）节点不支持部分读写，而是一次性完整读写

 9：Zookeeper的节点：
　　（1）Znode有两种类型，短暂的（ephemeral）和持久的（persistent）
　　（2）Znode的类型在创建时确定并且之后不能再修改
　　（3）短暂znode的客户端会话结束时，zookeeper会将该短暂znode删除，短暂znode不可以有子节点
　　（4）持久znode不依赖于客户端会话，只有当客户端明确要删除该持久znode时才会被删除
　　（5）Znode有四种形式的目录节点，PERSISTENT、PERSISTENT_SEQUENTIAL、EPHEMERAL、EPHEMERAL_SEQUENTIAL

10：Zookeeper的角色：
　　（1）领导者（leader），负责进行投票的发起和决议，更新系统状态
　　（2）学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票
　　（3）Observer可以接受客户端连接，将写请求转发给leader，但observer不参加投票过程，只同步leader的状态，observer的目的是为了扩展系统，提高读取速度
　　（4）客户端（client），请求发起方
11：Zookeeper的顺序号：
　　（1）创建znode时设置顺序标识，znode名称后会附加一个值
　　（2）顺序号是一个单调递增的计数器，由父节点维护
　　（3）在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序
12：Zookeeper的读写机制：
　　（1）Zookeeper是一个由多个server组成的集群
　　（2）一个leader，多个follower
　　（3）每个server保存一份数据副本
　　（4）全局数据一致
　　（5）分布式读写
　　（6）更新请求转发，由leader实施
13：Zookeeper的保证：
　　（1）更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行
　　（2）数据更新原子性，一次数据更新要么成功，要么失败
　　（3）全局唯一数据视图，client无论连接到哪个server，数据视图都是一致的
　　（4）实时性，在一定事件范围内，client能读到最新数据
14：Zookeeper的API接口：
　　（1）String create(String path, byte[] data, List acl, CreateMode createMode)
　　（2）Stat exists(String path, boolean watch)
　　（3）void delete(String path, int version)
　　（4）List getChildren(String path, boolean watch)
　　（5）List getChildren(String path, boolean watch)
　　（6）Stat setData(String path, byte[] data, int version)
　　（7）byte[] getData(String path, boolean watch, Stat stat)
　　（8）void addAuthInfo(String scheme, byte[] auth)
　　（9）Stat setACL(String path, List acl, int version)
　　（10）List getACL(String path, Stat stat)

15：Zookeeper应用场景1－统一命名服务：
　　（1）分布式应用中，通常需要有一套完整的命名规则，既能够产生唯一的名称又便于人识别和记住，通常情况下用树形的名称结构是一个理想的选择，树形的名称结构是一个有层次的目录结构，既对人友好又不会重复。
　　（2）Name Service 是 Zookeeper 内置的功能，只要调用 Zookeeper 的 API 就能实现。

16：Zookeeper应用场景2－配置管理：
　　（1）配置的管理在分布式应用环境中很常见，例如同一个应用系统需要多台 PC Server 运行，但是它们运行的应用系统的某些配置项是相同的，如果要修改这些相同的配置项，那么就必须同时修改每台运行这个应用系统的 PC Server，这样非常麻烦而且容易出错。
　　（2）将配置信息保存在 Zookeeper 的某个目录节点中，然后将所有需要修改的应用机器监控配置信息的状态，一旦配置信息发生变化，每台应用机器就会收到 Zookeeper 的通知，然后从 Zookeeper 获取新的配置信息应用到系统中。

17：应用场景3－集群管理：
　　（1）Zookeeper 能够很容易的实现集群管理的功能，如有多台 Server 组成一个服务集群，那么必须要一个“总管”知道当前集群中每台机器的服务状态，一旦有机器不能提供服务，集群中其它集群必须知道，从而做出调整重新分配服务策略。同样当增加集群的服务能力时，就会增加一台或多台 Server，同样也必须让“总管”知道。
　　（2）Zookeeper 不仅能够维护当前的集群中机器的服务状态，而且能够选出一个“总管”，让这个总管来管理集群，这就是 Zookeeper 的另一个功能 Leader Election。
　　（3）规定编号最小的为master,所以当我们对SERVERS节点做监控的时候，得到服务器列表，只要所有集群机器逻辑认为最小编号节点为master，那么master就被选出，而这个master宕机的时候，相应的znode会消失，然后新的服务器列表就被推送到客户端，然后每个节点逻辑认为最小编号节点为master，这样就做到动态master选举。

18：Zookeeper应用场景4－共享锁：
　　（1）共享锁在同一个进程中很容易实现，但是在跨进程或者在不同 Server 之间就不好实现了。Zookeeper 却很容易实现这个功能，实现方式也是需要获得锁的 Server 创建一个 EPHEMERAL_SEQUENTIAL 目录节点，然后调用 getChildren方法获取当前的目录节点列表中最小的目录节点是不是就是自己创建的目录节点，如果正是自己创建的，那么它就获得了这个锁，如果不是那么它就调用 exists(String path, boolean watch) 方法并监控 Zookeeper 上目录节点列表的变化，一直到自己创建的节点是列表中最小编号的目录节点，从而获得锁，释放锁很简单，只要删除前面它自己所创建的目录节点就行了。

19：Zookeeper应用场景5－队列管理：

　　（1）Zookeeper 可以处理两种类型的队列：当一个队列的成员都聚齐时，这个队列才可用，否则一直等待所有成员到达，这种是同步队列；队列按照 FIFO 方式进行入队和出队操作，例如实现生产者和消费者模型
　　（2）创建一个父目录 /synchronizing，每个成员都监控目录 /synchronizing/start 是否存在，然后每个成员都加入这个队列（创建 /synchronizing/member_i 的临时目录节点），然后每个成员获取 / synchronizing 目录的所有目录节点，判断 i 的值是否已经是成员的个数，如果小于成员个数等待 /synchronizing/start 的出现，如果已经相等就创建 /synchronizing/start。

20：Zookeeper总结：

　　（1）Zookeeper 作为 Hadoop 项目中的一个子项目，是 Hadoop 集群管理的一个必不可少的模块，它主要用来控制集群中的数据，如它管理 Hadoop 集群中的 NameNode，还有 Hbase 中 Master Election、Server 之间状态同步等。
　　（2）Zoopkeeper 提供了一套很好的分布式集群管理的机制，就是它这种基于层次型的目录树的数据结构，并对树中的节点进行有效管理，从而可以设计出多种多样的分布式的数据管理模型