[大数据系列之Hadoop][2]Zookeeper学习笔记

Zookeeper 是Hadoop的高可用高性能的分布式协调服务。

1 Partial Failure 部分失败

即&＃xff1a;我们不知道一个操作是否已经失败。分布式应用经常出现这个问题&＃xff0c;比如&＃xff1a;网络错误导致不知道对方是否收到&＃xff0c;或者接受者进程死掉。解决方法&＃xff1a;发送者重新连接接受者并且询问。

Zookeeper 不能避免这个问题&＃xff0c;也不会隐藏部分失败。提供一组工具可以处理部分失败。

zookeeper特点

• 简单&＃xff1a;非常简单的文件系统&＃xff0c;一个znode限制1MB
• 丰富的building block实现多种协调数据结构和协议&＃xff0c;例如&＃xff1a;分布式队列&＃xff0c;分布式锁&＃xff0c;和领导选举 。

• 高可用
• 松耦合&＃xff1a;进程可以在Zookeeper留下消息&＃xff0c;另一个进程去读取。
• 高性能&＃xff1a;10000操作/s
• ACID性:
  • 每个node原子性读写
  • 一旦更新成功&＃xff0c;无roll back
  • 顺序一致性&＃xff1a;客户端看到的是一个操作序列&＃xff0c;有顺序的
  • node之间互相隔离
  • 用过commit log和replication 来保证durable&＃xff08;持久性&＃xff09;
• CAP性&＃xff1a;
  • Consistency&＃xff1a;线性化写入&＃xff0c;有全局序
  • 可能无法被写&＃xff1a;严格的quorum&＃xff08;仲裁&＃xff09;机制&＃xff08;基于replication数&＃xff09;
  • Partion Tolerance
• 例子&＃xff1a;
  • 领导选举&＃xff1a; 保证任何时刻只有一个active 的master
  • 配置管理&＃xff1a; 存储bootstrap location
  • 成员管理&＃xff1a; 发现服务器并且及时通知服务器挂掉的情况
• 为何需要Zookeeper&＃xff1f;
  • 自己写分布式协议来协调太烦了&＃xff0c;容易错。
  • 分布式系统架构很难
  • races, deadlocks, inconsistency, reliability
  • 而 ZK 可以帮助解决上述问题。

2 安装和运行Zookeeper

解压zookeeper-.x.y.z.tar.gz 后 export PATH&＃xff0c;然后设置 zoo.cfg

tickTime&＃61;2000 // zookeeper的基本时间单元&＃xff0c;毫秒单位 

dataDir&＃61;/Users/tom/zookeeper // zookeeper数据存储目录 

clientPort&＃61;2181

启动 &＃xff1a; zkServer.sh start

echo ruok | nc localhost 2181 查看Zookeeper服务是否完好。其他管理功能详见&＃xff1a; http://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html#sc_zkCommands 

3 Zookeeper服务

3.1 数据模型

• 树形层次。znode与ACL关联&＃xff0c;是一个小数据文件&＃xff0c;1MB限制。
• znode数据访问具有原子性&＃xff0c;不会部分读写失败&＃xff0c;不支持append操作。
• 通过路径访问引用。不可使用zookeeper作为路径名&＃xff0c;为保留字。

3.1.1 znode特性

1. 短暂znode

znode有两种类型&＃xff1a;短暂&＃xff08;断开连接后会被删除&＃xff09;和持久&＃xff08;断开连接后不会被删除&＃xff09;的&＃xff0c;创建后无法被修改。因为znode的读写原子性&＃xff0c;故而短暂znode适合于某个特定时刻的资源可用性判定。

2. 顺序号znode

znode的名称中包含Zookeeper单调递增的顺序号的znode&＃xff0c;由其父znode维护用来保证znode的唯一性。顺序号可以被用来为所有的事件进行全局排序&＃xff0c;客户端可以根据顺序号知道事件的先后顺序。例如&＃xff1a;实现分布式共享锁。

3. 观察&＃xff0c;watch

znode一旦发生某些操作&＃xff0c;watch机制可以让客户端感知到。因为是小文件而且整体读写&＃xff0c;故而摒弃了一半FS的基本操作“打开、关闭、查找”&＃xff0c;也没必要。

3.1.2 操作

9中基本操作如下&＃xff1a;其中delete和setData需要提供版本号&＃xff0c;可以通过exists操作获取到。

3.1.3 集合更新 multiupdate

Zookeeper中有一个multi操作&＃xff0c;可以用来把多个基本操作合成一个操作单元&＃xff0c;原子性成功或者失败。例子&＃xff1a;构建一个无向图。

3.1.4 API

有两种类型的API&＃xff0c;同步和异步&＃xff0c;后者吞吐量更高&＃xff0c;适合事件驱动编程&＃xff0c;前者响应性更好。以exist为例&＃xff1a;

• 同步&＃xff1a;public Stat exists(String path, Watcher watcher) throws KeeperException, InterruptedException
• 异步&＃xff1a;public void exists(String path, Watcher watcher, StatCallback cb, Object ctx)

3.1.5 watch机制

客户端可以在某些操作上设置Watcher&＃xff0c;然后这些操作会被另一些操作触发从而引起客户端感知&＃xff0c;从而引起相应的行为。例如&＃xff1a;客户端在exists操作上设置了Watcher&＃xff0c;如果所观察的znode被创建、删除、或者更新数据了&＃xff0c;则exists操作上的Watcher将被触发&＃xff0c;从而可以执行一些操作。

下面是一个完整Watch机制的列表&＃xff1a;

3.2 Zookeeper的副本模式

奇数个节点保证&＃xff0c;半数以上处于可用状态&＃xff0c;则认为其可用。

Zab协议&＃xff1a;

1. 领导选举&＃xff1a;半数以上或者指定数量的follower把自己的状态与leader同步&＃xff0c;则完成选举过程。

2. 所有写请求发给leader&＃xff0c;然后leader广播给follower&＃xff0c;半数以上持久化后&＃xff0c;leader则提交这个更新&＃xff0c;客户端会收到一个更新成功的response。

3.3 Zookeeper Session

1. 连接会尝试连接Zookeeper集群的多个服务器列表
2. 连接建立后&＃xff0c;在Session超时时间超过后&＃xff0c;则断开连接&＃xff0c;Session超时&＃xff0c;短暂znode被删除&＃xff0c;Session过期后则无法被打开
3. Session空闲超过一定时间后&＃xff0c;客户端会自动发ping请求&＃xff08;心跳&＃xff09;&＃xff0c;心跳间隔应该足够低&＃xff0c;从而可以知道服务器down掉&＃xff08;判断是否down的标识是读是否超时&＃xff09;
4. Zookeeper客户端自动进行Fail Over切换到另一台Zookeeper服务器&＃xff0c;切换后&＃xff0c;所有的session和短暂znode依然有效。
5. 故障切换过程中&＃xff0c;客户端将收到断开连接和连接至服务的通知。fail over的时候断开连接时watcher的通知将无法被发送&＃xff0c;恢复连接后&＃xff0c;延迟的watcher通知会被继续发送
6. 几个时间参数&＃xff1a;
   1. ticker time: Zookeeper中的基本时钟周期&＃xff0c;定义互相交互的时间表&＃xff0c;其他的时间都根据tick数来设计
   2. session timeout: 一般设置为2个tick到20个tick之间
   3. 读超时&＃xff1a;该Zookeeper服务器dead
7. session timeout的设置考虑&＃xff1a;
   1. 短session timeout&＃xff0c;好处&＃xff1a;较快检测到机器故障&＃xff0c;坏处&＃xff1a;太短的话&＃xff0c;网络繁忙导致其他数据包传输延迟。
   2. 应用的暂时znode创建很复杂的话&＃xff0c;因为重建代价较大&＃xff0c;故而兼用用长session timeout。
   3. 较长session timeout&＃xff0c;还可以用来做应用重启和升级。
   4. 每个session有一个txid和密码被落盘存储&＃xff0c;可以在重启应用时凭借这个来恢复session。
   5. 一般的规则是&＃xff1a;Zookeeper中的服务器越多&＃xff0c;那么session timeout就越大&＃xff0c;连接超时、读超时、ping周期都被设置为和服务器数量正相关。如果频繁丢失连接&＃xff0c;考虑增大timeout参数设置。

3.4 Zookeeper状态

1. 注册Watcher对象&＃xff0c;使用了Zookeeper对象的客户端可以收到状态转换通知&＃xff0c;进入CONNECTED状态时&＃xff0c;Watcher对象收到一个WatchedEvent通知&＃xff0c;其中KeeperState为SyncConnnected。
2. Zookeeper的Watcher对象事实上有两个责任&＃xff1a;1. 观察znode变化的通知 2. 观察Zookeeper状态变化的通知。
3. 进入closed&＃xff0c;则为not alive&＃xff0c;可以用过isAlive()来判断是否alive.

4 使用Zookeeper的例子

4.1 配置管理

原理&＃xff1a;使用Watch机制&＃xff0c;可以让配置被更改(znode)的时候通知其他Watcher&＃xff0c;进行相应的操作。

4.2 分布式锁

原理&＃xff1a;znode-sessionId-sequenceId单调递增&＃xff0c;其中sequenceId最小的服务器获得锁。带上sessionId可以重试恢复。