zookeeperMac上IntellijIDEA配置zookeeper(3.5.8)源码阅读、运行、调试环境

近期需要整理MIT6.824 中 分布式系统协调服务 zookeeper 的一些知识&＃xff0c;想要在Mac 本地搭建一个可以方便运行调试的zookeeper环境&＃xff0c;这玩意竟然耗费了一上午的时间&＃xff0c;实在是不可忍&＃xff1b;当然&＃xff0c;主要还是因为对Java的编译运行环境 以及 周边工具不太熟悉。

希望能够为后续想要学习的同学们节省更多的时间。

OS环境&＃xff1a;MAC
zookeeper 版本&＃xff1a;3.5.8 &＃xff08;更高版本 因为变更了编译配置&＃xff0c;所以没有去搞&＃xff09;
java环境&＃xff1a;15.0.1

1. 编译前基本环境准备

• 安装基本的java以及jdk
  运行java --version&＃xff0c;显示如下&＃xff1a;
  
  表示java环境已经配置好了&＃xff0c;不需要再进行java环境的配置。

  否则需要执行如下步骤:
  a. 安装java brew install java
  b. 安装jdk环境&＃xff0c;通过https://www.oracle.com/java/technologies/javase-jdk15-downloads.html 下载mac操作系统的最新版本jdk&＃xff0c;直接按照正常的软件安装方式安装即可。

• 安装软件&＃xff0c;这里还是用强大通用的intellij-idea即可
  brew cask intall intellij-idea ,可能需要搞一个破解的&＃xff0c;这里就看大家各显神通了&＃xff0c;淘宝、闲鱼啥的

• 安装maven ,用来安装java的包依赖
  brew install mvnvm
  最后运行mvn --version&＃xff0c;显示如下表示安装成功
  

• 通过mvn 安装idea的java依赖包
  mvn -e idea:idea
  或者 也可以通过 后面下载好的zookeeper代码中的pox.xml 导入到idea打开的zookeeper项目中
  

• 安装ant
  https://ant.apache.org/bindownload.cgi 下载最新的tar包&＃xff0c;将解压好的目录中的bin文件可以添加到环境变量中export PATH&＃61;$PATH:/xxx/bin/。 大家都说这是一个巨古老的java编译方式&＃xff0c;比较好奇zookeeper为什么还会一直用

• zookeeper 3.5.8 源码准备

  git clone https://github.com/apache/zookeeper.git
git checkout branch-3.5.8


2. 编译 及 导入 Intellij IDEA

• 编译 zookeeper代码
  a. cd zookeeper
  b. ant eclipse

• 导入Intellij IDEA
  打开zookeeper目录即可
  

• 项目的依赖配置&＃xff0c;这里主要是指定一下jdk版本即可
  command &＃43; ;打开项目配置
  或者 File --> Project Structure
  
  因为我们已经下载了最新版本的sdk,所以这里Add JDK之后会默认打开已经下载好的目录&＃xff0c;直接Open即可

• 配置zookeeper项目的依赖包
  找到zookeeper目录下的pox.xml文件&＃xff0c;右键点击 进行Reimport
  

3. Zookeeper 运行环境配置

1. zoo.cfg 配置
   zookeeper服务运行的时候需要加载zoo.cfg 文件&＃xff0c;这个文件默认是没有的&＃xff0c;但是zoo_sample.cfg 文件存储在下载好的源码目录中&＃xff1a;zookeeper/conf
   可以cp zoo_sample.cfg zoo.cfg,可以直接用默认的配置即可&＃xff08;测试也只是本地运行&＃xff0c;非集群模式&＃xff09;

2. zookeeper 的编译运行配置
   zk的运行需要通过主类 org.apache.zookeeper.server.ZooKeeperServerMain 启动
   
   编辑 run configuration
   
   

3. 将主类信息&＃xff0c;zoo.cfg绝对路径&＃xff0c;你的zookeeper主目录添加进去
   如下&＃xff1a;
   

4. 运行
   
   点击运行&＃xff0c;Intellij IDEA会先编译&＃xff0c;再运行zk server

   如果&＃xff0c;编译过程中出现如下问题&＃xff1a;
   a. SLF4J: Class path contains multiple SLF4J bindings. 同时这个错误下应该还会有两个冲突路径&＃xff0c;大体原因是再初始化日志模块时发现zk依赖了两个日志类&＃xff0c;java认为是有冲突的&＃xff0c;我的做法是将其中的一个直接注掉&＃xff08;mv xx xx-bak&＃xff09;&＃xff0c;因为我的两个冲突日志类是一样的&＃xff0c;之前执行mvn -e idea:idea的时候有一部分类导入了两次。

   或者更好的解决办法是 从项目的依赖中将另一个类的路径 标记为exclude中的一项。

   b. log4j:WARN No appenders could be found for logger 这个问题同样是日志问题&＃xff0c;是找不到log4j的初始化配置&＃xff0c;即同样存在于目录zookeeper/conf/log4j.properties文件。

   我的做法是直接将绝对路径设置到运行时的编译配置中。
   回到 Exit configuration command &＃43; option &＃43; r
   
   添加路径&＃xff1a;
   -Dlog4j.configuration&＃61;file:/Users/xxxxx/IdeaProjects/zookeeper/conf/log4j.properties到VM options选项中即可
   
   再次运行 即zk sever 已经正常启动,并输出日志&＃xff1a;
   

5. 链接测试
   再用终端的zkCli.sh工具链接测试&＃xff0c;能够与server通信&＃xff0c;进入zk交互命令行成功

   cd /zookeeper/bin sh zkCli.sh
...
2020-11-15 13:31:40,529 [myid:] - INFO [main:ClientCnxn&＃64;1653] - zookeeper.request.timeout value is 0. feature enabled&＃61;
Welcome to ZooKeeper!
2020-11-15 13:31:40,539 [myid:localhost:2181] - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread&＃64;1112] - Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2020-11-15 13:31:40,554 [myid:localhost:2181] - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread&＃64;959] - Socket connection established, initiating session, client: /127.0.0.1:58600, server: localhost/127.0.0.1:2181
2020-11-15 13:31:40,599 [myid:localhost:2181] - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread&＃64;1394] - Session establishment complete on server localhost/127.0.0.1:2181, sessionid &＃61; 0x10057c92b3d0000, negotiated timeout &＃61; 30000WATCHER::WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 4] stat /
cZxid &＃61; 0x0
ctime &＃61; Thu Jan 01 08:00:00 CST 1970
mZxid &＃61; 0x0
mtime &＃61; Thu Jan 01 08:00:00 CST 1970
pZxid &＃61; 0x0
cversion &＃61; -1
dataVersion &＃61; 0
aclVersion &＃61; 0
ephemeralOwner &＃61; 0x0
dataLength &＃61; 0
numChildren &＃61; 1