Tachyon源码解读一：master部分

一、Conf

大多系统在启动的时候&＃xff0c;必须读取配置信息。这里从配置文件开始。

在路径tachyon/conf/ Utils是所有配置类的基类&＃xff0c;其中申明了基本属性类型(Boolean、Int、Long、String四种类型)。它有四个子类。一下是类关系图

CommonConf是Master和Worker的公共配置信息

二、Format

格式化tachyon文件

根据参数内容

Master&＃xff1a;创建目录

Worker&＃xff1a;从配置文件中拿到节点循环删除

三、Master

初始化配置

启动

Tachyon Master的启动过程&＃xff0c;首先当然是要读取Master相关配置参数&＃xff0c;目前都是通过-D参数传给Java的&＃xff0c;理想的是通过配置文件来做。目前这些参数&＃xff0c;一部分是在Env文件里设置变量&＃xff0c;再通过-D参数设置&＃xff0c;也有的直接写死在-D参数中的&＃xff0c;也有启动脚本中默认未配置&＃xff0c;在MasterConf代码里使用了默认值的。 通过读取特定的format文件判断文件系统是否格式化&＃xff0c;接下来就是在内存中重建文件系统信息

启动有两种模式&＃xff1a;

Zookerper(tachyon的高可用方案)

单机

如果有配置zookerper模式的话&＃xff0c;需要先启动zookerper客户端。Master在这作为zookerper的客户端(需要将当前运行线程编号提交给client)

接下来是setup()&＃xff0c;在该方法中初始化Master的基本信息

设置web服务。

设置MasterServiceHandler(它维护所有worker的状态)

初始化socket服务(线程选择服务)

然后启动web服务

下面看下master包中的类图

首先从最上面的EditLog看起&＃xff0c;这是一个Master操作日志。

先看下load()方法&＃xff1a;

该方法需要提供三个参数&＃xff1a;MasterInfo、path(日志路径)、还一个Int类型的也就是Master加载最小日志数量。这个方法先对path进行一系列的校验&＃xff0c;然后生成一个以文件大小和序列组合的名字的editlog结尾的命名存放在数组集合。然后调用loadSingeLog()方法。

在loadSingeLog方法中有个EditLogOperation&＃xff0c;这里是指每个EditLog每一个单一的操作都是一个条目&＃xff0c;它会序列化json。

op &＃61; parser.readValueAs(EditLogOperation.class);

这里得到一个操作值&＃xff0c;根据操作类型来匹配方法。

有如下操作类型&＃xff1a;

ADD_BLOCK&＃xff1a;

ADD_CHECKPOINT&＃xff1a;

CREATE_FILE&＃xff1a;

COMPLETE_FILE&＃xff1a;

SET_PINNED&＃xff1a;

RENAME&＃xff1a;

DELETE: 

CREATE_RAW_TABLE&＃xff1a;

UPDATE_RAW_TABLE_METADATA: 

CREATE_DEPENDENCY:

MasterServiceHandler&＃xff1a;

它维护每个工人的状态。它永远不会保存任何用户的状态。

他实现了MasterService中的Iface接口。

该接口中包含了多种方法&＃xff0c;其中实现的方法维护着worker的操作信息。包括注册、心跳、缓存块等等

MasterInfo&＃xff1a;

是主控文件系统的全局视图

该类实现了HeartbeatExecutor接口&＃xff0c;并实现heartbeat()维护worker通信。

在这个方法中实现了一些文件操作、命令等方法

ImageWriter&＃xff1a;

这是一个写映像文件的抽象类。Dependency继承了它&＃xff0c;并有一些新的功能&＃xff1a;从json创建一个依赖&＃xff0c;添加孩子依赖等。并重写了writeImage方法。

RawTables&＃xff1a;ImageWrite的另一个子类