HadoopHDFS（二）

微信公众号&＃xff1a;码农小胡

Hadoop HDFS&＃xff08;二&＃xff09;

NAMENODE工作机制

NAMENODE职责&＃xff1a;

&＃xff08;1&＃xff09;负责客户端请求的响应。 &＃xff08;2&＃xff09;元数据的管理&＃xff0c;查询&＃xff0c;修改。

元数据管理&＃xff1a;

namenode对数据的管理采用了三种形式&＃xff1a; 内存元数据磁盘元数据镜像文件数据操作日志文件

元数据存储机制

1&＃xff09;、内存中有一份完整的元数据

2&＃xff09;、磁盘中有一个“准完整”的元数据镜像

3&＃xff09;、用于衔接内存metadata和持久化元数据镜像fsimage之间的操作日志

checkpoint的详细过程

1、更新内存。

2、secondarynamenode请求是否需要checkpoint&＃xff0c;如果满足条件&＃xff0c;checkpoint。

3、namnode滚动&＃xff0c;当前正在写的edits。

4、下载操作的文件到secondarynamenode。

5、加载到内存中并合并数据。

6、dump成新的image文件。

7、上传到namenode中。

8、重命名成fsimage文件。

&＃xff08; 附带作用&＃xff1a;namenode和secondary namenode的工作目录存储结构完全相同&＃xff0c;所以&＃xff0c;当namenode故障退出需要重新恢复的时候&＃xff0c;可以从secondary namenode的工作目录中将fsimage拷贝到namenode的工作目录&＃xff0c;以恢复namenode的元数据 &＃xff09;