Hadoop的体系结构简介

主题&＃xff1a;Hadoop的体系结构详解&＃xff08;重点&＃xff09;

注意&＃xff1a;大数据的一些组件的结构基本上都是主从式的结构

一、Hadoop的分布式文件存储系统HDFS的体系结构

HDFS的体系结构图&＃xff1a;

HDFS的伪分布环境下的结构&＃xff1a;

HDFS体系结构包括&＃xff1a;

    &＃xff08;1&＃xff09;、NameNode 名称节点

                作用&＃xff1a;

                        &＃xff08;*&＃xff09;维护管理HDFS

                        &＃xff08;*&＃xff09;接收客户端的请求&＃xff1a;上传、下载、创建目录、查看等&＃xff1b;

                        &＃xff08;*&＃xff09;维护了两个重要核心文件&＃xff1a;EditLog,FsImage

                                    a、EditLog 代表的是HDFS的操作日志文件

                                         &＃xff08;*&＃xff09; 操作日志文件位置信息&＃xff1a;/tmp/dfs/name/current/

                                         &＃xff08;*&＃xff09;日志都是二进制格式 ,edit viewer  将二进制文件转换成xml格式的数据格式

                                                  hdfs oev -i    edits_inprogress_0000000000000000128  -o ~/edit_inprogress.xml 

                                        &＃xff08;*&＃xff09;、EditLog记录了操作HDFS的行为信息

                                    b、FsImage 代表的是HDFS的元信息文件

                                        &＃xff08;*&＃xff09;位置&＃xff1a;/tmp/dfs/name/current/                                                                                                                                                      

                                         &＃xff08;*&＃xff09;二进制文件&＃xff0c;image viewer,将二进制转换成可读的文本或xml格式的数据

                                                 hdfs oiv -i fsimage_0000000000000000127 -o ~/fsimage.xml -p XML

                                         &＃xff08;*&＃xff09;记录了数据块的位置信息、数据块的冗余信息等

    &＃xff08;2&＃xff09;、DataNode   数据节点 

                作用&＃xff1a;用于保存数据块及将数据块进行水平复制&＃xff0c;达到Hadoop数据块冗余度的要求

                &＃xff08;*&＃xff09;hadoop 1.x版本的数据块大小 64M hadoop2.x以上的数据块大小 128M

                &＃xff08;*&＃xff09;位置&＃xff1a;进入到hadoop的安装路径下/training/hadoop-2.7.3/tmp/dfs/data/current/BP-2021293766-192.168.215.163-1551103164079/current/finalized/subdir0/subdir0

                &＃xff08;*&＃xff09;案例&＃xff1a;

                            上传一个文件&＃xff0c;看看会不会对文件进行切割

    &＃xff08;3&＃xff09;、SecondaryNameNode    第二名称节点

                作用&＃xff1a;将edit的最新信息合并到fsimage文件中&＃xff0c;目的是减少集群的启动时间

                &＃xff08;*&＃xff09;位置&＃xff1a;一般会与NameNode在一起&＃xff0c;处于效率的角度考虑

                &＃xff08;*&＃xff09;合并过程&＃xff0c;画图说明&＃xff1a;

                   &＃xff08;*&＃xff09;检查点什么时候发生&＃xff1a;

                             默认&＃xff1a;&＃xff08;1&＃xff09;时间达到60分钟时发生

                                       &＃xff08;2&＃xff09;edit日志文化大小达到64M时发生

二、Hadoop的分布式资源协调框架Yarn的体系结构

    &＃xff08;1&＃xff09;、ResourceManager  资源管理器

    &＃xff08;2&＃xff09;、NodeManager      节点管理器

三、Hadoop的分布式数据库HBase的体系结构

    &＃xff08;1&＃xff09;、HMaster   主节点

    &＃xff08;2&＃xff09;、ReginServer 从节点