【Hadoop07】HDFS读/写数据流程（面试重点）

1. HDFS写数据

1.1 HDFS写数据流程

HDFS读写流程&＃xff1a;

1. HDFS客户端创建 DistributedFileSystem(分布式文件系统)类的对象实例。【该对象中封装了与HDFS文件系统操作的相关方法】
2. 调用DistributedFileSystem对象的create()方法&＃xff0c;通过 RPC 请求 NameNode 创建文件。
   ① NameNode执行各种检查判断&＃xff1a; 目标文件是否存在、父目录是否存在、客户端是否具有创建文件的权限。
   ② 检查通过后返回 FSDataOutputStream 输出流对象给客户端用于写数据
3. 客户端通过 FSDataOutputStream 输出流开始写入数据
   ① NameNode根据网络拓扑挑选出一组DataNode用于存放数据&＃xff0c;默认是3副本存储。
   ② DataStreamer将数据包流式传输到管道&＃xff08;pipeline&＃xff09;的第一个 DataNode&＃xff0c;该DataNode存储数据包并将它发送到 pipeline 的第二个DataNode。同样的&＃xff0c;第二个DataNode存储数据包并发送给第三个&＃xff08;也是最后一个&＃xff09;DataNode】
4. 传输的反方向上&＃xff0c;会通过ACK校验数据包传输是否成功
5. 客户端完成数据写入后&＃xff0c;在 FSDataOutputStream 输出流上调用 close() 方法关闭
6. 客户端DsitributedFileSystem 告知NameNode文件写入完成&＃xff0c;等待NameNode确认。
   【因为NameNode已经知道文件由哪些块组成&＃xff0c;因此仅需等待最小复制块即可成功返回。最小复制是由参数 dfs.namenode.replication.min 指定&＃xff0c;默认是1。即只要有1个副本上传成功&＃xff0c;NameNode就认为已经上传成功&＃xff0c;如果其他DataNode有缺失的块&＃xff0c;可以通过这个DataNode继续复制】

抓住几个点&＃xff1a;

1. NameNode收到请求后并不是立即响应&＃xff0c;而是要检查&＃xff1a;目标文件是否存在、父目录是否存在、客户端是否具有创建文件的权限。
2. 进行分布式数据传输时&＃xff0c;并不是并行的传输&＃xff0c;而是串行并发的传输。
   因为这样可以将客户端压力转到服务器端来&＃xff0c;给用户更好的体验。
   
3. ① 客户端要向DataNode写数据时&＃xff0c;是以一种管道&＃xff08;pipeline&＃xff09;的方式。将文件块拆分成多个64KB的数据包&＃xff08;packet&＃xff09;&＃xff0c;多个数据包流水式并发的对同一个DataNode进行写入。
   ② 传输单元为64KB&＃xff0c;每个单元由若干个分组组成&＃xff0c;每个分组为512B的数据 &＃43; 4B的校验位 &＃61; 516B

1.2 关于副本结点的选择流程

问&＃xff1a;在前面说到写数据时&＃xff0c;NameNode根据网络拓扑挑选出一组DataNode用于存放数据。那么NameNode是怎么挑选DataNode的&＃xff1f;

答&＃xff1a;假设副本数为3&＃xff0c;则&＃xff1a;

1. 第一个副本在Client所在结点上&＃xff1b;若客户机在集群外&＃xff0c;则在集群中随机选一个&＃xff08;因为此时所有DataNode结点与Client距离相等&＃xff09;【保证效率】

   节点距离的计算&＃xff1a;两个节点到达最近的共同祖先的距离总和。

2. 第二个副本在另一个机架上随机选一个结点。【保证可靠】

3. 第三个副本在第二个副本所在机随机选一个。【保证效率】

2. HDFS读数据

HDFS读数据的整体流程&＃xff1a;

1. HDFS客户端创建 DistributedFileSystem(分布式文件系统)类的对象实例。

2. 调用DistributedFileSystem对象的read()方法&＃xff0c;通过 RPC 请求 NameNode 读取文件。
   ① NameNode执行各种检查判断&＃xff1a; 目标文件是否存在、父目录是否存在、客户端是否具有读取文件的权限。
   ② 检查通过后返回 FSDataInputStream 输出流对象给客户端用于读数据

3. 客户端通过 FSDataInputStream 输出流开始写入数据
   ① 首先选择哪个DataNode结点&＃xff1f;两个因素 {距离最近, DataNode所在服务器负载均衡低}&＃xff0c;然后从中读取第一个文件快blk_1。
   ② 请求第二个文件块blk_2时&＃xff0c;是在已经读取完成了blk_1之后才会发出该请求&＃xff0c;是串行读&＃xff0c;不是多线程并行。最后将读到的blk_2数据追加到blk_1末尾&＃xff0c;就可以拼接成一个完整的文件。

   所以&＃xff0c;我们在 hadoop 服务器上的data文件夹中找到hadoop存放数据的文件夹$HADOOP_HOME/data/dfs/data/current/BP-xxxxxxx/current/finalized/subdir0/subdir0&＃xff0c;在里面将某个文件的几个blk_xxx按顺序拼接&＃xff0c;也能恢复出原文件。

   # 将blk_1的数据写入abc.txt
cat blk_1 >> abc.txt
# 将blk_2的数据追加到abc.txt
cat blk_2 >> abc.txt
# 此时就可以恢复出文件abc.txt


4. 客户端读完数据后&＃xff0c;在 FSDataInputStream 输出流上调用 close() 方法关闭

5. 客户端DsitributedFileSystem 告知NameNode文件读出完成。