HDFS读写数据流程

HDFS读写数据流程

一、HDFS写数据流程

HDFS每次写数据时，每次上传的是一个切分过的文件块（文件超过块大小的情况）。文件是在客户端被切分成文件块，所以直接上传，NameNode和DataNode不参与文件的切分。直接接受文件块即可。
1.客户端向NameNode发起请求，要求上传文件，包括块信息。
2.NameNode根据块信息来寻找合适的DataNode,把这个名单返回个客户端。
3.客户端通过这个名单去寻找DataNode节点，并请求建立传输通道。
4.DataNode各个节点回应客户端，表示传输通道已建立。
5.开始传输数据，由客户端发送数据到第一个DN，第一个DN接收完毕后，由第一个DN向第二个DN发送数据，并不是客户端继续发送，客户端只给第一个DN发送数据，后面形成一个管道。
6.全部接受接受完毕后，客户端向NameNode回应传输完毕。
7.下一个数据块的传输重复以上步骤。

二、HDFS读数据流程

1.客户端向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
2.NameNode返回数据块的元数据信息。
3.挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
4.客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。