理解HDFS文件的读与写过程

最新推荐文章于 2023-07-20 14:55:45 发布
最新推荐文章于 2023-07-20 14:55:45 发布
阅读量3.2k 收藏 1
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zonzereal/article/details/79043210
版权
本文详细解析了HDFS文件的读取与写入过程。在读取时，客户端通过FileSystem打开文件，获取数据块信息，然后逐个连接数据节点读取数据。在写入时，客户端创建文件，数据被分割并写入数据队列，通过Data Streamer和RPC调用分配的数据节点，形成pipeline进行数据块的复制与写入。
摘要由CSDN通过智能技术生成

◆理解HDFS读与写过程

HDFS读

1. 初始化FileSystem，然后客户端(client)用FileSystem的open()函数打开文件

2.FileSystem用RPC调用元数据节点，得到文件的数据块信息，对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。

3.FileSystem返回FSDataInputStream给客户端，用来读取数据，客户端调用stream的read()函数开始读取数据。

4.DFSInputStream连接保存此文件第一个数据块的最近的数据节点，data从数据节点读到客户端(client)

5.当此数据

最低0.47元/天 解锁文章
Zzreal
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【精】彻底理解HDFS读文件流程
Badme
09-13 314
读完本文，你将收获如下： ①HDFS读文件的整体流程。 ②读取数据过程中的一些细节，例如：如果文件的最后一个block正在写，客户端能否读到？客户端选择哪个DataNode去读？ ③ LocatedBlocks对象图解、DFSInputStream关键成员变量的释义等。 下面正式开始本文： 一、前置知识 1.1 LocatedBlocks对象 结构大致如下图所示: 客户端调用getBlockLocations RPC后，NameNode返回给客户端LocatedBlocks对象。包含了文件指定范围内的bl
Hadoop知识重点总结
weixin_44386518的博客
11-28 472
Hadoop重点 HDFS 读写流程 写数据流程 1、client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 2、client请求第一个 block该传输到哪些DataNode服务器上； 3、NameNode根据配置文件中指定的备份数量及副本放置策略进行文件分配，返回可用的DataNode的地址，如：A，B，C； 4、client请求3台DataNode中的一台A上传数据（本质上是一个RPC调用，建立pi
Hadoop学习之路（十一）HDFS的读写详解
weixin_33720956的博客
03-21 389
HDFS的写操作 《HDFS权威指南》图解HDFS写过程          详细文字说明（术语） 1、使用 HDFS 提供的客户端 Client，向远程的 namenode 发起 RPC 请求 2、namenode 会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会 为文件创建一个记录，否则会让客户端抛出异常； 3、当客户端开始写入文件的时候，客户端会将文件切分成多...
HDFS读与写
p_x1984的专栏
10-25 342
<br />FileSystem fs = FileSystem.get(new Configuration());<br /> FSDataInputStream fis = fs.open(new Path("****"));<br /> BufferedReader reader = new BufferedReader(new InputStreamReader(<br />         fis));<br /> StringBuilder sb = new StringBuilder(
hdfs的读写文件过程
Mrs_WuHo_O的博客
05-09 1052
写详细步骤： 1、客户端向NameNode发出写文件请求，。 2、检查是否已存在文件、检查权限。若通过检查，客户端调用DistributedFileSystem的create方法创建文件，直接先将操作写入EditLog，并返回输出流对象。 （注：WAL，write ahead log，先写Log，再写内存，因为EditLog记录的是最新的HDFS客户端执行所有的写操作。如果后续真实写操作失败了...
HDFS读写流程（全面深入理解）
qq_45725767的博客
10-27 3641
1、HDFS写流程   （1）客户端通过对FileSystem.create() 对象创建建文件，DistributedFileSystem会创建输出流FSDataOutputStream。   （2）DistributedFileSystem 通过RPC远程调用名称节点，在文件系统的命名空间中创建一个新的文件，此时该文件中还没有相应的数据块。   （3）名称节会执行一些检查，比如文件是否已经存在、客户端是都有权限创建文件等。检查通过后，名称节点会构造一个新文件，并添加文件信息。如果检查不通过，文件创建失败
深入理解HDFS的读写过程
## 第一章：HDFS简介 ### 1.1 HDFS概述 ...NameNode负责存储文件系统的元数据，并处理与客户端的交互。DataNode负责存储实际的数据块。HDFS使用了主/从架构，其中一个NameNode和多个DataNode共同工作。 ### 1.3 H
对HDFS的读流程和写流程的理解
xiaoruoxian的博客
04-11 260
一.HDFS写文件流程图 二.HDFS写文件流程 （1）调用客户端的对象DISTRIBUTEDFILESYSTEM（）的CREATE方法； （2）DISTRIBUTEDFILESYSTEM会发起对NAMENODE的一个RPC连接，请求创建一个文件，。NAMENODE会执行各种各样的检查，确保要创建的文件不存在，并且客户端有创建文件的权限。如果检查通过，NAMENODE会创建一个文件（在EDITS...
从数据流来理解HDFS读写流程
qq_44249833的博客
05-06 228
HDFS文件读取 1、首先客户端创建一个FileSystem对象，并且调用open（）方法打开希望读取的文件。 2、FileSystem内部封装了DistributedFileSystem对象，DistributedFileSystem通过远程调用（RPC）来访问NameNode，得到访问文件起始块的位置。对于每一个块，NameNode按照网络拓补返回DataNode地址。 3、Distribu...
HDFS读文件
HYN205的博客
06-16 331
    1、首先调用FileSystem.open()方法，获取到DistributedFileSystem实例    2、DistributedFileSystem通过RPC(远程过程调用)获得文件的开始部分或全部block列表，对于每个返回的块，都包含块所在的DataNode地址。这些DataNode会按照Hadoop定义的集群拓扑结构得出客户端的距离，然后再进行排序。    如果客户端本身就...
HDFS存储的机制之HDFS读写流程
Ahuuua的博客
05-03 790
转载于作者：tracy_668 链接：https://www.jianshu.com/p/12047b780595 写流程 1. HDFS提供的客户端Client，向远程的Namenode发起RPC请求。 2. Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作。 成功则会文件创建一个记录，否则会让客户端抛出异常。 3. (a)当客户端C...
hdfs文件的读取过程
黄道婆的专栏
09-21 1818
8、HDFS的文件读取过程 详细步骤解析 1、 Client向NameNode发起RPC请求，来确定请求文件block所在的位置； 2、 NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode 都会返回含有该 block 副本的 DataNode 地址； 这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client 近的排靠前；心跳机制中超时汇报的 DN 状态...
hdfs读流程
Laoddaaa的博客
08-08 136
hdfs读流程
Hadoop之HDFS文件读写流程(超详细!!!!)
weixin_37450409的博客
11-04 2941
HDFS文件写入过程: 详细步骤解析： 1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 2、 client请求第一个block该传输到哪些DataNode服务器上； 3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C； 4...
HDFS读写数据流程
eli的博客
11-16 3856
5、Client请求3台中的一台DataNode 1(网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode)上传数据（本质上是一个RPC调用，建立pipeline）,DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3，将整个pipeline建立完成，然后逐级返回客户端。4、NameNode返回3个DataNode服务器DataNode 1，DataNode 2，DataNode 3。2、NameNode返回是否可以上传。
Hadoop：HDFS读写数据的过程。
最新发布
weixin_53571731的博客
07-20 866
6、客户端开始往第一个DataNode上传第一个Block（先从磁盘读取数据放到本地内存缓存），以Packet为单位，当第一个DataNode收到一个Packet就会传给第二个DataNode，然后传给第三个DateNode。5、客户端通过FSDataOutputSTream模块请求第一个DataNode上传数据，第一个DataNode收到请求后会继续调用第二个DataNode，然后第二个DataNode调用第三个DataNode，将这个通信管道建立完成，三个DataNode逐级应答客户端。
HDFS之文件读过程
weixin_34163741的博客
11-30 354
2019独角兽企业重金招聘Python工程师标准>>> ...
HDFS写文件流程
星茗
04-20 310
HDFS写文件流程 调用客户端的 DistributedFileSystem 的 create() 方法； DistributedFileSystem 会发起对 namenode 的一个RPC连接，请求创建一个文件，不包含关于 block 块的请求。 namenode 会执行各种各样的检查，保证要创建的文件不存在，并且客户端有创建文件的权限。如果检查通过， namenode 会创建一个文件(在edits中，同时更新内存状态)，否则创建失败，客户端抛异常IOException。 Distribu
深入理解HDFS读文件机制
- **HDFS客户端（HDFS Client）**：用户程序与HDFS交互的接口，处理文件的打开、关闭、读写等操作。 - **文件系统元数据（Filesystem Metadata）**：包括文件和目录的结构信息，如文件名、所有者、权限、修改时间等...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值