HDFS Pipeline Recovery

最新推荐文章于 2024-01-14 23:07:59 发布

zhtttylz

最新推荐文章于 2024-01-14 23:07:59 发布

阅读量475

点赞数 1

本文链接：https://blog.csdn.net/zhttly/article/details/109677548

版权

本文介绍了HDFS中pipeline的写入过程，包括setup、data streaming和close三个阶段。在pipeline出现错误时，有不同的恢复策略：对于setup错误，新写文件会重新设置pipeline，追加文件则移除出错DataNode；data streaming错误时，出错DataNode会自动退出，Client重建并重发未确认的数据；close阶段出错影响较小，仍可重建pipeline完成后续操作。此外，还讨论了DataNode失败后的替换策略。

摘要由CSDN通过智能技术生成

pipeline 写入的三个阶段

1.pipeline setup：Client 发送一个写请求沿着 pipeline 传递下去，最后一个 DataNode 收到后发回一个确认消息。Client 收到确认后，pipeline 设置准备完毕，可以往里面发送数据了。

2.data streaming：Client 将一个 block 拆分为多个 packet 来发送（默认一个 block 64MB，太大所以需要拆分）。Client 持续往 pipeline 发送 packet，在收到 packet ack 之前允许发送 n 个 packet，n 就是 Client 的发送窗口大小（类似 TCP 滑动窗口）

3.close：Client 在所有发出的 packet 都收到确认后发送一个 Close 请求，
pipeline 上的 DataNode 收到 Close 后将相应 replica 修改为 FINALIZED 状态，并向 NameNode 发送 block 报告。NameNode 将根据报告的 FINALIZED 状态的 replica 数量是否达到最小副本要求来改变相应 block 状态为 COMPLETE。