Spark报错处理系列之：HDFS Unable to close file because the last block BP-xx does not have enough number

一、完整报错

• Caused by: java.io.IOException: Unable to close file because the last block BP-1324594522-10.130.112.57-1638781636136:blk_8673701360_7658568952 does not have enough number of replicas.

二、报错原因

• 直接原因是DataNode在写完文件之后没有及时跟NameNode汇报完成状态，抛出异常。
• 根本原因是DataNode写入负载过大引起的，导致数据块不能及时上报。
• Flink Checkpoint时会大量创建和删除小文件，引起DataNode负载过大。

三、参数解释

• 这个参数是控制Hadoop中DFS客户端在写入数据时，如果需要找到下一个数据块的位置，最多可以重试的次数。默认值为5。如果重试次数达到上限仍然无法找到下一个数据块的位置，则会抛出异常。这个参数可以根据实际情况进行调整，以提高写入数据的可靠性。

四、解决方法

方案一：修改集群配置

• hdfs-site.xml中dfs.client.block.write.locateFollowingBlock.retries（写入块后尝试关闭的次数）参数的配置。
• 默认为5次（30秒），推荐设置为8次（2分钟），负载高的集群可以视情况继续调大。

方案二：任务加上参数

通过在SparkConf中设置该参数来全局生效，