Spark报错处理系列之：HDFS Unable to close file because the last block BP-xx does not have enough number

最新推荐文章于 2024-10-16 11:11:15 发布
最新推荐文章于 2024-10-16 11:11:15 发布
阅读量430 收藏 1
点赞数 1
分类专栏： 大数据 文章标签： spark hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/138939749
版权
大数据 专栏收录该内容
550 篇文章 558 订阅 ¥49.90 ¥99.00
订阅专栏
博客详细分析了Spark运行时遇到的HDFS IOException问题，报错显示无法关闭文件是因为最后一个数据块的副本数量不足。报错的根本原因是DataNode写入负载过大，特别是在Flink Checkpoint时。解决方案包括调整Hadoop配置参数`dfs.client.block.write.locateFollowingBlock.retries`和在Spark任务中设置相应参数。
摘要由CSDN通过智能技术生成

Spark报错处理系列之：Unable to close file because the last block BP-xx does not have enough number of replicas

一、完整报错

  • Caused by: java.io.IOException: Unable to close file because the last block BP-1324594522-10.130.112.57-1638781636136:blk_8673701360_7658568952 does not have enough number of replicas.

二、报错原因

  • 直接原因是DataNode在写完文件之后没有及时跟NameNode汇报完成状态，抛出异常。
  • 根本原因是DataNode写入负载过大引起的，导致数据块不能及时上报。
  • Flink Checkpoint时会大量创建和删除小文件，引起DataNode负载过大。

三、参数解释

  • 这个参数是控制Hadoop中DFS客户端在写入数据时，如果需要找到下一个数据块的位置，最多可以重试的次数。默认值为5。如果重试次数达到上限仍然无法找到下一个数据块的位置，则会抛出异常。这个参数可以根据实际情况进行调整，以提高写入数据的可靠性。

四、解决方法

方案一：修改集群配置

  • hdfs-site.xml中dfs.client.block.write.locateFollowingBlock.re
了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
【Flink】Flink提交任务到Yarn报错Unable to close file because the last blockBP enough number of replicas
九师兄
09-06 656
当使用 HDFS 存储文件时，每个数据块会有多个副本分布在不同的节点上，以确保数据的可靠性和容错性。然而，由于某种原因，最后一个数据块 blk_1101776325_28036289 的副本数量不足，导致无法成功关闭文件。如果确定副本数量正确，并且问题仍然存在，可以尝试手动修复副本不足的情况。异常消息表明在关闭文件时出现问题，我的原因是hadoop上有个节点有问题，导致提交到那个节点的时候，无法传递包到相关的机器上。检查 HDFS 集群的状态，确保所有节点都正常工作，没有节点宕机或网络故障等问题。
Spark启动报错：java.io.FileNotFoundException: File does not exist: hdfs://bigdata1:8020/sparklog
zhengzaifeidelushang的博客
11-09 3508
Spark启动报错：java.io.FileNotFoundException: File does not exist: hdfs://bigdata1:8020/sparklog 启动Spark报错是因为HDFS上没有sparklog目录，在HDFS上新建立sparklog目录后，在启动Spark就能正常启动。 一、Spark开启日志聚合功能，将Spark应用程序的运行信息写入指定目录hdfs://bigdata1:8020/sparklog vim /moudle/spark-3.0.1/conf/s
【HDFS】hive任务报HDFS异常：last block does not have enough number of replicas
感谢你的关注~~~~ღ( ´･ᴗ･` )
03-04 1024
HIVE运行查询脚本时报错，last block does not have enough number of replicas： 1 2018-10-15 2018-07-17 2 2018-10-15 10:00:01 3 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; su...
hadoop集群运行时遇到Unable to close file because the last block does not have enough number of replicas
Lyx_h的博客
04-08 7798
1.问题描述 hql脚本夜间调度时部分表随机出现了 Unable to close file because the last block does not have enough number of replicas 的报错。 手动重跑后恢复正常。 2.查找原因 通过报错信息可以得知 最后一个block块没有足够的副本而不能关闭文件。 这说明了在某一时刻可能有任务大量读取blocks，耗费了过多...
启动Spark报错：24/10/16 09:14:18 ERROR spark.SparkContext: Error initializing SparkContext.java.lang.Clas
最新发布
guyuan16的博客
10-16 407
spark启动报错问题解决
【hive】hive任务报错does not have enough number of replicas.
zx1414iang的博客
02-21 3537
blk_xx does not have enough number of replicas
【HDFS】转载:Unable to close file because the last block does not have enough number of replicas报错分析
Mrerlou的博客
05-11 1023
一、问题 跑spark或hive脚本报错如下： [INFO] 2020-03-31 11:06:03 -> java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:2266) at org
Unable to close file because the last block does not have enough number of replicas报错分析
热门推荐
u013289115的博客
03-31 1万+
一、问题 跑spark或hive脚本报错如下： [INFO] 2020-03-31 11:06:03 -> java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutpu...
最后一个 block 没有足够的副本数，文件关闭失败
Mrknowledge
11-18 4081
堆栈信息： java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:2528...
Hive脚本: Unable to close file because the last block does not have enough number of replicas 报错分析
雾岛与鲸的博客
09-14 4026
一、问题 跑spark或hive脚本报错如下： [INFO] 2020-03-31 11:06:03 -> java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:2266) at org
【Flink】FLink 使用 RocksDB 报错 hadoop not have enough number of replicas
九师兄
01-25 697
【Flink】FLink 使用 RocksDB 报错 hadoop not have enough number of replicas
org.apache.spark.sql.AnalysisException: Path does not exist: hdfs://localhost/user/root/README.md;
qq_38680900的博客
03-29 7144
最近在玩spark，输入： scala> val textFile = spark.read.textFile("README.md") 结果一长串错误： org.apache.spark.sql.AnalysisException: Path does not exist: hdfs://localhost/user/root/README.md; at org.apache...
HDFS异常：last block does not have enough number of replicas
qq_43688472的博客
03-17 1553
HDFS异常：last block does not have enough number of replicas 【问题解决办法】 可以通过调整参数dfs.client.block.write.locateFollowingBlock.retries的值来增加retry的次数，可以将值设置为6，那么中间睡眠等待的时间为400ms、800ms、1600ms、3200ms、6400ms、12800ms，也就是说close函数最多要50.8秒才能返回。 中软不建议修改该参数： 但是该dfs.client.blo
does not have enough number of replicas
zhuzhen123zhuzhen的博客
03-12 4051
HIVE sql报错 org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.io.IOException: Unable to close file because the last blockB:blk_17 does not have enough number of replicas. 问题原因： 大量删除文件导致文件写入较慢，进一步造成dn执行nn指令的耗时过长，长时间无法上报IBR请求至nn 1． 当前规避办法： 开启IBR参数，
NameNode与DataNode删除块逻辑分析
笑看风云路的博客
06-21 869
最近有位小伙伴在生产环境执行 Spark SQL任务的出现了Unable to close file because the last block does not have enough number of replicas. 的错误，大致意思是最后一个 block 快没有足够的副本而不能关闭文件。最近看了一篇文章写了关于这个问题的分析，我也分享给你，希望你在遇到这样的问题的时候，提供一种解决问题的思路​。
【转】【HDFS】hive任务报HDFS异常：last block does not have enough number of replicas
xieganyu3460的博客
10-15 9343
HIVE运行查询脚本时报错，last block does not have enough number of replicas： 1 2018-10-15 2018-07-17 2 2018-10-15 10:00:01 3 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; s...
DFSClient技术内幕(写入数据——管道的建立)
u013494310的专栏
02-15 2031
以下是本人研究源代码成果, 此文僅献给我和我的小伙伴们，不足之处，欢迎斧正-------------------------------------致谢道格等人！ 注：hadoop版本0.20.2,有童鞋表示看代码头晕，所以本文采用纯文字描述，哥还特意为你们把字体调调颜色噢 ^ o ^ 上一篇文章，我们一起讨论了写入数据的准备过程，创建OutputStream下面我们一起讨论关于数据写入的
数据迁移报错Unable to close file because the last block does not have enough number of replicas.l
05-11
这个错误提示意味着最后一个数据块没有足够数量的副本，导致无法关闭文件。这通常是由于某些节点宕机或网络问题导致的。解决此问题的方法是增加数据块的副本数，以确保即使某些节点宕机，也能保证数据不会丢失。可以使用以下命令来增加数据块的副本数： ``` hdfs dfs -setrep -w <numReplicas> <hdfs_file_path> ``` 其中，`<numReplicas>`是要设置的副本数，`<hdfs_file_path>`是要设置的HDFS文件路径。例如，要将文件 `/user/hadoop/data.txt` 的副本数增加到 3，可以使用以下命令： ``` hdfs dfs -setrep -w 3 /user/hadoop/data.txt ``` 执行此命令后，HDFS将尝试将文件中所有数据块的副本数增加到 3。请注意，这可能需要一些时间，具体时间取决于文件大小和系统负载。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值