【hive】hive任务报错does not have enough number of replicas.

骑蜗牛追大象

已于 2022-02-21 18:45:30 修改

阅读量3.6k

点赞数

文章标签： hdfs

于 2022-02-21 18:45:28 首次发布

本文链接：https://blog.csdn.net/zx1414iang/article/details/123053241

版权

任务报错信息：Caused by: java.io.IOException: Unable to close file because the last blockBP-xxxx:blk_xxxx does not have enough number of replicas.

通过查看hdfs日志分析，在任务执行对应时间点namenode rpc处理时长明显耗时增长

说明hdfs性能不足，在大量写入或者删除的场景下会导致该问题。

查看namenode的审计日志分析create和delete操作较之前多了几倍

解决办法：开启IBR特性，减少块上报频率，降低nn压力

dfs.namenode.file.close.num-committed-allowed 调整为1
dfs.blockreport.incremental.intervalMsec调整为1000

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

骑蜗牛追大象

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【Flink】FLink 使用 RocksDB 报错 hadoop not have enough number of replicas

九师兄

01-25

752

【Flink】FLink 使用 RocksDB 报错 hadoop not have enough number of replicas

centos8 Ambari-2.7.6.3+HDP-3.3.1离线安装详细教程（附安装包）

QYmufeng的博客

01-16

5031

centos8离线安装Ambari-2.7.6.3+HDP-3.3.1详细教程（附安装包）

参与评论您还未登录，请先登录后发表或查看评论

does not have enough number of replicas

zhuzhen123zhuzhen的博客

03-12

4169

HIVE sql报错 org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.io.IOException: Unable to close file because the last blockB:blk_17 does not have enough number of replicas. 问题原因：大量删除文件导致文件写入较慢，进一步造成dn执行nn指令的耗时过长，长时间无法上报IBR请求至nn 1．当前规避办法：开启IBR参数，

HDFS does not have enough number of replicas 问题解决

热门推荐

u013289115的博客

03-31

1万+

一、问题跑spark或hive脚本报错如下： [INFO] 2020-03-31 11:06:03 -> java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutpu...

spark任务优化参数

别人笑我太疯癫，我笑他人看不穿。

01-17

2612

Hadoop_MR Spark_Core spark.executor.memory默认值1g spark.executor.cores默认值1核 spark.executor.instances默认值2个 spark.yarn.am.memory默认值512m spark.yarn.am.cores默认值1核 Spark_Sql Flink_Core Flink_Sql ...

HDFS副本放置策略源码分析

weixin_42473019的博客

01-30

688

背景前段时间我们的集群在写入block时有如下报错： Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/xxxx.tmp could only be replicated to 0 nodes instead of minReplication (=1). There are 983 dat

Hive脚本: Unable to close file because the last block does not have enough number of replicas 报错分析

雾岛与鲸的博客

09-14

4141

【HDFS】hive任务报HDFS异常：last block does not have enough number of replicas

感谢你的关注~~~~ღ( ´･ᴗ･` )

03-04

1063

最后一个 block 没有足够的副本数，文件关闭失败

Mrknowledge

11-18

4193

堆栈信息： java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:2528...

Spark报错处理系列之：HDFS Unable to close file because the last block BP-xx does not have enough number

zhengzaifeidelushang的博客

05-16

616

Spark报错处理系列之：HDFS Unable to close file because the last block BP-xx does not have enough number

【Flink】Flink提交任务到Yarn报错Unable to close file because the last blockBP enough number of replicas

九师兄

09-06

739

当使用 HDFS 存储文件时，每个数据块会有多个副本分布在不同的节点上，以确保数据的可靠性和容错性。然而，由于某种原因，最后一个数据块 blk_1101776325_28036289 的副本数量不足，导致无法成功关闭文件。如果确定副本数量正确，并且问题仍然存在，可以尝试手动修复副本不足的情况。异常消息表明在关闭文件时出现问题，我的原因是hadoop上有个节点有问题，导致提交到那个节点的时候，无法传递包到相关的机器上。检查 HDFS 集群的状态，确保所有节点都正常工作，没有节点宕机或网络故障等问题。

NameNode与DataNode删除块逻辑分析

笑看风云路的博客

06-21

942

最近有位小伙伴在生产环境执行 Spark SQL任务的出现了Unable to close file because the last block does not have enough number of replicas. 的错误，大致意思是最后一个 block 快没有足够的副本而不能关闭文件。最近看了一篇文章写了关于这个问题的分析，我也分享给你，希望你在遇到这样的问题的时候，提供一种解决问题的思路。

hadoop集群运维(updating)

大怀特的博客

10-13

768

Unable to close file because the last block BP-1820686335-10.201.48.27-144816918 ava.io.IOException: Unable to close file because the last block BP-1820686335-10.201.48.27-1448169181587:blk_1850383542_781036567 does not have enough number of replicas. ..

hive连接报错Driver org.apache.hive.jdbc.HiveDriver claims to not accept jdbcUrl

09-26

Hive连接报错"Driver org.apache.hive.jdbc.HiveDriver claims to not accept jdbcUrl"通常表示你在尝试连接Hive时使用的JDBC URL不符合Hive JDBC驱动器的预期格式。Hive JDBC驱动器需要特定的URL模式才能识别并建立连接。 Hive的JDBC URL一般采用如下结构： ``` jdbc:hive2://[host]:[port]/[database];[parameters] ``` 其中： - `host` 和 `port` 是Hive服务器的主机名和端口号，默认可能是localhost和10000。 - `database` 是你想要连接的Hive数据库名称。 - `[parameters]` 可能包含一些配置选项，比如auth、principal等。如果你遇到错误，检查以下几个方面： 1. **URL格式**：确保URL按照上述格式书写，包括协议头`jdbc:hive2:`。 2. **服务运行状态**：确认Hive Metastore和Hive Server是否正在运行，并且网络可达。 3. **驱动版本**：确保你使用的JDBC驱动与Hive版本兼容。 4. **权限设置**：如果涉及到认证，确保提供的用户有正确的访问权限。如果问题仍然存在，试着更新日志信息，查看详细的错误堆栈，以便找出具体的错误原因。