一次Hudi Jar包中的HBase冲突导致的Spark任务失败

已于 2022-08-08 12:40:45 修改
阅读量762 收藏 1
点赞数 2
文章标签： hbase spark
于 2022-08-08 11:47:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangs_123/article/details/126224701
版权
本文讲述了作者遇到的一次由于Hudi Jar包中包含的HBase版本过高，导致Spark任务失败的问题。通过分析日志，发现在Hive配置指定的辅助JAR目录中存在HBase相关Jar包，移除后问题得到解决。
摘要由CSDN通过智能技术生成

一次Hudi Jar包中的HBase冲突导致的Spark任务失败

一、 问题描述

2022-08-08: 00:40 左右，正准备睡觉，Airflow调度任务出现了一些任务报错告警，于是爬起来打开电脑看是什么原因。

二、 问题分析及日志

2.1 问题分析

看了日志大概是Hbase版本的问题，当前的Hbase版本过高，导致Spark任务报错。于是检查了CDH集群，一切正常，Hbase也没有什么问题。经过半小时的各种分析，在CM->HBase->Commands->Recent Commands 最近的命令记录中发现了一条 Deploy Client Configuration 记录，原来是前一天下午在测试Hudi时，在Hive配置中指定了Hive Auxiliary JARs Directory的一个目录/opt/cloudera/parcels/CDH/lib/hive/auxlib，并且在改目录中添加了两个Jar包

hudi-hadoop-mr-bundle-0.11.0.jar
hudi-hive-sync-bundle-0.11.0.jar

这两个jar包中有引入HBase,移除后解决问题。

2.2 报错日志

22/08/08 00:42:38 ERROR spark.SparkTask: Failed to execute Spark task "Stage-8"
java.lang.RuntimeException: hbase-default.xml
最低0.47元/天 解锁文章
dingjian1899
关注
记录一个 Hudi HBase 依赖冲突问题及解决方案
主要分享大数据相关的知识，如Spark、Hudi
06-01 241
如题：记录一个 Hudi HBase 依赖冲突问题及解决方案。
Flink源码分析 | 读取HBase配置
最新发布
主要分享大数据相关的知识，如Spark、Hudi
12-18 1135
上面文章中总结了Flink 获取 HBase 配置的逻辑和优先级，但是并没有对源码进行分析，本文主要是补充这一部分的源码分析。
Hbase、elasticsearch整合中jar包冲突
止鱼
11-30 2079
问题背景再数据平台中，项目搭建需要使用es和HBASE搭建数据查询接口，整合的过程中出现jar包冲突的bug :com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocatororg.apache.hadoop.hbase.DoNotRetryIOException:
搭建Hbase时出现与Hadoop的jar包出现冲突
A_Little_Fish_的博客
10-07 567
一键启动hadoop集群时出现问题 [hadoop@node01 bin]$ hadoop.sh start Starting namenodes on [node01] Starting datanodes Starting secondary namenodes [node01] SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/zjy/install/hadoop-3.3.0/s
Hbase2.2.2 出现SLF4J -JAVA包冲突引起问题warning（ Class path contains multiple SLF4J bindings.）
huangdxian的博客
11-09 2009
一、问题：安装好Hadoop3.1.3版本后再安装Hbase2.2.2 出现 SLF4J包冲突警告 二、原因： Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误，是因为jar包冲突了，所以对于和hadoop的jar包冲突的，可以将其他jar包删除，如果你不确定是否删除正确，可以将其他的jar包复制备份或者修改名称，确保操作以后失败了，还可以找回。 三、解决方法 1. 移除 hadoop或者Hbase文件任意一个相关冲
[已解决]hbase启动时，hbase的jar包与hadoop的jar包冲突的问题
雷神乐乐的博客
03-06 833
注意：不建议删除hadoop下的jar包，因为habse是基于hadoop的组件，hadoop要向下兼容。
Spark3 读写 S3 Parquet, Hive, Hudi
L, there!
05-17 4896
Spark 读 S3 Parquet 写入 Hudi 表 目录 Spark 读 S3 Parquet 写入 Hudi 表 参考 关于S3，S3N和S3A的区别与联系 Spark 读写 S3 Parquet 文件 测试代码 pom.xml 配置文件 EMR Spark任务提交 spark-shell spark-submit Spark 读写 Hudi 本地测试 代码 集群上测试 spark-shell spark-sql Spark-submit Hive 中测
【Flink 实战系列】Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi
JasonLee实时计算
11-30 3576
Flink CDC 是基于 Flink 开发的变化数据获取组件（Change data capture），简单的说就是来捕获变更的数据，Apache Hudi 是一个数据湖平台，又支持对数据做增删改查操作，所以 Flink CDC 可以很好的和 Hudi 结合起来，打造实时数仓，实时湖仓一体的架构，下面就来演示一下同步的过程。
Spark/ Hadoop/Hbase/Hive问题解决整理
夏尔的小木屋
10-05 463
本文记录Spark、Hadoop、Hbase在安装和使用过程中遇到的bug及有效的解决方法。 按照目录找相应的报错信息哦~ 文章目录Hbase--报错解决方法Can't get master address from ZooKeeper; znode data == nullorg.apache.hadoop.hbase.PleaseHoldException: Master is init...
hbase不同版本jar包.rar
08-07
hbase 1.2.0和1.2.6两个版本的jar依赖包，java，Eclipse开发，导入对应版本的依赖包
hudi编译所需jar包.zip
04-27
kafka-schema-registry-client-6.1.1.jar pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar common-config-6.1.1.jar common-utils-6.1.1.jar kafka-avro-serializer-6.1.1.jar
Hudi COW 两个用户同时写一张表会出现的问题
乐乐的博客
02-01 1170
hudi 写文件时在timeline元数据目录 {basePath}/.hoodie 下的状态有三种 任何时间都可以处于以下状态之一 REQUESTED - 表示已调度但尚未启动的操作。 INFLIGHT - 表示当前正在执行该操作。 COMPLETED - 表示在时间轴上完成了该操作。 写文件的时候会有以下步骤 先写入 t1.commit.requested 表示该commit已经调度，但是尚未启动 后写入 t1.inflight 表示该commit已经启动正在运行，该文件记录ru
HUDI（搭建详细记录附加jar）
hxiaowang的博客
06-28 1233
hudi +flink + hive 部署和简单实验
Spark和Hbase环境变量冲突解决办法
m0_67394230的博客
08-24 532
由于程序中的setMaster(“local”)将环境变量设为了本地用户，这样就更改了System.setProperty(“HADOOP_USER_NAME”, “sousuo”);造成了环境变量冲突而无法访问Hbase。//初始化Hbase环境变量。
Hive on Spark RPC channel is closed
weixin_44210386的博客
06-07 1382
如果需要获取yarn的application的日志，首先需要获取到该applicationID，需要以下命令获取到ID（注意，如果application是完成状态，则无法查到需要使用别的命令）这个命令可以获取到对应的application的ID，在获取到applicaitonID的基础上，我们需要用yarn命令查看日志。所以，使用hadoop命令在HDFS上创建spark-history文件就可以解决这个问题了。最后通过日志可以发现，出现了以下的错误，即spark-history没有创建。
Hive的执行引擎Tez、spark出现的问题
cuichunchi的博客
09-15 1798
Hive on Tez中，切换成mr引擎出现以下问题： hadoop版本为2.7.3 tez版本为0.9.1 因为tez安装目录中应该有hadoop-mapreduce-client-core、hadoop-mapreduce-client-common等jar，hadoop中也有hadoop-mapreduce-client-core、hadoop-mapreduce-client-common等jar，确认他们的版本是否相同，如果不同，会有这个问题； 解决：将tez低版本的jar替换成2.7
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. ORC split
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
11-21 2760
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. ORC split
Hive On Spark报错：Remote Spark Driver - HiveServer2 connection has been closed
光于前裕于后的博客
01-26 4306
执行报错日志为： Failed to monitor Job[-1] with exception ‘java.lang.IllegalStateException(Connection to remote Spark driver was lost)’ Last known state = SENT FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Unable to se
解决Hudi编译失败：手动安装缺失的maven jar包方法
hudi编译失败问题涉及到maven在构建项目过程中无法自动下载所需的jar包，导致编译无法继续进行。在本例中，无法下载的jar包包括pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar, kafka-schema-registry-client-5.3.4...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值