关于spark-shell 程序执行中 net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V 问题

最新推荐文章于 2024-05-21 21:41:07 发布
最新推荐文章于 2024-05-21 21:41:07 发布
阅读量1.1k 收藏 1
点赞数 2
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhc74110/article/details/104780630
版权

今天在用spark-shell测试的时候，发现报了这个错误，怎么也没想明白是什么原因。

可能是spark默认使用的压缩方式是lz4的，但是jar包又不缺，所以没有弄懂，后续弄懂了再来修改博客

 

目前的解决方案：

将压缩方式改成snappy，这样就不报错了，暂时能用

./spark-shell --master local[2] --conf spark.io.compression.codec=snappy

 

Piggy-George
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
log-aggregated-2021-07-28-080657.ips
07-28
log-aggregated-2021-07-28-080657.ips
slf4j-1.7.rar
09-11
1.如果运行程序出现错误：“Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/LoggerFactory”，这是因为项目缺少slf4j-api.jar和slf4j-log4j12.jar这两个jar包导致的错误。 2.如果运行程序出现错误：“java.lang.NoClassDefFoundError: org/apache/log4j/LogManager”，这是因为项目缺少log4j.jar这个jar包 3.错误：“Exception in thread "main" java.lang.NoSuchMethodError: org.slf4j.MDC.getCopyOfContextMap()Ljava/util/Map”，这是因为jar包版本冲突造成的。
spark升级——java.lang.NoSuchMethodError问题分析
wuhuimin900的博客
09-29 5945
Trouble shooting with java.lang.NoSuchMethodError Issue 背景 spark2.3引入了一些实用的新特性，如orc read/write optimization, bucket join with SQL, Continuous Processing等，由于业务需要使用部分新特性故筹备升级。将现网正在使用的spark版本上已经在的patch合并...
java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream
我爱大数据
06-15 1041
  我们在用SparkStreaming运行流式数据代码的时候可能会遇到jar包冲突的问题如下：   这个报错是由于jar包冲突导致的，只需要如下操作：   屏蔽掉kafka lz4版本即可，或者更换kafka版本
运行SparkStreaming 示例代码报错：Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream
weixin_30118267的博客
06-14 534
1、问题描述： 运行官网文档中Spark Streaming 读取socket流 实例代码报错： 环境为kafka 0.9 + Spark 2.4 Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V at org.apache.spark.io.LZ4CompressionCodec.compressedInputStrea
java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.＜init＞(Ljava/io/InputStream；Z)V
大数据学习与分享的博客
08-31 2190
1. 现象 在利用Spark和Kafka处理数据时，有时会同时在maven pom中引入Spark和Kafka的相关依赖。但是当利用Spark SQL处理数据生成的DataSet/DataFrame进行collect或者show等操作时，抛出以下异常信息： in stage 3.0 (TID 403, localhost, executor driver): java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init&g
Java Spark代码报错：java.lang.NoSuchMethodError:net.jpountz.lz4.LZ4BlockInputStream
weixin_34268579的博客
12-24 572
2019独角兽企业重金招聘Python工程师标准>>> ...
Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.＜init＞(Ljava/io/InputStr
Knight
12-18 802
Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V
（spark消费kafka有jar包冲突）java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.
zhenzi_PeppaPig的博客
11-24 2247
 Spark 消费kafka时，抛出异常 “java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.&lt;init&gt;(Ljava/io/InputStream;Z)Vat 原因： 应用在执行时对数据解码（反序列化）时，使用了默认的lz4解压缩算法，在spark-core中依赖的lz4版本是1.4，而kafka-...
dubbo-monitor-simple.zip
01-04
dubbo-monitor监控中心，基于alibaba dubbo.jar开发，解决Decode rpc invocation failed: expected map/object at java.lang.String (Ljava/lang/String)、com.alibaba.dubbo.common.URL' could not be instantiated...
hadoop-2.6.0-src NativeIO.java
10-15
出现org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z . 需要下载重新编译的NativeIO.java
org.apache.hadoop.io.nativeio
09-06
必须将此jar包放在org.apache.hadoop.io包下，否则无法正常覆盖使用
spark lz4包冲突
yx_keith的博客
07-15 608
使用spark读取kafka分析的时候，kafka 的startingOffsets如果设置为earliest，就会报错： java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V 使用mvn -Dverbose dependency:tre...
JVM记一次java.lang.NoSuchMethodError问题排查过程
Keep learing, and stay fast
10-08 420
项目场景： 最近在看深入理解JAVA虚拟机，很巧，这两天正好遇到一个相关的问题，记录一下排查过程和问题产生的原因 ，希望帮助到看这篇文章的朋友。NoSuchMethodError问题是由于系统开发补丁引起的 问题描述： 系统日志出现NoSuchMethodError java.lang.NoSuchMethodError: com.star.sms.richclient.businessquery.form.ProductInfoView.getProduct()Lcom/star/sms/..
spark几个错误
weixin_30740581的博客
07-15 195
一、java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V 当要将dataframe进行序列化（df.show()或者df.collect())时，报这个错误。 原因是：maven的pom.xml中含有spark 和 kafka。 1.spar...
spark java 报错_Java Spark代码报错：java.lang.NoSuchMethodError:net.jpountz.lz4.LZ4BlockInputStream...
weixin_42347731的博客
03-01 321
问题描述今天在做项目过程中，在使用java语言创建DataFrame在窗口打印数据，编译时总是报错，通过查阅资料最终问题得到解决。记录如下：开发环境为spark2.3 + kafka0.9.0。编辑软件使用的 IntelliJ IDEA，使用的语言是java语言。在进行ds的输出时出现如下错误：Exception in thread “main” java.lang.NoSuchMethodErr...
kylin 2.3.1提示NoClassDefFoundError: net/jpountz/lz4/LZ4Exception
skyyws的博客
05-15 2451
目前，在使用社区版的kylin-2.3.1版本时，streaming cube在第一步就报错了，通过查看MR的错误日志，发现应该是缺少了lz4相关的包导致的。相关的错误堆栈如下所示： 通过错误日志分析，应该是缺少lz4相关包导致的，我们登陆kylin的部署服务器，查看kafka部署的客户端路径下，发现有lz4相关的包： 因此，猜测是相关的包，在执行MR任务的时候，没有提交到yarn上。...
Spark搭建 Standalone模式详细步骤
最新发布
weixin_52134189的博客
05-21 1074
Spark搭建 Standalone模式详细步骤
scala.util.matching.Regex.<init>(Ljava/lang/String;Lscala/collection/Seq;
07-25
你好！关于你的问题，`scala.util.matching.Regex`的构造函数有两个参数，第一个参数是一个字符串类型的正则表达式用于匹配文本，第个参数是...这个构造函数用于创建一个`Regex`的实例，可以用于在文本中执行匹配操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值