spark读取elasticsearch数据报scala.collectino.GenTraversableOnce$class错解决办法

最新推荐文章于 2023-03-06 11:11:58 发布

土哥呀

最新推荐文章于 2023-03-06 11:11:58 发布

阅读量1.7k

点赞数

文章标签： spark elasticsearch spark读取elasticsearch数据

本文链接：https://blog.csdn.net/zrh19870914/article/details/82759397

版权

spark读取elasticsearch数据报scala.collectino.GenTraversableOnce$class错解决办法

spark读取elasticsearch数据报scala.collection.GenTraversableOnce$class错解决办法

spark2.3，创建temporary view表关联elasticsearch索引，通过temporary view读取elasticsearch数据时，报如下错误：

java.lang.NoClassDefFoundError:
scala/collection/GenTraversableOnce$class

原因是spark2.0以后，只支持scala的2.11以后的版本，但是这个版本里又没有scala.collection.GenTraversableOnce $c l a s s . c l a s s 这个类, 只有 s c a l a . c o l l e c t i o n . G e n T r a v e r s a b l e O n c e . c l a s s 这个类 (注意两个 c l a s s 不一样) 。而这个 s c a l a . c o l l e c t i o n . G e n T r a v e r s a b l e O n c e$ class.class类，只在scala的2.10版本中有。因此，我们需要下载一个scala的2.10的版本，在jar包中找到scala.collection.GenTraversableOnce $c l a s s . c l a s s 这个类，拼拷贝出来，再使用 w i n r a r 打开 2.11 的版本，把 s c a l a . c o l l e c t i o n . G e n T r a v e r s a b l e O n c e$ class.class加入到2.11的jar包去。上传集群后，重启集群，再试，一切OK、

结论：
scala.collection.GenTraversableOnce $c l a s s . c l a s s 这个类在 2.10 版本 j a r 反编译的源码中，只找到一个类似接口方法的声明，未找到内部类。直接加到到 2.11 版本的 s c a l a 版本 j a r 中，系统就正常了，因此怀疑这个 s c a l a . c o l l e c t i o n . G e n T r a v e r s a b l e O n c e$ class.class特殊的类，可能只是spark2.1.3版本中哪里有引用，并未使用。因此，加进去后可以正常运行。

有疑问，可加QQ群讨论：258143901

土哥呀

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
spark读取elasticsearch数据报scala.collectino.GenTraversableOnce$class错解决办法

spark读取elasticsearch数据报scala.collectino.GenTraversableOnce$class错解决办法spark读取elasticsearch数据报scala.collection.GenTraversableOnce$class错解决办法spark2.3，创建temporary view表关联elasticsearch索引，通过temporary view...
复制链接

扫一扫