spark
csdn·南华
这个作者很懒,什么都没留下…
展开
-
elasticsearch-hadoop异常:Incompatible types found in multi-mapping解决
elasticsearch-hadoop从不同index导入数据的时候,如果有相同字段的类型不一致,会报这个错误,说明类型冲突。原因是,spark会先从es中拿出所有index的映射,构建一个映射的Map,构建好映射才会去真实的取出数据。构建映射时当有不同类型的时候,会抛出异常。解决办法:如果这个字段后续用不到字段,就把这段注释掉。前提是保证自己需要的字段的索引都一致。注释这段后,可以重新打包工程...原创 2018-05-17 17:58:26 · 1416 阅读 · 0 评论 -
Spark standalone模式 Exception:java.io.IOException: No space left on device
早上打开服务器,程序报的这个异常,一开始以为是sparksql解析问题,后来发现原因为最下方的没有存储空间了。df -m 或 df -h 空间不足。通过du -sh *查看当前文件夹所占空间。然后发现spark standalone模式时,work下的日志太多,然后配置work自动清理模式。参考:https://blog.csdn.net/u010820702/article/details/7...原创 2018-05-18 11:25:55 · 1839 阅读 · 0 评论 -
spark+es踩坑:java.lang.NoSuchMethodError: io.netty.bootstrap.Bootstrap.config()
java.lang.NoSuchMethodError: io.netty.bootstrap.Bootstrap.config()Lio/netty/bootstrap/BootstrapConfig错误原因是,spark和es引用了io.netty的包的不同版本。在依赖树里把spark的低版本的去掉就行了。 但在spark的集群环境还会报错 java.lang.Abstract...原创 2018-12-04 17:22:29 · 3425 阅读 · 3 评论