- 博客(6)
- 收藏
- 关注
RSS订阅原创 DataX的transformer过滤字段中换行符的通用方法
"transformer": [{"name": "dx_groovy","parameter": {"code": "for(int i=0;i<record.getColumnNumber();i++){if(record.getColumn(i).getByteSize()!=0){Column column = record.getColumn(i...
2021-09-08 11:46:39
1892
原创 spark+es踩坑：java.lang.NoSuchMethodError: io.netty.bootstrap.Bootstrap.config()
java.lang.NoSuchMethodError: io.netty.bootstrap.Bootstrap.config()Lio/netty/bootstrap/BootstrapConfig错误原因是，spark和es引用了io.netty的包的不同版本。在依赖树里把spark的低版本的去掉就行了。 但在spark的集群环境还会报错 java.lang.Abstract...
2018-12-04 17:22:29
3449
3
原创 Spark standalone模式 Exception：java.io.IOException: No space left on device
早上打开服务器，程序报的这个异常，一开始以为是sparksql解析问题，后来发现原因为最下方的没有存储空间了。df -m 或 df -h 空间不足。通过du -sh *查看当前文件夹所占空间。然后发现spark standalone模式时，work下的日志太多，然后配置work自动清理模式。参考：https://blog.csdn.net/u010820702/article/details/7...
2018-05-18 11:25:55
1858
原创 elasticsearch-hadoop异常：Incompatible types found in multi-mapping解决
elasticsearch-hadoop从不同index导入数据的时候，如果有相同字段的类型不一致，会报这个错误，说明类型冲突。原因是，spark会先从es中拿出所有index的映射，构建一个映射的Map，构建好映射才会去真实的取出数据。构建映射时当有不同类型的时候，会抛出异常。解决办法：如果这个字段后续用不到字段，就把这段注释掉。前提是保证自己需要的字段的索引都一致。注释这段后，可以重新打包工程...
2018-05-17 17:58:26
1441
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人