Hive-0.9 升级 Hive-0.12后结合HBase统计遇到的BUG处理

最新推荐文章于 2021-08-07 12:47:58 发布

zyqjustin1024

最新推荐文章于 2021-08-07 12:47:58 发布

阅读量1k

点赞数

分类专栏： Hive

本文链接：https://blog.csdn.net/zyqjustin1024/article/details/14518065

版权

在将Hive从0.9升级到0.12后，遇到了包括空指针异常、Map重复读取HBase和并发任务数据混读的问题。针对这些问题，进行了详细的分析和解决。对于空指针异常，通过Apache Hive的官方wiki找到解决方案。Map重复读取Hbase的情况，发现每个map的startRow和endRow相同，导致数据重复扫描。通过修改HiveHBaseTableInputFormat.java解决了此问题。最后，为了解决并发任务数据混读，发现HiveHBaseTableInputFormat是一个单例，不同任务的conf不同，因此创建新的实现类避免该问题。

摘要由CSDN通过智能技术生成

1. 空指针异常

问题分析：最初以为是配置文件中缺损了某个值，然后用vimdiff比对了hive0.9和hive0.12之间的配置差异，在排除了配置文件出错的可能性后，下载了源码来看

问题解决：主要还是按照这个wiki上的来解决https://issues.apache.org/jira/browse/HIVE-5515

2. Map重复读Hbase

这个问题其实由来已久，其实我看到最早在hive0.9就已经有了，太坑爹了！

问题分析：修改源码打成新jar包后，通过tasklog可以发现，每个map的startRow和endRow竟然是一样的，Hbase的数据被重复scan，直接会造成reduce的最终结果是真实值的map倍，故猜测BUG应该是 map切片Hbase的时候出错了

问题解决：在HiveHBaseTableInputFormat.java中getRecordReader方法里注释掉

//      tableSplit = convertFilter(jobConf, scan, tableSplit, iKey,
//        getStorageFormatOfKey(columnsMapping.get(iKey).mappingSpec,
//        jobConf.get(HBaseSerDe.HBASE_TABLE_DEFAULT_STORAGE_TYPE, "string")));

然后bulid.xml那边添加