hive
文章平均质量分 53
zxl333
这个作者很懒,什么都没留下…
展开
-
hive3的join数据错误
我们生产使用的hive3.1.2版本,hadoop也是3版本,用户通过使用hive发现join数据错误。分析SQL发现,当3表(含3表)以上,hive join出来的数据是错误。后来我通过测试发现,不管是left join、inner join还是right join,数据都会出现错误,通过后来的其他测试发现,两个表使用in和exists作为条件查询,出来的数据也是错误的。这是hive3的一个重大bug,使用hive3的小心了。 这个bug纠缠了我好久,后来定位出来hive...原创 2022-03-02 14:34:46 · 2911 阅读 · 3 评论 -
hive使用exists时把join条件放在where条件里,导致第三个join开始的条件都丢失
测试模拟数据准备: test_table1 cust_no,name 60001,lisa 60002,tina 60003,kylin 60004,jeny 60005,john 60006,jamse test_table2 cust_no,acct_type 60001,1 60001,1 60001,2 60002,1 60003,2 60003,3 test_table3 cust...原创 2019-04-16 14:40:36 · 807 阅读 · 0 评论 -
大数据遇到的坑
春去秋来,转眼一年又快过去了,这大半年遇到的坑再不记录就忘记了。公司hadoop集群从年初的200台多点到现在的700+,用户越来越多,遇到的坑就越来越多,大坑必须做好熬夜的准备,还好每一次加班都填平了坑。 1、hive丢数据了 最近周五将要下班的时候接到同事的电话说一个作业丢数据了将近200万,顿时隐隐感觉不妙,立马投入查看作业日志的进程中。分析作业日志发现临时...原创 2019-09-21 16:20:40 · 2775 阅读 · 2 评论