- 博客(5)
- 收藏
- 关注
RSS订阅原创 MapReduce怎样处理内容为空的文件
今天测试项目功能，本想在MapReduce程序中加个判断，如果输入文件内容为空，直接退出不再执行，以节省时间和资源。但在调试过程中，发现打断点无效，程序直接执行完毕，也有日志输出。换成内容不为空的输入文件，断点启作用。 对比两种情况下的日志，发现前者输出内容较少。于是得出以下结论：MapReduce会自动判断输入文件是否为空，如为空，不执行代码，可以输出文件，但也是空的。 ...
2018-10-08 16:35:31
1792
原创 Hive2.3.3 不等于运算解决方案
Hive都2.0时代了，但好像在联表查询时对!=或者<>支持的不是很好。 昨天进行联表查询时，利用两个表的userid进行等值关联，查询结果正确，hql如下： select t1.* from subscribe_log_info t1,t_news_fan_analysis_day t2 where t1.userid = t2.userid； 但使用不等于运算符（!=和<&...
2018-09-18 11:18:32
1115
原创 Hive 2.3.3 是默认支持insert overwrite、insert into的，不需要修改配置文件
今天在Hive中进行联表查询： select t1.* from cleaned_subscribe_log_info_bak t1,t_news_fan_analysis_day t2 where t1.userid = t2.userid;查询结果正常； 但使用&amp;lt;&amp;gt;（或！=）进行反向查询，结果有大量的重复数据： select t1.* from cleaned_sub...
2018-09-17 17:20:29
1081
原创 Hadoop 2.7.4 + Zookeeper 3.4.12 HA主备自动切换小结
今天在生产环境搭建Hadoop 2.7.4 + Zookeeper HA集群，无意中发现以下规律，以后使用过程中得注意： 192.168.1.160、192.168.1.161两个机器上部署namenode节点，160上面是Active状态，161是Standby状态。我kill 160上的namenode之后，zookeeper将161上的namenode切换为Active状态。重启集群，发现...
2018-08-29 17:57:29
318
原创 解决org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts
解决org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts [localhost]. Did you specify a valid list of nimbus hosts for config nimbus.seeds?报错 今天同事通过eclipse...
2018-08-27 17:35:02
3151
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人