zxx199225的博客

在使用union all的时候，系统资源足够的情况下，为了加快hive处理速度，可以设置如下参数实现并发执行 set mapred.job.priority=VERY_HIGH; set hive.exec.parallel=true; 设置map reduce个数 -- 设置map capacity set mapred.job.map.capacity=2000; s

1.Hadoop&Streaming简介         1.1 Hadoop简介                                                 Hadoop MapReduce是一个用于处理海量数据的分布式计算框架，这个框架解决了诸如数据分布式存储，作业调度，容错，机器间通信等复杂问题，可以让没有分布式处理经验的工程师非常简单的写出并行分布式程序。