国内最全最详细的hadoop2.2.0集群的MapReduce的最简单配置

转自：http://www.cnblogs.com/meiyuanbao/p/3534376.html

简介

 

hadoop2的中的MapReduce不再是hadoop1中的结构已经没有了JobTracker，而是分解成ResourceManager和ApplicationMaster。这次大变革被称为MRv2或者YARN，是一次革命性的变化。

 

配置

 

在前面的文章中，我们配置了hadoop2集群的HA高可靠，下面紧接上前面的配置，设置MapReduce的配置信息，也是最简单最容易上手的。

 

修改文件yarn-site.xml，内容如下

<configuration> 
  <property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value>hadoop100</value> 
  </property>   

  <property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
  </property> 
</configuration>

其中，名称yarn.resourcemanager.hostname指的是运行ResourceManager机器所在的节点位置；名称yarn.nodemanager.aux-services在hadoop2.2.0版本中是mapreduce_shuffle，一定要看清楚。

 

修改mapred-site.xml，内容如下

<configuration> 
<property> 
  <name>mapreduce.framework.name</name> 
  <value>yarn</value> 
</property> 
</configuration>

其中，名称mapreduce.framework.name指的是使用yarn运行mapreduce程序。

 

启动了HDFS之后，就可以启动yarn了。执行命令start-yarn.sh即可启动MapReduce集群。