hadoop 2.4.1集群搭建

最新推荐文章于 2023-12-20 14:09:50 发布

roger666888

最新推荐文章于 2023-12-20 14:09:50 发布

阅读量8.3k

点赞数 1

本文链接：https://blog.csdn.net/zhoujj303030/article/details/38109571

版权

本文详细介绍了如何搭建Hadoop 2.4.1集群，包括启动和停止步骤。启动集群时，需手动启动mr-jobhistory-daemon.sh以运行JobHistoryServer，否则无法查看JobHistory。HDFS界面可供监控。

摘要由CSDN通过智能技术生成

hadoop 2.4.1集群搭建
由于目前使用2.4.1的人很少，所在在这方面的可以参考资料比较少，
但是不管怎么样，以下这个链接帮了我很大的忙。
http://blog.csdn.net/u010967382/article/details/20380387

在搭建的过程中遇到了一些，问题，

1.在把所有机器都安装完ssh之后，启动服务的时候一切正常，但是在使用 http://master:50070/ 的时候发现少了一台datanode，而且查看所有的datanode的jps的时候都是正常显示：“NodeManager","DataNode",觉得很奇怪，最后发现IT给我的集群的时候有一台datanode机器的防火墙没有关闭，而且每次关闭集群的时候z在关闭那台不显示的datanode的时候都会出一个错误. "nodemanager did not stop gracefully after 5 seconds: killing with kill -9".找了好久，没找到相关的资料。后来自己想想，其他datanode所有配置都一样，为什么会有这问题，弄了一个晚上没有弄好，早上起来想了一些，应该是网络的问题，到公司一看，果然是防火墙的问题，
service iptables stop,果断好了，不过需要更改启动配置，以免集群重启以后失效。

2.在hadoop 2.4.1里面启动jps的时候其实已经没有jobTrack和taskTrack这个两个服务了，换成了JobHistoryServer ，这个不需要去纠结。

第一步：

以下是配置：
core-size.xml

<configuration>
  <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://n1.hadoop:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration>

mapred-size.xml

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>n1.hadoop:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>n1.hadoop:19888</value>
    </property>
</configuration>

hdfs-size.xml

<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>hadoop-test</value>
    </property>
<property>
 <name>dfs.ha.namenodes.hadoop-test</name>
 <value>n1</value>
 <description>
The prefix for a given nameservice, contains a comma-separated
list of namenodes for a given nameservice (eg EXAMPLENAMESERVICE).
 </description>
</property>
<property>
 <name>dfs.namenode.rpc-address.hadoop-test.n1</name>
 <value>n1.hadoop:8020</value>
 <description>
RPC address for nomenode1 of hadoop-test
 </description>
</property>
<property>
 <name>dfs.namenode.http-address.hadoop-test.n1</name>
 <value>n1.hadoop:50070</value>
 <description>
The address and the base port where the dfs namenode1 web ui will listen on.
 </description>
<