hadoop分布式安装

集群部署规划

配置 hadoop-env.sh 

export JAVA_HOME=/usr/local/java/jdk1.8.0_161

配置 core-site.xml

<configuration>
<!-- 指定HDFS中NameNode的地址 --> 
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop102:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
  </property>
</configuration>

配置 hdfs-site.xml 

<configuration>
  <property>
      <name>dfs.replication</name>
      <value>3</value>
  </property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:50090</value>   
</property>
</configuration>

配置 yarn-env.sh 

export JAVA_HOME=/usr/local/java/jdk1.8.0_161

配置 yarn-site.xml 

<!-- Reducer获取数据的方式 --> 
<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property>
 <!-- 指定YARN的ResourceManager的地址 --> 
<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value>hadoop103</value> 
</property> 

配置 mapred-site.xml 

 cp mapred-site.xml.template mapred-site.xml 

vi mapred-site.xml 

在该文件中增加如下配置

<!-- 指定MR运行在Yarn上 --> 
<property> 
    <name>mapreduce.framework.name</name> 
    <value>yarn</value> 
</property> 

在集群上分发配置好的 Hadoop 配置文件

xsync /opt/module/hadoop-2.7.2/

然后删除之前运行过的记录：

rm -rf data/ logs/

集群单点启动

第一次，格式化 NameNode  在102上：

bin/hdfs namenode -format

启动在namenode 102上：

sbin/hadoop-daemon.sh start namenode 

 

在102，103，104上启动datanode:

sbin/hadoop-daemon.sh start datanode

 

 

hadoop 退出：

hadoop-daemon.sh stop datanode
hadoop-daemon.sh stop namenode