集群部署规划
配置 hadoop-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
配置 core-site.xml
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
</configuration>
配置 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:50090</value>
</property>
</configuration>
配置 yarn-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
配置 yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
配置 mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在该文件中增加如下配置
<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
在集群上分发配置好的 Hadoop 配置文件
xsync /opt/module/hadoop-2.7.2/
然后删除之前运行过的记录:
rm -rf data/ logs/
集群单点启动
第一次,格式化 NameNode 在102上:
bin/hdfs namenode -format
启动在namenode 102上:
sbin/hadoop-daemon.sh start namenode
在102,103,104上启动datanode:
sbin/hadoop-daemon.sh start datanode
hadoop 退出:
hadoop-daemon.sh stop datanode
hadoop-daemon.sh stop namenode