1、安装情况说明
JDK版本:1.8
Hadoop版本:2.7.2
CentOS版本:7.1
主机如下:
171.21.35.5 name1.c4a1 该主机准备作为Namenode
171.21.35.6 data1.c4a2
171.21.35.7 data2.c4a3
171.21.35.8 data3.c4a4
2、配置HOST
vi /etc/hosts
171.21.35.5 name1.c4a1
171.21.35.6 data1.c4a2
171.21.35.7 data2.c4a3
171.21.35.8 data3.c4a4
3、安装JDK
java -version
通过上述命令查看下系统的JDK版本,如果是OpenJDK或者JDK版本少于1.6,则需要重新安装JDK
JDK的安装可以参看:Centos安装JDK1.8
4、SSH免密登录
由于本次选取了171.21.35.5为Namenode,所以需要设置该机器到其他3台机器的SSH免密登录
SSH免密登录可以参看:Centos设置SSH免密登录
5、下载并解压
到apache hadoop网站上下载hadoop2.7.2的安装包,并解压
6、HDFS文件夹创建
创建HDFS文件系统路径
/app/hadoop2.7.2/hdfs/data
/app/hadoop2.7.2/hdfs/name
/app/hadoop2.7.2/hdfs/temp
7、修改hadoop-env.sh
文件路径:/hadoop2.7.2/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/default
修改JAVA_HOME到实际JAVA安装路径,此处最好不要用环境变量,保证JDK版本的一致性
8、修改yarn-env.sh
文件路径:/hadoop2.7.2/etc/hadoop/yarn-env.sh
export JAVA_HOME=/usr/java/default
修改JAVA_HOME到实际JAVA安装路径,此处最好不要用环境变量,保证JDK版本的一致性
9、修改core-site.xml配置文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://name1.c4a1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop2.7.2/hdfs/temp</value>
</property>
10、修改hdfs-site.xml配置文件
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>name1.c4a1:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/app/hadoop2.7.2/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/app/hadoop2.7.2/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.http.address</name>
<value>name1.c4a1:50070</value>
</property>
11、修改mapred-site.xml配置文件
cp mapred-site.xml.template mapred-site.xml
由于没有mapred-site.xml配置文件,需要根据mapred-site.xml.template生成
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>name1.c4a1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>name1.c4a1:19888</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>name1.c4a1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>name1.c4a1:8088</value>
</property>
13、修改slaves
data1.c4a2
data2.c4a3
data3.c4a4
清空里面所有内容,再设置datanode,每行一个
14、复制分发
scp -r hadoop2.7.2 root@171.21.35.6:/app/hadoop2.7.2
scp -r hadoop2.7.2 root@171.21.35.7:/app/hadoop2.7.2
scp -r hadoop2.7.2 root@171.21.35.8:/app/hadoop2.7.2
15、格式化
/hadoop2.7.2/bin/hdfs namenode -format
格式化namenode
16/08/04 14:34:11 INFO util.ExitUtil: Exiting with status 0
出现status 0则为格式化成功
16、启动hadoop
/hadoop2.7.2/sbin/start-all.sh
该脚本会启动hdfs、yarn服务
17、检查结果
/hadoop2.7.2/bin/hadoop dfsadmin -report
通过生成dfs报告查看是否启动成功
-------------------------------------------------
Live datanodes(3)
有3个活动的datanode,hadoop安装成功
通过http://localhost:50070,进入hdfs管理控制台也可以查看是否安装成功。