Hadoop 分布式集群构建(五)

hadoop 安装

1.上传 hadoop 安装包
2.解压 hadoop

[hadoop @master apps]$ tar -zxvf hadoop-2.8.3.tar.gz 

改名:

[hadoop @master apps]$ mv hadoop-2.8.3 hadoop

[hadoop @master apps]$ ls
hadoop hadoop-2.8.3.tar.gz java jdk-8u121-linux-x64.tar.gz

3.配置 hadoop 环境变量

[hadoop @master apps]$sudo vim /etc/profile

在原来配置的 java 下面加上

export HADOOP_HOME=/opt/apps/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4.刷新配置

[hadoop @master apps]$ source /etc/profile

5.测试

[hadoop @master apps]$ hadoop version
Hadoop 2.8.3
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 
b3fe56402d908019d99af1f1f4fc65cb1d1436a2
Compiled by jdu on 2017-12-05T03:43Z
Compiled with protoc 2.5.0
From source with checksum 9ff4856d824e983fa510d3f843e3f19d
This command was run using 
/home/hd/apps/hadoop/share/hadoop/common/hadoop-common-2.8.3.jar

6.修改$HADOOP_HOME/etc/hadoop 的配置文件

cd /opt/apps/hadoop/etc/hadoop

修改配置 hadoop 的 7 个文件
第一个：hadoop-env.sh

vim hadoop-env.sh

#找到 JAVA_HOME 并修改

export JAVA_HOME=/opt/apps/java

第二个：core-site.xml

<!-- 指定 HADOOP 所使用的文件系统 schema（URI），HDFS 的老大
（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

<!-- 指定 hadoop 运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/apps/hadoop/tmpdata</value>
 </property>

第三个：hdfs-site.xml

<!-- 指定 HDFS 副本的数量 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 设置 namenode 的 http 通讯地址 -->
<property>
<name>dfs.namenode.http-address</name>
<value>master:50070</value>
</property>
<!-- 设置 secondarynamenode 的 http 通讯地址 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<!-- 设置 namenode 存放的路径 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/apps/hadoop/namenode</value>
</property>
 
<!-- 设置 datanode 存放的路径 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/apps/hadoop/datanode</value>
</property>

第四个：mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

第五个：yarn-site.xml

<!-- 指定 YARN 的老大（ResourceManager）的地址 --> <property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<!-- reducer 获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

第六个文件：slaves

[hadoop @master hadoop]$ vim slaves 
master
slave01
slave02

第七个文件：yarn-env.sh

[hadoop@master hadoop]$ vim yarn-env.sh 
export JAVA_HOME=/opt/apps/java

7.格式化 namenode（是对 namenode 进行初始化）
NameNode 格式化 hdfs namenode -format 或者 hadoop namenode -format
DataNode 格式化 hdfs datanode -format 或者 hadoop datanode -format
8.拷贝 hadoop 到节点的服务器

[hadoop @master apps]$ scp -r hadoop hadoop@slave01:/opt/apps/
[hadoop @master apps]$ scp -r hadoop hadoop@slave02:/opt/apps/
[hadoop @master apps]$ scp /etc/profile hadoop@slave01:/etc/
[hadoop @master apps]$ scp /etc/profile hadoop@slave02:/etc/

9.启动分布式文件系统

start-dfs.sh 启动分布式文件系统
start-yarn.sh 启动资源管理
stop-dfs.sh 停止分布式文件系统
stop-yarn.sh 停止资源管理

10.jps 查看 hadoop 进程

namenode:
4505 NameNode
5177 ResourceManager
5578 Jps
4699 SecondaryNameNode
datanode:
3702 Jps
3304 DataNode
3704 Jps
3405 NodeManager