1、简介
Hadoop作为大数据鼻祖，后续衍生出 spark、flink等大数据框架都是在此基础上进行优化和创新，因此虽然目前Hadoop逐渐在大数据领域淡出视野，但是要想更深入掌握其他大数据组件，学习Hadoop还是必要的。
2、jdk&Hadoop下载
2.1、jdk下载安装
本次集群搭建使用jdk8进行搭建，下载地址为：Java™ SE Development Kit 8, Update 301 Release Notes
2.2、Hadoop下载安装
Hadoop目前最新版本为 3.4.0，本文使用3.2.4版本进行搭建，下载地址为：Index of /dist/hadoop/core/hadoop-3.4.0
3、集群规划
本次使用完全分布式部署，使用VMWare搭建三台虚拟机，集群部署规划如下：
| 机器ip | 主机名 |
| 192.168.0.66 | node-1 |
| 192.168.0.67 | node-2 |
| 192.168.0.68 | node-3 |
Hadoop集群规划：
| 组件名 | node-1 | node-2 | node-3 |
| HDFS | NameNode DataNode | DataNode | SecondaryNameNode DataNode |
| YARN | NodeManager | ResourceManager NodeManager | NodeManager |
3.1、创建虚拟机集群
3.1.1、创建虚拟机修改网络（其他节点只用修改ip即可）
vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static" # 注意这个要是static
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="1b5d9f8e-0e82-452c-bd41-d41ea4de929e"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.0.66 # 修改为指定的ip
GATEWAY=192.168.0.2 # 修改为指定的网关
NETMASK=255.255.255.0
DNS1=192.168.0.2 # 修改为指定的dns
修改完成之后重启网络
systemctl restart network3.1.2、修改主机名
vim /etc/hostname
node-1 # 其他节点为 node-2、node-33.1.3、修改hosts文件
vim /etc/hosts
192.168.0.66 node-1
192.168.0.67 node-2
192.168.0.68 node-3注：完成以上几个步骤，就可以将虚拟机关闭克隆出另外两台，另外两台只用修改ip和主机名即可。
3.1.4、集群免密登录
每个节点都需要进行以下几个步骤，在这个过程中需要输入密码。
# 1、生成key
ssh-keygen -t rsa
# 2、将生成的key拷贝到其他节点
ssh-copy-id node-1
ssh-copy-id node-2
ssh-copy-id node-34、安装jdk和Hadoop
4.1、安装
# 1、安装jdk，将下载jdk包上传到指定路径并解压
tar -zxvf jdk8-*.tar.gz
# 2、安装Hadoop 将下载Hadoop包上传到指定路径并解压
tar -zxvf hadoop-*.tar.gz
# 3、将包传递到其他节点（使用scp 命令，示例如下）
scp -r jdk8 node-2:/opt/
scp -r hadoop node-2:/opt/注：解压后用户和用户组可能不是指定的用户和用户组，需要变更。
chown root:root -R 解压文件夹4.2、配置环境变量
# 1、配置环境变量
vim /etc/profile.d/my_env.sh
export JAVA_HOME=/opt/jdk8
export HADOOP_HOME=/opt/hadoop/hadoop-3.2.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
# 2、激活环境变量
source /etc/profile
# 3、验证
java -version
hadoop version4.3、分发配置环境变量文件
# 1、发送配置环境变量文件
scp /etc/profile.d/my_env.sh node-2:/etc/profile.d/my_env.sh
scp /etc/profile.d/my_env.sh node-3:/etc/profile.d/my_env.sh
# 2、激活环境变量（每个节点）
source /etc/profile4.4、Hadoop集群配置
配置文件在 $HADOOP_HOME/etc/hadoop 目录下。
4.4.1、core-site.xml
<configuration>
<!-- 指定NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node-1:8020</value>
</property>
<!-- 指定hadoop数据的存储目录，提前创建好 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoop-3.2.4/data</value>
</property>
<!-- 配置HDFS网页登录使用的静态用户为test-->
<property>
<name>hadoop.http.staticuser.user</name>
<value>test</value>
</property>
</configuration>
4.4.2、hdfs-site.xml
<configuration>
<!-- nn web端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>node-1:9870</value>
</property>
<!-- 2nn web端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node-3:9868</value>
</property>
</configuration>
4.4.3、yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 指定MR走shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node-2</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://node-1:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
4.4.4、mapred-site.xml
<configuration>
<!-- 指定MapReduce程序运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>node-1:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node-1:19888</value>
</property>
</configuration>5、初始化以及启动
5.1、hdfs初始化
hdfs namenode -format如果集群是第一次启动，需要在指定为namenode节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）
5.2、启动/停止操作
Hadoop配置完之后，只需要启动三个脚本即可，启动脚本在 $HADOOP_HOME/sbin 目录下。
5.2.1、全局变量配置
配置 /etc/profile，在 /etc/profile 文件后面添加下面内容，指定运行用户名（每个节点都要配置）。
HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
export HDFS_NAMENODE_USER HDFS_DATANODE_USER HDFS_SECONDARYNAMENODE_USER YARN_RESOURCEMANAGER_USER YARN_NODEMANAGER_USER注：配置完成后要进行 source /etc/profile。
5.2.2、启动/停止
# 1、启动/停止hdfs（在namenode节点）
cd $HADOOP_HOME/sbin
./start-dfs.sh
./stop-dfs.sh
# 2、启动/停止yarn，在配置了ResourceManager的节点（node-2）启动/停止yarn
cd $HADOOP_HOME/sbin
./start-yarn.sh
./stop-yarn.sh
# 3、启动/停止历史节点（在配置历史服务节点操作）
mapred --daemon start/stop historyserverhdfs和yarn单个节点启动、停止按照节点类型进行操作，例如：
hdfs --daemon start/stop namenode/datanode/secondarynamenode
yarn --daemon start/stop resourcemanager/nodemanager6、集群启动脚本
6.1、Hadoop集群启动脚本
编辑一个启动脚本 start_hadoop 启动整个集群。
# 1、vim /usr/local/bin/start_hadoop
#!/bin/bash
if [ $# -lt 1 ]
then
echo "please input [start | stop]"
exit ;
fi
case $1 in
"start")
echo " =================== 启动 hadoop集群 ==================="
echo " --------------- 启动 hdfs ---------------"
ssh node-1 "/opt/hadoop/hadoop-3.2.4/sbin/start-dfs.sh"
echo " --------------- 启动 yarn ---------------"
ssh node-2 "/opt/hadoop/hadoop-3.2.4/sbin/start-yarn.sh"
echo " --------------- 启动 historyserver ---------------"
ssh node-1 "/opt/hadoop/hadoop-3.2.4/bin/mapred --daemon start historyserver"
;;
"stop")
echo " =================== 关闭 hadoop集群 ==================="
echo " --------------- 关闭 historyserver ---------------"
ssh node-1 "/opt/hadoop/hadoop-3.2.4/bin/mapred --daemon stop historyserver"
echo " --------------- 关闭 yarn ---------------"
ssh node-2 "/opt/hadoop/hadoop-3.2.4/sbin/stop-yarn.sh"
echo " --------------- 关闭 hdfs ---------------"
ssh node-1 "/opt/hadoop/hadoop-3.2.4/sbin/stop-dfs.sh"
;;
*)
echo "please input [start or stop]"
;;
esac
# 2、添加执行权限
chmod +x /usr/local/bin/start_hadoop注：使用脚本启动读取不到环境变量，会报错，还需要配置 ~/.bashrc，添加以下内容（不生效记得source）：
HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
export HDFS_NAMENODE_USER HDFS_DATANODE_USER HDFS_SECONDARYNAMENODE_USER YARN_RESOURCEMANAGER_USER YARN_NODEMANAGER_USER
6.2、集群文件增量分发脚本
当一个节点修改文件后其他节点要进行同步增量的修改内容，可以将修改同步到集群每一个节点。
# vim /usr/local/bin/sync_file
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo "请添加待同步文件!"
exit;
fi
#2. 遍历集群所有机器
for host in node-1 node-2 node-3
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done
# 添加执行权限
chmod +x /usr/local/bin/sync_file6.3、查看集群中各个节点java相关进程，使用jps命令
# vim /usr/local/bin/jpsall
#!/bin/bash
for host in node-1 node-2 node-3
do
echo =============== $host ===============
ssh $host jps
done
# 添加执行权限
chmod +x /usr/local/bin/jpsall7、总结
按照本文教程步骤，就可以搭建一个三个节点的Hadoop集群，更多关于Hadoop相关技术分享，将在后续的博客中。
2014
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
