本文详细介绍了如何在三台虚拟机上搭建Hadoop集群，包括环境准备、JDK和Hadoop的安装、配置文件编辑、集群分发脚本编写、SSH免密登录配置、集群启动与管理、历史服务器和日志聚集配置。此外，还涵盖了常见的错误及解决方案，如防火墙设置、主机名和IP配置、时间同步等。
Hadoop集群部署
一、环境准备
（0）需要准备三台虚拟机，名称为Hadoop（102，103，104），ip地址为192.168.10.（102、103、104）。
（1）关闭虚拟机防火墙
[root@hadoop100 ~]# systemctl stop firewalld (关闭防火墙)
[root@hadoop100 ~]# systemctl disable firewalld.service （关闭防火墙开机自启）
注意：可以用 systemctl status firewalld 命令查看防火墙状态
（2）设置虚拟机ip
- 在VMware中设置如下内容
- 在windows中做如下设置
右键属性
点击属性配置如下
3. 虚拟机配置
将虚拟机ip改为静态ip
[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
（3）修改克隆机主机名并配置 Linux 克隆机主机名称映射 hosts 文件
[root@hadoop100 ~]# vim /etc/hostname
改为
hadoop102
[root@hadoop100 ~]# vim /etc/hosts
添加
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
（4）在/opt/目录下创建software和module两个目录，并且已经把这两个目录修改为 zx:zx
[root@hadoop100 ~]# mkdir /opt/module #安装软件所用目录
[root@hadoop100 ~]# mkdir /opt/software #存放软件所用目录
[root@hadoop100 ~]# sudo chown atguigu:atguigu -R /opt/module
（5）卸载现有 JDK
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e
--nodeps
➢ rpm -qa：查询所安装的所有 rpm 软件包
➢ grep -i：忽略大小写
➢ xargs -n1：表示每次只传递一个参数
➢ rpm -e –nodeps：强制卸载软件
（6）重启虚拟机
[root@hadoop100 ~]# reboot
(7) 克隆虚拟机haoop103,hadoop104
更改vim /etc/sysconfig/network-scripts/ifcfg-ens33中的ip地址，并更改主机名，然后重启
4. 创建 atguigu 用户，并修改 zx 用户的密码
[root@hadoop100 ~]# useradd zx
[root@hadoop100 ~]# passwd 111111
- 配置 zx 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令
[root@hadoop100 ~]# vim /etc/sudoers
修改/etc/sudoers 文件，在%wheel 这行下面添加一行，如下所示：
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
二、在hadoop102中安装jdk
（1）版本jdk1.8.0_181
（2）用 XShell 传输工具将 JDK 导入到 opt 目录下面的 software 文件夹下面
（3）解压 JDK 到/opt/module 目录下
[root@hadoop102 software]$ tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/module/
（4）配置 JDK 环境变量
- 在/etc/profile.d/目录下创建my_env.sh
- 在my_env.sh中添加如下内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin
- source 一下/etc/profile 文件，让新的环境变量 PATH 生效
[root@hadoop102 ~]$ source /etc/profile
- 测试 JDK 是否安装成功
[root@hadoop102 ~]$ java -version
如果能看到以下结果，则代表 Java 安装成功。
java version “1.8.0_212”
三、在 hadoop102 安装 Hadoop
安装hadoop
（1）版本hadoop-3.1.3
（2）用 XShell 文件传输工具将 hadoop-3.1.3.tar.gz 导入到 opt 目录下面的 software 文件夹下
面
（3）解压安装文件到/opt/module 下面
[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
（4）将 Hadoop 添加到环境变量
（2）打开/etc/profile.d/my_env.sh 文件
- 在my_env.sh中添加如下内容
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
- source 一下/etc/profile 文件，让新的环境变量 PATH 生效
- 测试是否安装成功
[root@hadoop102 profile.d]# hadoop version
Hadoop 3.1.3
查看 Hadoop 目录结构
[root@hadoop102 hadoop-3.1.3]# ll
总用量 176
drwxr-xr-x. 2 zx zx 183 9月 12 2019 bin
drwxr-xr-x. 3 zx zx 20 9月 12 2019 etc
drwxr-xr-x. 2 zx zx 106 9月 12 2019 include
drwxr-xr-x. 3 zx zx 20 9月 12 2019 lib
drwxr-xr-x. 4 zx zx 288 9月 12 2019 libexec
-rw-rw-r–. 1 zx zx 147145 9月 4 2019 LICENSE.txt
-rw-rw-r–. 1 zx zx 21867 9月 4 2019 NOTICE.txt
-rw-rw-r–. 1 zx zx 1366 9月 4 2019 README.txt
drwxr-xr-x. 3 zx zx 4096 9月 12 2019 sbin
drwxr-xr-x. 4 zx zx 31 9月 12 2019 share
重要目录
（1）bin 目录：存放对 Hadoop 相关服务（hdfs，yarn，mapred）进行操作的脚本
（2）etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件
（3）lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）
（4）sbin 目录：存放启动或停止 Hadoop 相关服务的脚本
（5）share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例
四、编写集群分发脚本
1. scp（secure copy）安全拷贝
（1）scp 定义
scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
（2）基本语法
scp -r $pdir/$fname $user@$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称
（3）案例实操
➢ 前提：在 hadoop102、hadoop103、hadoop104 都已经创建好的/opt/module、
/opt/software 两个目录，并且已经把这两个目录修改为 zx:zx
[zx@hadoop102 module]$ sudo chown zx:zx -R /opt/module
（a）在 hadoop102 上，将 hadoop102 中/opt/module/jdk1.8.0_212 目录拷贝到
hadoop103 上。
[zx@hadoop102 module]$ scp -r /opt/module/jdk1.8.0_212/ zx@hadoop103:/opt/module
（b）在 hadoop103 上，将 hadoop102 中/opt/module/hadoop-3.1.3 目录拷贝到
hadoop103 上。
[zx@hadoop103 ~]$ scp -r zx@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/
（c）在 hadoop103 上操作，将 hadoop102 中/opt/module 目录下所有目录拷贝到
hadoop104 上。
[zx@hadoop103 opt]$ scp -r zx@hadoop102:/opt/module/* zx@hadoop104:/opt/module
2.rsync远程同步工具
rsync主要用于备份和镜像。具有速度快，避免复制相同内容和支持度符号链接的优点。
rsync和scp的区别：rsync比scp快，rsync只对差异文件做更新。scp是把全部文件都复制过去。
（1）基本预付
rsync -av $pdir/$fname $user@host:$pdir/$fname
命令 选项参数 要拷贝的文件路径/名称 目的用户@主机：目的地路径、名称
选项参数说明
| 选项 | 说明 |
|---|---|
| -a | 归档拷贝 |
| -v | 显示复制过程 |
| （2）案例实操 | |
| （a）删除hadoop103中/opt/module/hadoop-3.1.1/wcinput |
[zx@hadoop103 hadoop-3.1.1] rm -rf wcinput
（b）同步hadoop102中的/opt/module/hadoop-3.1.1 到hadoop103
[zx@hadoop102 module]$ rsync -av hadoop-3.1.3/ zx@hadoop103:/opt/module/hadoop-3.1.3/
3.xsync集群分发脚本
（1）需求：循环复制文件到所有节点的相同目录下
（2）需求分析：
（a）rsync命令原数靠背：
rsync -av /opt/module zx@hadoop103:opt
（b）期望同步脚本：
rsync要同步的文件名称
（c）期望脚本在任何路径都能使用（脚本放在声明了全局变量的路径）
[zx@hadoop102 ~]$ echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/module/jdk1.8.0_181/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin:/root/bin:/opt/module/jdk1.8.0_181/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin
（3）脚本实现
（a）在/home/atguigu/bin 目录下创建 xsync 文件
[zx@hadoop102 opt]$ cd /home/atguigu
[zx@hadoop102 ~]$ mkdir bin
[zx@hadoop102 ~]$ cd bin
[zx@hadoop102 bin]$ vim xsync
在该文件中编写如下代码
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done
（b）修改脚本 xsync 具有执行权限
[zx@hadoop102 bin]$ chmod +x xsync
（c）测试脚本
[zx@hadoop102 ~]$ xsync /home/atguigu/bin
（d）将脚本复制到/bin 中，以便全局调用
[zx@hadoop102 bin]$ sudo cp xsync /bin/
（e）同步环境变量配置（root 所有者）
[zx@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh
注意：如果用了 sudo，那么 xsync 一定要给它的路径补全（绝对路径）。
让环境变量生效
[zx@hadoop103 bin]$ source /etc/profile
[zx@hadoop104 opt]$ source /etc/profile
五、ssh免密登录
1.配置ssh
（1）基本语法
ssh另外一台电脑的ip地址
（2）ssh链接时出现Host key verification failed 的解决方法
[zx@hadoop102 ~]$ ssh hadoop103
如果出现以下内容
Are you sure you want to continue connecting (yes/no)?
输入yes并回车
（3）退回到hadoop102
[zx@hadoop103 ~]$ exit
2.免密配置
（1）免密登录原理
（2）生成公钥和私钥
[zx@hadoop102 .ssh]$ pwd
/home/atguigu/.ssh
[zx@hadoop102 .ssh]$ ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）
（3）将公钥拷贝到要免密登录的目标机器上
[zx@hadoop102 .ssh]$ ssh-copy-id hadoop102
[zx@hadoop102 .ssh]$ ssh-copy-id hadoop103
[zx@hadoop102 .ssh]$ ssh-copy-id hadoop104
注意： 还需要在 hadoop103 上采用 zx 账号配置一下无密登录到 hadoop102、hadoop103、 hadoop104 服务器上。 还需要在 hadoop104 上采用 zx 账号配置一下无密登录到 hadoop102、hadoop103、 hadoop104 服务器上。 还需要在 hadoop102 上采用 root 账号，配置一下无密登录到 hadoop102、hadoop103、 hadoop104；
（4）.ssh 文件夹下（~/.ssh）的文件功能解释
| 名称 | 解释 |
|---|---|
| known_hosts | 记录ssh访问过计算机的公钥（public ） |
| id_rsa | 生成的私钥 |
| id_rsa.pub | 生成的公钥 |
| authorized_key | 存放授权过的无秘登录服务器公钥 |
六、集群配置
1.集群部署规划
注意：
➢ NameNode 和 SecondaryNameNode 不要安装在同一台服务器
➢ ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在
同一台机器上。
| hadoop102 | hadoop103 | hadoop104 | |
|---|---|---|---|
| HDFS | NameNode,DataNode | DataNode | SecondaryName,DataNode |
| YARN | NodeManager | ResourceManager,NodeManager | NodeManager |
2.配置文件说明
hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义文件，更改对应属性值。
（1）默认配置文件
| 要获取的默认文件 | 文件存放在hadoop的jar包中的位置 |
|---|---|
| [core-default.xml] | hadoop-common.jar/core-default.xml |
| [hdfs-default.xml] | hadoop-hdfs-default.xml |
| [yarn-default.xml] | hadoop-yarn-common-3.1.3.jar/yarn-default.xml |
| mapred-default.xml] | hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml |
| （2）自定义配置文件 | |
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在 | |
$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。 |
3.配置集群
（1）核心配置文件，配置 core-site.xml。
[zx@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[zx@hadoop102 hadoop]$ vim core-site.xml
#配置内容如下
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>atguigu</value>
</property>
</configuration>
（2）HDFS 配置文件，配置 hdfs-site.xml。
[zx@hadoop102 hadoop]$ vim hdfs-site.xml
#配置内容如下
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- nn web 端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop102:9870</value>
</property>
<!-- 2nn web 端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:9868</value>
</property>
</configuration>
（3）YARN 配置文件，配置 yarn-site.xml。
[zx@hadoop102 hadoop]$ vim yarn-site.xml
#配置内容如下
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MR 走 shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 ResourceManager 的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
（4）MapReduce 配置文件，配置 mapred-site.xml。
[zx@hadoop102 hadoop]$ vim mapred-site.xml
#文件内容如下
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4.在集群上分发配置好的 Hadoop 配置文件
[zx@hadoop102 hadoop]$ xsync /opt/module/hadoop3.1.3/etc/hadoop/
5.去 103 和 104 上查看文件分发情况
[zx@hadoop103 ~]$ cat /opt/module/hadoop3.1.3/etc/hadoop/core-site.xml
[zx@hadoop104 ~]$ cat /opt/module/hadoop3.1.3/etc/hadoop/core-site.xml
七、群起集群
1.配置workers
[zx@hadoop102 hadoop]$ vim /opt/module/hadoop3.1.3/etc/hadoop/workers
#在该文件中增加如下内容：
hadoop102
hadoop103
hadoop104
注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
同步至所有节点配置文件
[zx@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc
2.启动集群
（1）如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意：格式化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式化。）
[zx@hadoop102 hadoop-3.1.3]$ hdfs namenode -format
（2）启动 HDFS
[zx@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
（3）在配置了 ResourceManager 的节点（hadoop103）启动 YARN
[zx@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
注意一定要在配置了ResourceManager 的节点启动yarn
（4）Web 端查看 HDFS 的 NameNode
（a）浏览器中输入：http://hadoop102:9870
（b）查看 HDFS 上存储的数据信息
（5）Web 端查看 YARN 的 ResourceManager
（a）浏览器中输入：http://hadoop103:8088
（b）查看 YARN 上运行的 Job 信息
3.集群基本操作
（1）上传文件到集群
➢ 上传小文件
[zx@hadoop102 ~]$ hadoop fs -mkdir /input
[zx@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
查看文件是否上传
注意如果想要下载或预览文件，需要在windows下的C:\Windows\System32\drivers\etc 目录的hosts文件中配置ip地址映射
➢ 上传大文件
[zx@hadoop102 ~]$ hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /
（2）上传文件后查看文件存放在什么位置
➢ 查看 HDFS 文件存储路径
[zx@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-669986974-192.168.10.102-1646457625693/current/finalized/subdir0/subdir0
➢ 查看 HDFS 在磁盘存储文件内容
[zx@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce
atguigu
atguigu
（3）下载
[zx@hadoop104 software]$ hadoop fs -get /jdk-8u212-linuxx64.tar.gz ./
（4）执行 wordcount 程序
[zx@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput
执行成功
八、配置历史服务器
为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下
1. 配置 mapred-site.xml
[zx@hadoop102 hadoop]$ vim mapred-site.xml
#在该文件里面增加如下配置。
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop102:19888</value>
</property>
2）分发配置
[zx@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
3）在 hadoop102 启动历史服务器
[zx@hadoop102 hadoop-3.1.3]$ bin/mapred --daemon start historyserver
4）查看历史服务器是否启动
[zx@hadoop102 hadoop-3.1.3]$ jps
5）查看 JobHistory
http://hadoop102:19888/jobhistory
八、配置日志的聚集
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和 HistoryServer。
开启日志聚集功能具体步骤如下：
1. 配置 yarn-site.xml
[zx@hadoop102 hadoop]$ vim yarn-site.xml
#在该文件里面增加如下配置。
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
2. 分发配置
[zx@hadoop102 hadoop-3.1.3]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml
3. 关闭 NodeManager 、ResourceManager 和 HistoryServer
[zx@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[zx@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver
4. 启动 NodeManager 、ResourceManage 和 HistoryServer
[zx@hadoop103 ~]$ start-yarn.sh
[zx@hadoop102 ~]$ mapred --daemon start historyserver
5. 删除 HDFS 上已经存在的输出文件
[zx@hadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /wcoutput
6. 执行 WordCount 程序
[zx@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput
7. 查看日志
（1）历史服务器地址
http://hadoop102:19888/jobhistory
（2）历史任务列表
（3）查看任务运行日志
（4）运行日志详情
九、集群启动/停止方式总结
1. 各个模块分开启动/停止（配置 ssh 是前提）常用
（1）整体启动/停止 HDFS
start-dfs.sh/stop-dfs.sh
（2）整体启动/停止 YARN
start-yarn.sh/stop-yarn.sh
2. 各个服务组件逐一启动/停止
（1）分别启动/停止 HDFS 组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
（2）启动/停止 YARN
yarn --daemon start/stop resourcemanager/nodemanager
十、编写Hadoop集群常用脚本
1. Hadoop 集群启停脚本（包含 HDFS，Yarn，Historyserver）：myhadoop.sh
[zx@hadoop102 ~]$ cd /home/zx/bin
[zx@hadoop102 bin]$ vim myhadoop.sh
#输入如下内容
#!/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== 启动 hadoop 集群 ==================="
echo " --------------- 启动 hdfs ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
echo " --------------- 启动 yarn ---------------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
echo " --------------- 启动 historyserver ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
echo " =================== 关闭 hadoop 集群 ==================="
echo " --------------- 关闭 historyserver ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
echo " --------------- 关闭 yarn ---------------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
echo " --------------- 关闭 hdfs ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
echo "Input Args Error..."
;;
esac
➢ 保存后退出，然后赋予脚本执行权限
[zx@hadoop102 bin]$ chmod +x myhadoop.sh
效果
2. 查看三台服务器 Java 进程脚本：jpsall
[zx@hadoop102 ~]$ cd /home/zx/bin
[zx@hadoop102 bin]$ vim jpsall
➢ 输入如下内容
#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
echo =============== $host ===============
ssh $host jps
done
➢ 保存后退出，然后赋予脚本执行权限
[zx@hadoop102 bin]$ chmod +x jpsall
效果
3. 分发/home/atguigu/bin 目录，保证自定义脚本在三台机器上都可以使用
[zx@hadoop102 ~]$ xsync /home/atguigu/bin/
十一、常用端口号说明
| 端口名称 | Hadoop2.x | Hadoop3.x |
|---|---|---|
| NameNode 内部通信端口 | 8020/9000 | 8020/9000/9820 |
| NameNode HTTP UI(对用户的查询端口) | 50070 | 9870 |
| MapReduce查看执行任务端口 | 8088 | 8088 |
| 历史服务器通信端口 | 19888 | 19888 |
十二、常用的配置文件
hadoop3.x：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、workers
hadoop2.x：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves
十三、 集群时间同步
如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期
和公网时间进行校准；
如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，
导致集群执行任务时间不同步。
1. 需求
找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果，采用 1 分钟同步一次。
2. 时间服务器配置（必须 root 用户）
（1）查看所有节点 ntpd 服务状态和开机自启动状态
[zx@hadoop102 ~]$ sudo systemctl status ntpd
[zx@hadoop102 ~]$ sudo systemctl start ntpd
[zx@hadoop102 ~]$ sudo systemctl is-enabled ntpd #查看是否开启开机自启
若出现以下错误，使用yum -y install ntp安装ntpd即可
（2）修改 hadoop102 的 ntp.conf 配置文件
[zx@hadoop102 ~]$ sudo vim /etc/ntp.conf
修改内容如下
（a）修改 1（授权 192.168.10.0-192.168.10.255 网段上的所有机器可以从这台机器上查
询和同步时间）
#restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
为
restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
（b）修改 2（集群在局域网中，不使用其他互联网上的时间）
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
（c）添加 3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中
的其他节点提供时间同步）
server 127.127.1.0
fudge 127.127.1.0 stratum 10
（3）修改 hadoop102 的/etc/sysconfig/ntpd 文件
[zx@hadoop102 ~]$ sudo vim /etc/sysconfig/ntpd
#增加内容如下（让硬件时间与系统时间一起同步）
SYNC_HWCLOCK=yes
（4）重新启动 ntpd 服务
[zx@hadoop102 ~]$ sudo systemctl start ntpd
（5）设置 ntpd 服务开机启动
[zx@hadoop102 ~]$ sudo systemctl enable ntpd
3. 其他机器配置（必须 root 用户）
（1）关闭所有节点上 ntp 服务和自启动
[zx@hadoop103 ~]$ sudo systemctl stop ntpd
[zx@hadoop103 ~]$ sudo systemctl disable ntpd
[zx@hadoop104 ~]$ sudo systemctl stop ntpd
[zx@hadoop104 ~]$ sudo systemctl disable ntpd
（2）在其他机器配置 1 分钟与时间服务器同步一次
[zx@hadoop103 ~]$ sudo crontab -e
编写定时任务如下：
*/1 * * * * /usr/sbin/ntpdate hadoop102
（3）修改任意机器时间
[zx@hadoop103 ~]$ sudo date -s "2021-9-11 11:11:11"
（4）1 分钟后查看机器是否与时间服务器同步
[zx@hadoop103 ~]$ sudo date
十四、常见错误及解决方案
（1）防火墙没关闭、或者没有启动 YARN
INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032
（2）主机名称配置错误
（3）IP 地址配置错误
（4）ssh 没有配置好
（5）root 用户和 zx 两个用户启动集群不统一
（6）配置文件修改不细心
（7）不识别主机名称
java.net.UnknownHostException: hadoop102: hadoop102
at
java.net.InetAddress.getLocalHost(InetAddress.java:1475)
at
org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(Job
Submitter.java:146)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
at java.security.AccessController.doPrivileged(Native
Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
解决办法：
（a）在/etc/hosts 文件中添加 192.168.10.102 hadoop102
（b）主机名称不要起 hadoop hadoop000 等特殊名称
（8）DataNode 和 NameNode 进程同时只能工作一个。
（9）jps 发现进程已经没有，但是重新启动集群，提示进程已经开启。
原因是在 Linux 的根目录下/tmp 目录中存在启动的进程临时文件，将集群相关进程删
除掉，再重新启动集群。
（10）jps 不生效
原因：全局变量 hadoop java 没有生效。解决办法：需要 source /etc/profile 文件。
（11）8088 端口连接不上
[atguigu@hadoop102 桌面]$ cat /etc/hosts
注释掉如下代码
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 hadoop102
652
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
