安装Linux以及搭建Hadoop3.1.2集群（8）——SSH无密登录配置

第九章：SSH无密登录配置

9.1SSH无密登录配置

1. 配置ssh
   （1）基本语法
   ssh另一台电脑的ip地址
   （2）ssh连接时出现Host key verification failed的解决方法

[zhangyong@hadoop104 opt] $ ssh 192.168.153.105
The authenticity of host '192.168.1.105 (192.168.1.105)' can't be established.
RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)? 
Host key verification failed.

（3）解决方案如下：直接输入yes
2. 无密钥配置
（1）免密登录原理；

（2）生成公钥和私钥：

[zhangyong@hadoop104 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（3）将公钥拷贝到要免密登录的目标机器上

[zhangyong@hadoop104 .ssh]$ ssh-copy-id hadoop104
[zhangyong@hadoop104 .ssh]$ ssh-copy-id hadoop105
[zhangyong@hadoop104 .ssh]$ ssh-copy-id hadoop106

注意：
还需要在hadoop104上采用root账号，配置一下无密登录到hadoop104、hadoop105、hadoop106；
还需要在hadoop103上采用zhangyong账号配置一下无密登录到hadoop104、hadoop105、hadoop106服务器上。
3. .ssh文件夹下（~/.ssh）的文件功能解释

known_hosts	记录ssh访问过计算机的公钥(public key)
id_rsa	生成的私钥
id_rsa.pub	生成的公钥
authorized_keys	存放授权过得无密登录服务器公钥

9.2 群起集群

1. 配置slaves

/opt/module/hadoop-3.1.2/etc/hadoop/slaves
[zhangyong@hadoop102 hadoop]$ vi slaves

在该文件中增加如下内容：

hadoop104
hadoop105
hadoop106

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
同步所有节点配置文件

[zhangyong@hadoop104 hadoop]$ xsync slaves

2. 启动集群
   （1）如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[zhangyong@hadoop104 hadoop-3.1.2]$ bin/hdfs namenode -format

（2）启动HDFS

[zhangyong@hadoop104 hadoop-3.1.2]$ sbin/start-dfs.sh
[zhangyong@hadoop104 hadoop-3.1.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[zhangyong@hadoop104 hadoop-3.1.2]$ jps
3218 DataNode
3288 Jps
[zhangyong@hadoop104 hadoop-3.1.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps

（3）启动YARN

[zhangyong@hadoop105 hadoop-3.1.2]$ sbin/start-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。
（4）Web端查看SecondaryNameNode
（a）浏览器中输入：http://hadoop106:50090/status.html
（b）查看SecondaryNameNode信息.

3. 集群基本测试
（1）上传文件到集群
上传小文件

[zhangyong@hadoop104 hadoop-3.1.2]$ hdfs dfs -mkdir -p /user/zhangyong/input
[zhangyong@hadoop104 hadoop-3.1.2]$ hdfs dfs -put wcinput/wc.input /user/zhangyong/input

  上传大文件

[zhangyong@hadoop104 hadoop-3.1.2]$ bin/hadoop fs -put
 /opt/software/hadoop-3.1.2.tar.gz  /user/zhangyong/input

9.3 集群启动/停止方式总结

1. 各个服务组件逐一启动/停止
   (1）分别启动/停止HDFS组件

hadoop-daemon.sh  start/stop namenode/datanode/secondarynamenode

（2）启动/停止YARN

yarn-daemon.sh  start/stop  resourcemanager/nodemanager

3. 各个模块分开启动/停止（配置ssh是前提）常用
   （1）整体启动/停止HDFS

start-dfs.sh  启动 
stop-dfs.sh   停止

（2）整体启动/停止YARN

start-yarn.sh    启动
stop-yarn.sh     停止

（3）整体启动/停止history

mr-jobhistory-daemon.sh start historyserver    启动
mr-jobhistory-daemon.sh stop historyserver    停止