第九章:SSH无密登录配置
9.1SSH无密登录配置
- 配置ssh
(1)基本语法
ssh另一台电脑的ip地址
(2)ssh连接时出现Host key verification failed的解决方法
[zhangyong@hadoop104 opt] $ ssh 192.168.153.105
The authenticity of host '192.168.1.105 (192.168.1.105)' can't be established.
RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)?
Host key verification failed.
(3)解决方案如下:直接输入yes
2. 无密钥配置
(1)免密登录原理;
(2)生成公钥和私钥:
[zhangyong@hadoop104 .ssh]$ ssh-keygen -t rsa
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
(3)将公钥拷贝到要免密登录的目标机器上
[zhangyong@hadoop104 .ssh]$ ssh-copy-id hadoop104
[zhangyong@hadoop104 .ssh]$ ssh-copy-id hadoop105
[zhangyong@hadoop104 .ssh]$ ssh-copy-id hadoop106
注意:
还需要在hadoop104上采用root账号,配置一下无密登录到hadoop104、hadoop105、hadoop106;
还需要在hadoop103上采用zhangyong账号配置一下无密登录到hadoop104、hadoop105、hadoop106服务器上。
3. .ssh文件夹下(~/.ssh)的文件功能解释
known_hosts | 记录ssh访问过计算机的公钥(public key) |
---|---|
id_rsa | 生成的私钥 |
id_rsa.pub | 生成的公钥 |
authorized_keys | 存放授权过得无密登录服务器公钥 |
9.2 群起集群
- 配置slaves
/opt/module/hadoop-3.1.2/etc/hadoop/slaves
[zhangyong@hadoop102 hadoop]$ vi slaves
在该文件中增加如下内容:
hadoop104
hadoop105
hadoop106
注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
同步所有节点配置文件
[zhangyong@hadoop104 hadoop]$ xsync slaves
- 启动集群
(1)如果集群是第一次启动,需要格式化NameNode(注意格式化之前,一定要先停止上次启动的所有namenode和datanode进程,然后再删除data和log数据)
[zhangyong@hadoop104 hadoop-3.1.2]$ bin/hdfs namenode -format
(2)启动HDFS
[zhangyong@hadoop104 hadoop-3.1.2]$ sbin/start-dfs.sh
[zhangyong@hadoop104 hadoop-3.1.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[zhangyong@hadoop104 hadoop-3.1.2]$ jps
3218 DataNode
3288 Jps
[zhangyong@hadoop104 hadoop-3.1.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps
(3)启动YARN
[zhangyong@hadoop105 hadoop-3.1.2]$ sbin/start-yarn.sh
注意:NameNode和ResourceManger如果不是同一台机器,不能在NameNode上启动 YARN,应该在ResouceManager所在的机器上启动YARN。
(4)Web端查看SecondaryNameNode
(a)浏览器中输入:http://hadoop106:50090/status.html
(b)查看SecondaryNameNode信息.
3. 集群基本测试
(1)上传文件到集群
上传小文件
[zhangyong@hadoop104 hadoop-3.1.2]$ hdfs dfs -mkdir -p /user/zhangyong/input
[zhangyong@hadoop104 hadoop-3.1.2]$ hdfs dfs -put wcinput/wc.input /user/zhangyong/input
上传大文件
[zhangyong@hadoop104 hadoop-3.1.2]$ bin/hadoop fs -put
/opt/software/hadoop-3.1.2.tar.gz /user/zhangyong/input
9.3 集群启动/停止方式总结
- 各个服务组件逐一启动/停止
(1)分别启动/停止HDFS组件
hadoop-daemon.sh start/stop namenode/datanode/secondarynamenode
(2)启动/停止YARN
yarn-daemon.sh start/stop resourcemanager/nodemanager
- 各个模块分开启动/停止(配置ssh是前提)常用
(1)整体启动/停止HDFS
start-dfs.sh 启动
stop-dfs.sh 停止
(2)整体启动/停止YARN
start-yarn.sh 启动
stop-yarn.sh 停止
(3)整体启动/停止history
mr-jobhistory-daemon.sh start historyserver 启动
mr-jobhistory-daemon.sh stop historyserver 停止