学习Hadoop部署集群环镜(一)

1、首先需要了解Hadoop部署架构图，如下所示：

 NameNode:为部署的主节点，主要起主导作用，不会参与mapReduce任务。主要是管理从数字节点

DataNode:为部署的从节点（数字节点），主要是参与mapReduce任务的执行。客户端直接与主节点的守护进程进行通信。

secondary nameNode 次名字节点：用于监测和备份namenode，并辅助守护进程，像namenode一样。与namenode通信，根据集群配置的时间间隔获取HDFS元数据的快照。如果nameNode故障，可以从secondary namenode的快照可以减少停机的时间降低数据丢失的风险。

jobTracker(作业跟踪节点)：任务执行它是应用程序和hadoop之间的纽带。管理，监控和分配任务执行。

TaskTracker（任务跟踪节点）：DataNode节点上的每个任务执行的执行进程。rn

 

 

2、检查每台服务器上有没有安装SSH。

   由于集群上的每台机器间通信都是通过SSH来进行通信访问。所以每台必须检查是否安装SSH

  为了每台机器之间能够相互通信无障碍，所以无口令的ssh协议。SSH采用标准备的公钥加密来成一对用户验收证密钥，（一个公钥，一个私钥）。

   公钥被本地存储在集群的每个节点上，私钥则由主节点在试图访问远端节点时发送过来。结合这两段信息，目标机可以对这次登录尝进行验证。

   每台节点上的账号设置为相同的用户级别。它仅于管理Hadoop集群。如这里我们将在每台机器上建立hadoop用户

    2.1验证是否安装：which ssh  回车，哪果有路径说明已安装

                   which sshd 回车，哪果有路径说明已安装

                    which  ssh-keygen 回车，哪果有路径说明已安装

                     如果没有安装，请参与linux相关资料进行安装

 

     2.2 在主节点上也就是NameNode上安装密钥

           ssh-keygen -t rsa 回车 提示信息是产生公钥/密钥

          查看公钥：

          more /home/hadoop/.ssh/id_rsa.pub

   

    2.3 将公钥发布到每个集群机器

     scp ~./ssh/id_rsa.pub hadoop@目标集群的IP地址:~/.ssh/master_key

  

   2.4登录到目标集群的机器上

       mkdir ~/.ssh

     chmod 700 ~/.ssh

    mv ~/master_key ~/.ssh/authorized_keys

    chmod 600 ~/.ssh/authorized_keys

 

  2.5验证是否安装成功。登录到主节点上也就是namenode机器上

    ssh 目标IP地址

   如果出现last login :sun jan xxxxx的信息，就是最后登录的时间，不需要输入密码就可以转到目标机器。

就说明ssh安装成功了。基本环镜已打通。