Hadoop完全分布式搭建流程---超详细

1.克隆两个节点

2.修改静态IP

3.修改主机名：【master(主)，slave1(从)，slave2(从)】

4.修改IP和主机名的映射：【/etc/hosts】

5.SSH无密登录：

a.修改hostname

$>su root

$>gedit   /etc/sysconfig/network

【HOSTNAME=master】

b.修改hosts文件

$>gedit   /etc/hosts

【在文件后追加：IP 主机名:192.168.154.128 master】

c.reboot

d.生成密钥

$>ssh-keygen  -t  rsa  -P  ''  -f  ~/.ssh/id_rsa

【说明：-t设置生成密钥的算法，采用的rsa；-P设置密码，默认为空；-f设置密钥生成的文件位置，~/.ssh】

e.生成认证库

$>cat  ~/.ssh/id_rsa.pub >>  ~/.ssh/authorized_keys

f.修改认证库权限为600

$>chmod  600  ~/.ssh/authorized_keys

g.ssh  master

6.解压相关软件

$>tar  -zxvf  jdk1.8.xxx.tar.gz

$>tar  -zxvf  hadoop-2.7.3.tar.gz

7.创建软连接

$>ln  -s  jdk1.8.0_121/  jdk

$>ln  -s  hadoop-2.7.3/  hadoop

8.修改环境变量

$>cd  ~

$>gedit  .bash_profile

   在文件最后追加以下命令：

#jdk  install

export   JAVA_HOME=/home/hyxy/soft/jdk/jdk

export   PATH=$JAVA_HOME/bin:$PATH

#hadoop   install

export   HADOOP_HOME=/home/hyxy/soft/hadoop/hadoop

export   PATH=$HADOOP_HOME/bin:$HADOOP_HOMR/sbin:$PATH

       $>source   .bash_profile

注意：刷新完之后，当前会话可用，建议reboot(重启)

9.修改hadoop配置文件

      a.core-site.xml

    <property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

 </property>

 

 <property>

<name>hadoop.tmp.dir</name>

<value>/home/hyxy/tmp/hadoop</value>

</property>

b.hdfs-site.xml

<property>

      <name>dfs.replication</name>

      <value>3</value>

</property>

      c.mapred-site.xml

            <property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

  <description>

The runtime framework for executing MapReduce jobs.Can be one of local, classic or yarn.

  </description>

               </property>

       d.yarn-site.xml

  <property>

           <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

         <description>A comma separated list of services where service name should only

      contain a-zA-Z0-9_ and can not start with numbers</description>

  </property>

  <property>

    <description>The hostname of the RM.</description>

    <name>yarn.resourcemanager.hostname</name>

    <value>master</value>

  </property>

       e.slaves

  添加datanode节点名称，以行为准

      slave1

      slave2

       f.hadoop-env.sh

           #配置JAVA_HOME

   【注意：

1).将hosts文件分发所有从节点：

   $>scp /etc/hosts hyxy@slave1:/etc/

   $>scp /etc/hosts hyxy@slave2:/etc/

2).将hadoop目录分发到所有从节点

   $>scp -r ~/soft/hadoop/ hyxy@slave1:/home/hyxy/soft

   $>scp -r ~/soft/hadoop/ hyxy@slave2:/home/hyxy/soft

    】

    10.格式化

       a. 删除hadoop.tmp.dir设置路径下的所有文件(所有节点)

       b. 删除HADOOP_LOG_DIR设置路径下的日志文件(所有节点)

       c. 格式化：

           $>hdfs namenode -format（主节点）

    11.开启完全分布式

          $>start-all.sh