Hoodoop集群环境安装

一.安装前前准备

1.目录规划

1. 虚拟机安装目录

1. 服务器安装目录（/root/apps）

3.服务器配置免密登入

4.安装包上传到/root/install 目录下

5.安装JDK只需在其中一个节点安装再通过scp 同步至其它服务器，环境变量配置

同步复制安装包：

scp -r /root/apps/jdk1.8.0_221 hpd2:/root/apps/jdk1.8.0_221

scp -r/root/apps/jdk1.8.0_221 hpd3:/root/apps/jdk1.8.0_221

同步复制环境变量文件（注意别忘记了 source /etc/profile 使配置生效）：

scp /etc/profile hpd2:/etc/profile

scp /etc/profile hpd3:/etc/profile

检查是否安装成功

二、虚拟机服务安装配置（NAT桥接模式）

1.虚拟机安装

1.我们通过VWware来安装虚拟机，只需安装一个节点，其它两个节点我们通过复制的方式来安装（如图所示我们只需在VWware打开复制的虚拟机,更改虚拟机名称即可，但需要注意安装目录的规划）

2.虚拟机配网

1.配网，安装完成虚拟后我们需要对虚拟机的网络进行配置，此步也是最重要的一步

配网我们选择NAT桥接模式、并且重新生成MAC地址

2.在VWware完成了网络桥接模式配置之后 我们还需再虚拟机中配置

1.查看 70-persistent-net.rules 网卡名称（cat /etc/udev/rules.d/70-persistent-ipoib.rules ）(复制的虚拟机此处可能会有多条记录，删除保留一条即可)

2修改mac地址,修改IP地址、配置静态IP（vim /etc/sysconfig/network-scripts/ifcfg-eno16777736）

• 注意网关(VWware虚拟网卡的网关IP)

• 修改:

  IPADDR=XXX

  GATEWAY=XXX

此时重启网络是报错的,并且ip无效

service network restart

注意此时应该重启虚拟机

reboot

防火墙关闭

service iptables stop && chkconfig iptables off
service iptables status

修改服务器名称和域名映射

vim /etc/hostname (修改服务器名称)

vim /etc/hosts （配置域名）

重复上述操作配置其它两个服务器节点

三、hadoop 集群环境安装

1.hadoop目录规划

/root/apps/data/hadoop HDFS的数据目录

/root/apps/data/hadoop/dfs/name 存放元数据，在hdfs-site.xml中配置

/root/apps/data/hadoop/dfs/data 存放数据目录，在hdfs-site.xml中配置

/root/apps/data/temp Hadoop的临时文件的目录，在core-site.xml中配置

2.安装hadoop

tar zxvf hadoop-2.8.1.tar.gz -C /root/apps/

3.配置hadoop环境变量

vim   /etc/profile

export HADOOP_HOME=/root/apps/hadoop-2.8.1
export PATH=$PATH:$HADOOP_HOME/bin

4、修改hadoop的配置文件

/root/apps/hadoop-2.8.1/etc/hadoop/hadoop-env.sh Hadoop环境变量
/root/apps/hadoop-2.8.1/etc/hadoop/yarn-env.sh
/root/apps/hadoop-2.8.1/etc/hadoop/slaves 配置从节点
/root/apps/hadoop-2.8.1/etc/hadoop/core-site.xml Hadoop核心全局配置文件，其他文件的配置项可以覆盖它的配置项
/root/apps/hadoop-2.8.1/etc/hadoop/hdfs-site.xml HDFS配置文件，该模板的属性继承于core-site.xml
/export/hadoop-2.7.3/etc/hadoop/mapred-site.xml MapReduce的配置文件，该模板的属性继承于core-site.xml
/root/apps/hadoop-2.8.1/etc/hadoop/yarn-site.xml
其中mapred-site.xml默认不存在的，可以通过复制mapred-site.xml.template文件获得

修改配置文件 hadoop-env.sh

vi hadoop-env.sh

export JAVA_HOME=/root/apps/jdk1.8.0_221

修改配置文件 yarn-env.sh

vi yarn-env.sh

export JAVA_HOME=/root/apps/jdk1.8.0_221

修改配置文件 slaves

hpd2

hpd3

修改配置文件 core-site.xml

<configuration>
<!--指定hdfs的主端口 namenode要放在哪台机器上-->
     <property>
             <name>fs.defaultFS</name>
             <value>hdfs://hpd1:9000</value>
    </property>
<!--流缓冲区大小 128MB -->
    <property>
             <name>io.file.buffer.size</name>
             <value>131072</value>
    </property>
<!--用来指定使用hadoop时产生文件的存放目录-->
   <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/root/apps/data/temp</value>
              <description>Abase for other temporary directories.</description>
    </property>

</configuration>

修改配置文件 hdfs-site.xml

<configuration>
<!--Namenode HTTP服务器地址和端口-->
    <property>
                <name>dfs.namenode.secondary.http-address</name>
               <value>hpd1:9001</value>
        </property>
<!--存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份-->
     <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/root/apps/data/hadoop/dfs/name</value>
    </property>
<!--数据节点的块本地存放目录-->
     <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/root/apps/data/hadoop/dfs/data</value>
    </property>
<!--备份数-->
    <property>
             <name>dfs.replication</name>
             <value>3</value>
    </property>
<!--使WebHDFS（REST API）在Namenodes和数据节点-->
     <property>
                     <name>dfs.webhdfs.enabled</name>
                     <value>true</value>
         </property>
</configuration>

修改配置文件：mapred-site.xml

<configuration>
<!--告诉hadoop以后MR(Map/Reduce)运行在YARN上-->
   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
   </property>
   <property>
        <name>mapreduce.jobhistory.address</name>
          <value>hpd1:10020</value>
   </property>

   <property>
               <name>mapreduce.jobhistory.webapp.address</name>
               <value>hpd1:19888</value>
    </property>
</configuration>

修改配置文件 yarn-site.xml

 <configuration>
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>

   <property>
               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>

  <property>
               <name>yarn.resourcemanager.address</name>
               <value>hpd1:8032</value>
       </property>

<property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>hpd1:8030</value>
         </property>

<property>
                       <name>yarn.resourcemanager.resource-tracker.address</name>
                        <value> hpd1:8031</value>
           </property>

<property>
                       <name>yarn.resourcemanager.admin.address</name>
                        <value> hpd1:8033</value>
          </property>
</configuration>

到此Hadoop集群环境安装完成

启动前注意先格式化hadoop 环境：hadoop namenode -format

5、hadoop环境启动

1.启动HDFS

cd /root/apps/hadoop-2.8.1/sbin

./start-dfs.sh

2.访问HDFS管理界面 http://192.168.92.140:50070

3.启动Yarn

cd /root/apps/hadoop-2.8.1/sbin

./start-yarn.sh

4.访问MR管理界面 http://192.168.92.140:8088