Hadoop系列之环境搭建

前言：

       Hadoop作为目前主流的大数据框架，提供了分布式存储以及计算等一系列解决方案，Hadoop框架主要分Common(公共的工具等)、HDFS(分布式存储解决方案)、MapReduce(大数据计算和统计等)、Yarn（系统调度框架）。本文将记录搭建Hadoop环境的过程。环境：VMWare9.0.0+CentOs6.5+JDK1.8+Hadoop2.7.7,根据操作系统去选择环境是32位还是64位。Hadoop目前主流有三个版本，本文基于Apache版本。

一、配置网关和静态IP

    1、 在虚拟机安装完成之后，我们要给虚拟机配置网卡和静态IP，

         1.1、我们很多命令必须使用root用户来操作，来回切换用户的话比较繁琐，所以，首先将当前用户添加到sudoers文件。该操作必须是root账号：

此时的文件状态是只读，要修改文件的权限才能修改：chmod 777 /etc/sudoers

在root配置后面将框中的内容添加到后面。保存！

这时候如果使用sudo命令的时候会报错

sudo: /etc/sudoers is world writable
sudo: no valid sudoers sources found, quitting
sudo: unable to initialize policy plugin

这是因为我们改了文件的权限，Linux系统做的限制，只要将文件的权限改回来就好了

pkexec chmod 0440 /etc/sudoers

此后，我们可以使用sudo 命令了。

1.2、分配静态IP

编辑 sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0

配置如下：我们使用的eth0网卡，bootproto改成static ,表示使用静态IP，然后配置IPaddr,netmask：子网掩码，gateway:网关

网络我们使用的是NAT模式，也可以通过图形界面去配置IP

注意：在配置网关的时候，我们要查看NAT模式的网关，

根据此网关配置。此外还要配置DNS域名解析。

1.3、修改主机名称

修改主机名称之后，还要修改hosts文件，完成域名映射。

至此，网络配置基本完成了。

2、软件安装

2.1、通过xshell将文件传递给虚拟机

在home目录下，加压文件到home/app文件夹下

加压完成之后，查看

配置PATH 

在配置文件的末尾添加java_home

并添加到path后面，保存退出！

使修改生效

配置完成之后，可以在任意目录使用Java 命令了。

3、安装Hadoop

3.1、上传文件同jdk一样，并将文件同样解压到app 文件夹之下；

3.2、解压完成之后配置hadopp_home ,配置文件通用是/etc/profile，配置HADOOP_HOME为hadoop的安装目录，

并添加到PATH下。

总结：本文记录了大数据基本环境的搭建，配置了静态IP和主机，安装了jdk环境和hadoop框架，后面将记录Hadoop伪分布式环境的搭建。