centos7环境下搭建hadoop环境，以及相关配置

随之科技的进步，大数据应用已经变得越来越广泛，相关大数据的相关技术越来越成熟，闲暇之余，就基于centos7环境下搭建hadoop环境，做相关步骤演示，如有不合理之处，敬请大神指教。

1，准备一个centos7系统，安装jdk，并配置环境变量（网上步骤很多，本次不在详细介绍）；

2.修改系统名字, vim etc/hostname

localhost.localdomain 修改为hadoop02(随意的)，

3.创建hahdoop文件，将hahdoop安装到该文件夹下

mkdir hahdoop

解压hadoop，tar -zxvf hadoop-2.7.1_64bit.tar.gz  -C hahdoop

4.配置hadoop环境变量；

vim /etc/profile

修改前只有jdk的环境变量

修改后

export JAVA_HOME=/usr/java/jdk1.8.0_111
export HADOOP_HOME=/root/hahdoop/hadoop-2.7.1/
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$ANT_HOME/bin

5.修改hadoop的配置文件：

进行hadoop目录下的etc中hadoop中：cd hahdoop/hadoop-2.7.1/etc/hadoop/

5.1修改hadoop-env.sh文件

vim hadoop-env.sh      //25行，添加jdk的路径，和环境变量一致

修改前

修改后

5.2修改hdfs-site.xml文件

添加：<property>
               <name>dfs.replication</name>
               <value>3</value>
         </property>
         <property>
                <name>dfs.permissions</name>
                <value>false</value>
          </property>

修改前

修改后：

5.3修改mapred-site.xml.template文件，将该文件改名为mapred-site.xml，

mv mapred-site.xml.template mapred-site.xml

并添加：<property>
                   <name>mapreduce.framework.name</name>
                   <value>yarn</value>
              </property>

修改前：

修改后：

5.4修改core-site.xml文件

添加：

<property>

      <name>fs.defaultFS</name>

      <value>hdfs://hadoop02:9000</value>
</property>
<property>
      <name>hadoop.tmp.dir</name>
      <value>/root/hahdoop/hadoop-2.7.1/tmp</value>
</property>

修改前：

修改后：

5.5修改yarn-site.xml文件

添加：<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop02</value>
          </property>
          <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
           </property>

修改前：

修改后：

5.6修改slaves文件，将localhost修改为hadoop02

6，配置文件修改完毕，开始创建tmp目录，返回hadoop目录下

执行命令bin/hdfs namenode -format

出现Storage directory /root/hahdoop/hadoop-2.7.1/tmp/dfs/name has been successfully formatted.即表示配置成功

启动hadoop，sbin/start-all.sh

执行后，遇到确定就是输入yes，遇到输入密码就是输入开机密码

7.开放50070端口，或者关闭防火墙，我这里关闭防火墙吧

8.在地址栏中输入地址和端口即可访问默认的hadoop环境系统   192.168.1.9:50070