Hadoop的安装配置

1 修改Hadoop的配置文件——/Users/zhaoshuai11/work/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home

2 修改Hadoop的配置文件——core-site.xml 该配置文件用于指明namenode的主机名和端口，hadoop临时目录

<configuration>
 <!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8020</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/zhaoshuai11/work/hadoop-2.7.3/tmpwork</value>
    </property>
</configuration>

3 修改Hadoop的配置文件——hdfs-site.xml dfs.replication&&dfs.namenode.name.dir&&dfs.datanode.data.dir

<configuration>
   <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
　　 <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///Users/zhaoshuai11/work/hadoop-2.7.3/tmpwork/tmp/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///Users/zhaoshuai11/work/hadoop-2.7.3/tmpwork/tmp/data</value>
    </property>
</configuration>

4 修改Hadoop的配置文件——mapred-site.xml

<configuration>
  <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5 修改Hadoop的配置文件——yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

         <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
          <property>
                 <name>yarn.nodemanager.pmem-check-enabled</name>
                 <value>false</value>

          </property>
  <!-- 配置yarn的历史服务器-->
        <property>
                <name>yarn.log.server.url</name>
                <value>http://localhost:19888/jobhistory/logs</value>
        </property>
         <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
          <property>
                 <name>yarn.nodemanager.vmem-check-enabled</name>
                 <value>false</value>
          </property>

        <!-- 日志聚集功能使能 -->
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <!-- 日志保留时间设置 7 天 -->
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>
        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>20480</value>
        </property>
</configuration>

启动：

(base) ➜  /Users/zhaoshuai11/work/hadoop-2.7.3 hdfs namenode -format

(base) ➜  /Users/zhaoshuai11/work/hadoop-2.7.3/sbin sh start-dfs.sh

http://localhost:50070/explorer.html#/