【hadoop】在Mac m1下搭建安装hadoop环境（亲测有效版）

概述

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
主要解决，海量数据的存储和海量数据的分析计算问题。
广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

参考的是 https://blog.51cto.com/u_15294985/5147881 这个链接里的流程，但是有些配置信息还是有所不同，要按照本地的hadoop存放路径在xml里进行配置。

配置流程

1. 配置ssh环境

ssh localhost

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

2. 安装hadoop

装openjdk

brew install java

装hadoop

brew install hadoop

hadoop version

3. 配置xml文件

进入hadoop的目录

cd /opt/homebrew/Cellar/hadoop/3.3.2/libexec/etc/hadoop

修改xml里的信息可以用vim

vim xxx

用i修改，用:wq保存

修改core-site.xml

<configuration>
        <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:8020</value>
  </property>
 
  <!--用来指定hadoop运行时产生文件的存放目录  自己创建-->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/opt/homebrew/Cellar/hadoop/tmp</value>
  </property>
</configuration>

修改hdfs-site.xml

新建文件夹

mkdir xxx

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <!--不是root用户也可以写文件到hdfs-->
        <property>
                <name>dfs.permissions</name>
                <value>false</value>    <!--关闭防火墙-->
        </property>
        <!--把路径换成本地的name坐在位置-->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/Cellar/hadoop/tmp/dfs/name</value>
        </property>
        <!--在本地新建一个存放hadoop数据的文件夹，然后将路径在这里配置一下-->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/Cellar/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

修改mapped-site.xml

<configuration>
  <property>
    <!--指定mapreduce运行在yarn上-->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
     <name>mapred.job.tracker</name>
     <value>localhost:9010</value>
  </property>
  <!-- 新添加 -->
  <!-- 下面的路径就是你hadoop distribution directory -->
  <property>
     <name>yarn.app.mapreduce.am.env</name>
     <value>HADOOP_MAPRED_HOME=/opt/homebrew/Cellar/hadoop/3.3.2/libexec</value>
  </property>
  <property>
     <name>mapreduce.map.env</name>
     <value>HADOOP_MAPRED_HOME=/opt/homebrew/Cellar/hadoop/3.3.2/libexec</value>
  </property>
  <property>
     <name>mapreduce.reduce.env</name>
     <value>HADOOP_MAPRED_HOME=/opt/homebrew/Cellar/hadoop/3.3.2/libexec</value>
</property>
 
</configuration>

启动和关闭

1. 启动

cd /opt/homebrew/Cellar/hadoop/3.3.2/libexecs/sbin

./start-dfs.sh

2. 在浏览器里输入 http://localhost:9870/
3. 停止

./stop-yarn.sh