hadoop伪分布式部署

1、环境介绍
操作系统：Centos 7.7
jdk版本：8u291
hadoop版本:2.10.1
4核心 8G内存 100G硬盘

2、关闭防火墙和selinux

3、安装jdk
https://blog.csdn.net/zyj81092211/article/details/118055068

4、建立hadoop用户

useradd hadoop
echo hadoop|passwd --stdin hadoop

5、使用hadoop登录，解压缩hadoop安装包并重命名hadoop

tar -xvf hadoop-2.10.1.tar.gz
mv hadoop-2.10.1 /usr/local/hadoop

6、用root用户设置hadoop环境变量并重新加载

# hadoop environment
export HADOOP_HOME=/home/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PAT

source /etc/profile

7、设置hadoop用户ssh免登录认证

ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub hadoop@localhost

8、进入hadoop配置文件目录

cd /home/hadoop/hadoop/etc/hadoop

9、编辑hadoop-env.sh，更改如下

export JAVA_HOME=/usr/local/java

10、编辑core-site.xml，添加如下

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://10.99.99.200:9000</value>
        </property>
</configuration>

11、编辑hdfs-site.xml，添加如下

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

12、编辑mapred-site.xml，添加如下

cp mapred-site.xml.template mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

13、编辑yarn-site.xml，添加如下

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>10.99.99.200</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>10.99.99.200:8088</value>
    </property>
    <property>
         <name>yarn.nodemanager.hostname</name>
         <value>10.99.99.200</value>
    </property>
</configuration>

14、初始化HDFS

hdfs namenode -format

15、启动namenode和datanode

start-dfs.sh

状态如下

16、启动yarn

start-yarn.sh

状态如下

17、访问web页面
HDFS：端口50070

yarn：端口8088

18、简单使用

示例计算

（1）在HDFS 根目录上创建input文件夹

hdfs dfs -mkdir /input

（2）上传etc/hadoop中的配置文件到input文件夹

hdfs dfs -put etc/hadoop /input

（3）执行示例程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar grep /input/hadoop /output 'dfs[a-z.]+'

注意：/output目录自动创建为结果输出目录
（4）获取结果

hdfs dfs -cat /output/*

（5）查看yarn上有执行过的任务