hadoop安装

安装

Hadoop下载：

wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

将Hadoop添加到环境变量

vi /etc/profile

在profile文件末尾添加JDK路径：（shitf+g）

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

让修改后的文件生效

 source /etc/profile

测试是否安装成功

hadoop version

配置集群

1. 配置：/opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

Linux系统中获取JDK的安装路径：

echo $JAVA_HOME

文件里加上JAVA_HOME 路径：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64/jre

2.配置：core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

3. 配置：hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

启动集群

格式化NameNode（第一次启动时格式化，以后就不要总格式化）

bin/hdfs namenode -format

启动NameNode

sbin/hadoop-daemon.sh start namenode

启动DataNode

sbin/hadoop-daemon.sh start datanode

查看是否启动成功

jps

web端查看HDFS文件系统

http://hadoop101:50070/dfshealth.html#tab-overview