hadoop生态系统（一）——hadoop集群搭建

虚拟机三台配置hadoop集群。
192.168.112.10 master
192.168.112.11 slave1
192.168.112.12 slave2

前提是配置好三台机器的互信和/etc/hosts文件。
官网下载hadoop安装包，下载的为压缩包，直接解压可以使用。这里以hadoop-2.6.5.tar.gz为例。
一、执行解压命令
tar -zxvf hadoop-2.6.5.tar.gz
解压出文件夹“hadoop-2.6.5”
二、修改配置文件
1）vim /usr/local/src/hadoop-2.6.5/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/src/jdk1.8.0_172（前提是安装了jdk并配置好了环境变量）

2）vim yarn-env.sh（与1在同级目录下，省略路径）

export JAVA_HOME=/usr/local/src/jdk1.8.0_172（前提是安装了jdk并配置好了环境变量）

3）vim core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.217.136:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/src/hadoop-2.6.5/tmp/</value>
</property>
</configuration>

4）vim hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/src/hadoop-2.6.5/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/src/hadoop-2.6.5/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

5）vim mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

6）vim yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
<!-- 关闭虚拟内存检查-->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
</configuration>

7）vim slaves

slave1
slave2

三、创建临时目录和文件目录
命令行执行：
mkdir /usr/local/src/hadoop-2.6.5/tmp
mkdir -p /usr/local/src/hadoop-2.6.5/dfs/name
mkdir -p /usr/local/src/hadoop-2.6.5/dfs/data
四、配置环境变量并刷新
vim ~/.bashrc

HADOOP_HOME=/usr/local/src/hadoop-2.6.5 
export PATH=$PATH:$HADOOP_HOME/bin

命令行执行：
source ~/.bashrc
五、拷贝文件包到从节点
命令行执行：
scp -r /usr/local/src/hadoop-2.6.5 salve1:/usr/local/src/
scp -r /usr/local/src/hadoop-2.6.5 salve2:/usr/local/src/
六、启动集群
1）初始化Namenode
命令行执行：
hadoop namenode -format
2）启动集群
命令行执行：
/usr/local/src/hadoop-2.6.5/sbin/start-all.sh（可以把$HADOOP_HOME/sbin加入环境变量中，就可以在任意目录执行start-all.sh）
3）查看集群状态
master

[root@master sbin]# jps
1858 ResourceManager
1699 SecondaryNameNode
2404 Jps
1512 NameNode
[root@master sbin]#

slave1

[root@slave1 ~]# jps
1443 DataNode
1832 Jps
1551 NodeManager
[root@slave1 ~]#

slave2

[root@slave2 log]# jps
1526 NodeManager
1418 DataNode
1818 Jps
[root@slave2 log]#

4）集群监控页面：浏览器输入“master:8088”

至此集群配置好并启动成功。
七、关闭集群
命令行执行：
/usr/local/src/hadoop-2.6.5/sbin/stop-all.sh（同上，把$HADOOP_HOME/sbin配置到环境变量中）

hadoop集群关闭。