搭建hadoop集群

1.虚拟机准备

首先通过 该文搭建好一台服务器
《适合小白的配置hadoop环境教程》

如何克隆出两个服务器

修改：
mac地址
ip地址
主机名
主机列表
添加主机互信

scp（secure copy）安全拷贝

scp定义：
scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
基本语法

scp    -r          $pdir/$fname              $user@hadoop$host:$pdir
命令   递归       要拷贝的文件路径/名称          目的用户@主机:目的路径

2.集群配置

2.1集群部署规划

	hadoop001（192.168.83.101）	hadoop002 （1921.168.83.102）	hadoop003（192.168.83.103）
HDFS	NameNode、DataNode	DataNode	SecondaryNameNode、DataNode
YARN	NodeManager	ResourceManager、NodeManager	NodeManager

2.2. 配置集群

配置core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
		<name>fs.defaultFS</name>
      <value>hdfs://192.168.83.101:9000</value>
</property>

配置hdfs-site.xml

<property>
		<name>dfs.replication</name>
		<value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>192.168.83.103:50090</value>
 </property>

配置yarn-site.xml

<!-- 指定YARN的ResourceManager的地址 -->
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop002</value>
</property>

配置salves，添加主机名称

分发配置文件

[root@hadoop001 etc]# scp -r hadoop root@hadoop002:/opt/hadoop/etc/
[root@hadoop001 etc]# scp -r hadoop root@hadoop003:/opt/hadoop/etc/

3.集群单点启动

只在主节点（hadoop001）执行

首先删除logs/tmp

rm -rf logs/
rm -rf tmp/

格式化namenode

hadoop namenode -format

启动

start-all.sh

访问web测试成功

4.后续

博主在后续部署过程当中发现，DataNode、ResourceManager总是启动失败，这时可以手动单独启动。
启动 ResourceManage

yarn-daemon.sh start resourcemanager

启动DataNode

hadoop-daemon.sh start datanode