Hoodoop集群环境安装
一.安装前前准备
1.目录规划
3.服务器配置免密登入
4.安装包上传到/root/install 目录下
5.安装JDK只需在其中一个节点安装再通过scp 同步至其它服务器,环境变量配置
同步复制安装包:
scp -r /root/apps/jdk1.8.0_221 hpd2:/root/apps/jdk1.8.0_221
scp -r/root/apps/jdk1.8.0_221 hpd3:/root/apps/jdk1.8.0_221
同步复制环境变量文件(注意别忘记了 source /etc/profile 使配置生效):
scp /etc/profile hpd2:/etc/profile
scp /etc/profile hpd3:/etc/profile
检查是否安装成功
二、虚拟机服务安装配置(NAT桥接模式)
1.虚拟机安装
1.我们通过VWware来安装虚拟机,只需安装一个节点,其它两个节点我们通过复制的方式来安装(如图所示我们只需在VWware打开复制的虚拟机,更改虚拟机名称即可,但需要注意安装目录的规划)
2.虚拟机配网
1.配网,安装完成虚拟后我们需要对虚拟机的网络进行配置,此步也是最重要的一步
配网我们选择NAT桥接模式、并且重新生成MAC地址
2.在VWware完成了网络桥接模式配置之后 我们还需再虚拟机中配置
1.查看 70-persistent-net.rules 网卡名称(cat /etc/udev/rules.d/70-persistent-ipoib.rules )(复制的虚拟机此处可能会有多条记录,删除保留一条即可)
2修改mac地址,修改IP地址、配置静态IP(vim /etc/sysconfig/network-scripts/ifcfg-eno16777736)
-
注意网关(VWware虚拟网卡的网关IP)
-
修改:
IPADDR=XXX
GATEWAY=XXX
此时重启网络是报错的,并且ip无效
service network restart
注意此时应该重启虚拟机
reboot
防火墙关闭
service iptables stop && chkconfig iptables off
service iptables status
修改服务器名称和域名映射
vim /etc/hostname (修改服务器名称)
vim /etc/hosts (配置域名)
重复上述操作配置其它两个服务器节点
三、hadoop 集群环境安装
1.hadoop目录规划
/root/apps/data/hadoop HDFS的数据目录
/root/apps/data/hadoop/dfs/name 存放元数据,在hdfs-site.xml中配置
/root/apps/data/hadoop/dfs/data 存放数据目录,在hdfs-site.xml中配置
/root/apps/data/temp Hadoop的临时文件的目录,在core-site.xml中配置
2.安装hadoop
tar zxvf hadoop-2.8.1.tar.gz -C /root/apps/
3.配置hadoop环境变量
vim /etc/profile
export HADOOP_HOME=/root/apps/hadoop-2.8.1
export PATH=$PATH:$HADOOP_HOME/bin
4、修改hadoop的配置文件
/root/apps/hadoop-2.8.1/etc/hadoop/hadoop-env.sh Hadoop环境变量
/root/apps/hadoop-2.8.1/etc/hadoop/yarn-env.sh
/root/apps/hadoop-2.8.1/etc/hadoop/slaves 配置从节点
/root/apps/hadoop-2.8.1/etc/hadoop/core-site.xml Hadoop核心全局配置文件,其他文件的配置项可以覆盖它的配置项
/root/apps/hadoop-2.8.1/etc/hadoop/hdfs-site.xml HDFS配置文件,该模板的属性继承于core-site.xml
/export/hadoop-2.7.3/etc/hadoop/mapred-site.xml MapReduce的配置文件,该模板的属性继承于core-site.xml
/root/apps/hadoop-2.8.1/etc/hadoop/yarn-site.xml
其中mapred-site.xml默认不存在的,可以通过复制mapred-site.xml.template文件获得
修改配置文件 hadoop-env.sh
vi hadoop-env.sh
export JAVA_HOME=/root/apps/jdk1.8.0_221
修改配置文件 yarn-env.sh
vi yarn-env.sh
export JAVA_HOME=/root/apps/jdk1.8.0_221
修改配置文件 slaves
hpd2
hpd3
修改配置文件 core-site.xml
<configuration>
<!--指定hdfs的主端口 namenode要放在哪台机器上-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hpd1:9000</value>
</property>
<!--流缓冲区大小 128MB -->
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<!--用来指定使用hadoop时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/root/apps/data/temp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>
修改配置文件 hdfs-site.xml
<configuration>
<!--Namenode HTTP服务器地址和端口-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hpd1:9001</value>
</property>
<!--存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/root/apps/data/hadoop/dfs/name</value>
</property>
<!--数据节点的块本地存放目录-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/root/apps/data/hadoop/dfs/data</value>
</property>
<!--备份数-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--使WebHDFS(REST API)在Namenodes和数据节点-->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
修改配置文件:mapred-site.xml
<configuration>
<!--告诉hadoop以后MR(Map/Reduce)运行在YARN上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hpd1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hpd1:19888</value>
</property>
</configuration>
修改配置文件 yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hpd1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hpd1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value> hpd1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value> hpd1:8033</value>
</property>
</configuration>
到此Hadoop集群环境安装完成
启动前注意先格式化hadoop 环境:hadoop namenode -format
5、hadoop环境启动
1.启动HDFS
cd /root/apps/hadoop-2.8.1/sbin
./start-dfs.sh
2.访问HDFS管理界面 http://192.168.92.140:50070
3.启动Yarn
cd /root/apps/hadoop-2.8.1/sbin
./start-yarn.sh
4.访问MR管理界面 http://192.168.92.140:8088