ubuntu16.04
hadoop
hadoop3.1.0
前言
本文尝试源码安装部署hadoop3.1.0
系统为ubuntu16.04
需要具有一定基础,一些基本操作只是简略带过
我主要把各个部署方案的配置文件综合了起来,把一些常用的配置以及说明都写了上来
适合快速部署hadoop的朋友
1 服务器概览
序号 | 主机名 | IP | 配置 | 功能 | 备注 |
---|---|---|---|---|---|
1 | master | 192.168.136.148 | 内存:4G CPU:2vCores |
主节点 namenode resourcemanager |
|
2 | standby | 192.168.136 | 内存:4G CPU:2vCores |
备用主节点 secondaryNameNode |
默认在master上 |
3 | slave1 | 192.168.136.149 | 内存:2G CPU:1vCores |
从节点 DataNode NodeManager |
|
4 | slave2 | 192.168.136.150 | 内存:2G CPU:1vCores |
从节点 DataNode NodeManager |
2 部署
2.1 配置hosts文件,设置静态IP与主机名
root@master:~# cat /etc/hosts
127.0.0.1 localhost
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
192.168.136.148 master
192.168.136.149 slave1
192.168.136.150 slave2
2.2 配置时间同步
2.3 关闭防火墙(centos关闭selinux)
2.4 配置master免密登录其它节点
2.5 JDK安装
源码安装或者apt安装
环境变量(apt安装不需要配置环境变量)
export JAVA_HOME=/opt/java/jdk1.8.0_172 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
2.6 安装hadoop
下载hadoop,将其解压至/opt/目录下
[root@node1 opt]# cd /opt/ & mkdir hadoop && cd hadoop
#解压hadoop-3.1.0.tar.gz
[root@node1 hadoop]# tar -zxvf hadoop-3.1.0.tar.gz
#修改环境变量
[root@node1 hadoop]# vim /etc/profile
# 在最后下添加
export HADOOP_HOME=/opt/hadoop/hadoop-3.1.0
export PATH=$PATH:$HADOOP_HOME/bin
source /etc/profile