hadoop2.6完全分布式环境搭建(上)
安装步骤:
- 安装虚拟机系统(安装1个即可,其余的可以通过克隆),并进行准备工作
- 安装JDK,并配置环境变量
- 克隆虚拟机系统,并修改hosts、hostname
- 配置虚拟机网络,使虚拟机系统之间以及和host主机之间可以通过相互ping通。
- 配置ssh,实现节点间的无密码登录
- 关闭防火墙
- master配置hadoop,并将hadoop文件传输到slave节点
- 配置环境变量,并启动hadoop,检查是否安装成功
1、安装虚拟机系统,并进行准备工作
安装虚拟机系统不用赘述,安装vmware——新建虚拟机——典型——选择镜像——设置账户密码——安装位置——配置——安装。
当虚拟机安装成功后,默认的是nat模式,不要立即将网络模式切换到桥接模式下,这时nat模式下应该可以联网,先安装几个软件,以后需要用到,当然在桥接模式下也可以联网,但是桥接模式是要设置成静态IP的,局限性比较大,下载安装完以后,接下来就不用联网了。
安装vim、安装ssh
apt-get install vim
apt-get install ssh
apt-get install openssh*
apt-get update
2、安装jdk,并配置环境变量
- 从oracle下载jdk安装包,并将安装包拖入到虚拟机当中
- 通过cd命令进入到安装包的当前目录,利用如下命令进行解压缩。
tar -zxvf jdk.....(安装包名称)
- 利用如下命令将解压后的文件夹移到/usr目录下
mv jdk1.8...(文件夹名称) /usr/java
配置环境变量
sudo vim /etc/profile
export
PATH=$PATH:/usr/java/bin:/usr/java/jre/binexport CLASSPATH=.:/usr/java/lib:/usr/java/jre/lib
source /etc/profile
3、克隆虚拟机并修改三个虚拟机的hosts、hostname
- 克隆虚拟机时要注意一定要选择完整克隆
修改hosts(三个虚拟机都要改)
vim /etc/hosts
192.168.1.150 master
192.168.1.151 slave1
192.168.1.152 slave2
配置虚拟机网络
在安装好虚拟机后,虚拟机有三种模式分别是nat模式、仅主机模式、桥接模式,此处对于此三种模式进行简单介绍:
nat模式:这是通nat地址转换共享主机Ip的模式,在安装好虚拟机后会发现有vmnet8虚拟网卡,这个网卡默认是nat模式,这时nat模式下的虚拟机相当于又组成一个局域网,而vmnet8相当于这个局域网的网关,在这种模式下,虚拟机之间可以相互ping通,但是不能与主机通信,因为主机与虚拟机之间有有一个vmnet8网卡。当然通过配置vmnet8网卡可以实现通信。
仅主机模式:这种模式没有地址转换能力,各个虚拟机之间是相互独立的,不能相互访问,每个虚拟机只能与主机通信。
桥接模式:这种模式是将虚拟网卡直接绑定到物理网卡上,可以绑定多个地址,这里是将网卡设置成混杂模式,然后实现可以收发多个地址的消息。
本人搭建环境采用的是桥接模式,这种模式拟真性更强一些,虽然有些麻烦。
注意:要将三个虚拟机的ip与主机都处于同一个网段,然后实验是否可以Ping通
5、配置ssh,实现节点间的无密码登录 (注意关闭防火墙 ufw disable)
- 产生密钥
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
- 导入authorized_keys
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
- 试验看是否安装成功
ps -e | grep ssh #查看是否有sshd进程
ssh localhost #尝试登录本地
* 远程无密码登录
scp authorized_keys u0@slave1:~/.ssh/authorized_keys_master #进入master的.ssh目录
cat authorized_keys_master >> authorized_keys* #u0是我的用户名 #进入slave1、slave2的.ssh目录
注意:第四步要在slave上重复,要使三者都能够无密码相互登录,重复完后可以利用如下命令试验,第一次需要输入密码绑定
千万要保证局域网内的Ip不要和虚拟机的ip冲突