1 Hadoop集群环境搭建概述
所谓集群,就是一组通过网络互联的计算机,集群中的每一台计算机称作一个节点,Hadoop集群搭建就是在这个物理集群之上安装部署Hadoop相关的软件,然后对外提供大数据存储和分析等相关服务。
虚拟机是什么?虚拟的计算机,功能和真实计算机几乎完全一样如何搭建虚拟机?在真实电脑上安装虚拟化软件来实现虚拟机的搭建虚拟化软件有哪些?VMware workstation和Virtualbox版本选择及注意事项12,13,14,15,16,17都可以,但是要注意输入对应版本的序列号
2 Hadoop分布式环境搭建
(0)准备模板虚拟机
(1)hadoop100 虚拟机配置要求如下:
(2)关闭防火墙,关闭防火墙开机自启动
[root@hadoop100 ~]# systemctl stop firewalld[root@hadoop100 ~]# systemctl disable firewalld[root@hadoop100 ~]# systemctl status firewalld
![](https://img-blog.csdnimg.cn/25433a2b76084951826df6acc0410a93.png)
(3)创建hadoop 用户,并修改hadoop 用户的密码
[root@hadoop100 ~]# useradd hadoop[root@hadoop100 ~]# passwd hadoop
(4)配置hadoop 用户具有root 权限,方便后期加sudo 执行root 权限的命令
[root@hadoop100 ~]# vim /etc/sudoers## Allow root to run any commands anywhereroot ALL=(ALL) ALLhadoop ALL=(ALL) ALL
![](https://img-blog.csdnimg.cn/a4427c64b98449ff9e2ebeedd14c4d62.png)
(5)在/opt目录下创建文件夹,并修改所属主和所属组
[root@hadoop100 ~]# chown hadoop:hadoop /opt/module[root@hadoop100 ~]# chown hadoop:hadoop /opt/software
![](https://img-blog.csdnimg.cn/51cabdea13744679a8d9d61d26bb6ae1.png)
![](https://img-blog.csdnimg.cn/b0b722ce983149a6b77ac0804351321f.png)
(6)卸载自带jdk(最小化安装不需要)
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
(7)配置静态ip
1)配置虚拟机IP
这里我写的比较简略,因为我已经很熟练了,这个是我当时学配置静态ip的博客,会改就行
[root@hadoop100 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
[root@hadoop100 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
OWSER_ONLY=no
BOOTPROTO=static
……
NAME=ens33
UUID=9473daea-1240-40a7-ada1-a2aa06f7b09d
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.133.100
PREFIX=24
GATEWAY=192.168.133.2
DNS1=192.168.133.2
上面是我之前的ip地址,下面这个是我配置的ip地址
重启一下网络,发现ip变成自己改的ip
(8)修改主机名称
1)修改主机名称
[root@hadoop100 ~]# vim /etc/hostnamehadoop100
[root@hadoop100 ~]# vim /etc/hosts192.168.10.100hadoop100192.168.10.101hadoop101192.168.10.102hadoop102192.168.10.103 hadoop103
[root@hadoop100 ~]# reboot
192.168.10.100hadoop100192.168.10.101hadoop101192.168.10.102hadoop102192.168.10.103 hadoop103
![](https://img-blog.csdnimg.cn/81599c18aca846a7911b21d2355598fb.png)
![](https://img-blog.csdnimg.cn/4d4238986d794ab5bd4cd9bde615b174.png)
![](https://img-blog.csdnimg.cn/120cc959b5b54af4b42ef96b7b3e512f.png)
![](https://img-blog.csdnimg.cn/edde22b665744e8ebd4561b0a99d7b89.png)
![](https://img-blog.csdnimg.cn/be0e4b4ce546472a9fec8e28615a0d58.png)
![](https://img-blog.csdnimg.cn/b5d32dc8837b4af4b7aa95f5d947b71f.png)
![](https://img-blog.csdnimg.cn/ebcdcf8fdc484b4a88101b71c9e2b4ae.png)
![](https://img-blog.csdnimg.cn/a169ce3268b44be799ff0a45eea0291c.png)
![](https://img-blog.csdnimg.cn/ecd26e3cc0804679b61d116679d76e99.png)
![](https://img-blog.csdnimg.cn/17d4721f921843c5884d636c812544dc.png)
![](https://img-blog.csdnimg.cn/895c1e9a627b4072841d1cdb0bfac189.png)
![](https://img-blog.csdnimg.cn/d656b88a7c0e4f66a17def3d3e8afad5.png)
![](https://img-blog.csdnimg.cn/2b5bb740c3eb47a5ab15f1dafb3f758f.png)
![](https://img-blog.csdnimg.cn/3ad75d0864b34dd7ab486dee84493104.png)
![](https://img-blog.csdnimg.cn/b3fed55856bb4ae281bfb7794d1b538a.png)
![](https://img-blog.csdnimg.cn/eb91d28c67f94080a12514a05acc7b6b.png)
![](https://img-blog.csdnimg.cn/6d01fc3be0dd40bd89eaf37a6dcc0b69.png)
![](https://img-blog.csdnimg.cn/af50e995a6df4cf18d7561388ac17b6b.png)
![](https://img-blog.csdnimg.cn/48356f936251400bb839997d6ce4341c.png)
![](https://img-blog.csdnimg.cn/b1dc533dcf9349c4a90e052a92e16e58.png)
![](https://img-blog.csdnimg.cn/b93d3748e34d4b34a5bf41edc082a30e.png)
![](https://img-blog.csdnimg.cn/4e3d4ecc402f443cb8a841191f65f413.png)
![](https://img-blog.csdnimg.cn/5f34737c5cf44d1a8f74926ab5b27e1c.png)
![](https://img-blog.csdnimg.cn/fddd32031fc840a681948367212b735a.png)
![](https://img-blog.csdnimg.cn/56a148e152814f46a32dfc8fd3a00360.png)
![](https://img-blog.csdnimg.cn/4144cec3227d4f71b1015ad2b542cf4f.png)
![](https://img-blog.csdnimg.cn/e5a34d3601c9437c9d2a6f1139ba67c3.png)
![](https://img-blog.csdnimg.cn/a70adf80506f4d4198c604476ebddd85.png)
![](https://img-blog.csdnimg.cn/0d2279d9d25d4f3aa9eb5abc2fa900d9.png)
![](https://img-blog.csdnimg.cn/881757e946d04e01aeff72ca0345caa3.png)
![](https://img-blog.csdnimg.cn/ea7516aa9de748e58339646bb1b5ff3b.png)
![](https://img-blog.csdnimg.cn/d414fe16d7524343a5c4e83fcec505ca.png)
实验总结 : 单机模式在进行字母统计例子是时,命令写错了,以为jar包不能用。
伪分布式模式时上课没有注意到完全分布式修改的配置文件都是xml的,做了好久日志一直说我配置文件有问题,最后配置xml才整出来,还有进行ssh无密码登录时,对普通用户和root进行无密码登录是不一样的,我以为对root进行无密登录对其普通用户也会无密登。
完全分布式模式,在进行无密登录ssh hadoop检验之后,应该登出,还有写同步脚本,从windows写完之后上传,就说解释器损坏不可用,其实是windows与linu换行的问题,最后在进行web端登录时,上传文件后web端不能查看文件内容,原因是我没有把ip和主机名的映射写到windows的host文件中,还用做实验时中午吃饭去了。回来的时候xync不能用了,我又重新加了权限,配到环境变量才能用,不知道为什么。最后应该注意端口对应的是哪个服务以及每条命令的含义。