hadoop伪分布式集群安装遇到的坑

这段时间，稍微有点空闲，然后自己对大数据这块也一直比较感兴趣，只是长期以来没有时间学习一下这方面知识。趁着最近一段时间有空，买了一本《hadoop权威指南》补充一下这方面的知识，技术上抽时间把linux的基础视频看了一下，以前没有玩过linux系统，所以要补充一下这方面的知识。然后按照之前别人写的博文，利用虚拟机，搭建了一个hadoop集群玩一下，一个主节点，2个子节点，一共3个（电脑很渣，3个虚拟机跑起来电脑己经不能动弹了）。大神就可以忽略本文了，初学的朋友可以一起讨论一下，呵呵。

具体的搭建过程，我这里就不写了，也是参考别人的，主要是参考了以下几个地方：

1、https://blog.csdn.net/pucao_cug/article/details/71698903  （主要是参考了这个安装过程，写得比较细）

2、https://blog.csdn.net/bramblewalls/article/details/78165904 （网络配置部分参考了这个，补充第1篇文章）

3、https://blog.csdn.net/huapenguag/article/details/78283249 （虚拟机的网络配置，以前没有对虚拟机网络这块有了解，只知道装了虚拟机可以与主机共享网络，不知道为什么可以，这次通过这篇文章又get到了新知识点）

安装集群过程其实并不复杂，主要是前期环境配置，如果是linux系统玩得比较6的，应该是很快的。好了，言归正传，为了与标题对应，主要是说一下初学者在安装过程中容易遇到的坑，也给自己记录一下。

一、安装思路的坑：

参考第一篇文章安装时，是先装3台虚拟机，然后一台台机器安装。全部搞完以后，才发现可以先装好一台，然后利用Vmare的克隆功能，直接把虚拟机克隆一下就行了。当然，克隆完以后，还是要去虚拟机里面修改不同节点的配置（比如网络、主机名等等）

 

二、安装过程的坑：

          1、建议要装正式安装集群前，先给机器安装文件共享服务（第一篇文章安装时会用到文件共享，主要是本机下载好的JDK、hadoop安装文件等要共享到Centos系统中，我是集群装到这一步时，才知道需要FTP，然而此时我己经把虚拟机断网运行了，又要改回去安装，很麻烦。）。我安装的是VSFtP这个，没有配置FtP用户了，直接使用的匿名用户上传文件到共享目录，再在Centos里面把文件复制到其他目录使用就行了。VSFTP的匿名用户目录，不要随意动或者删除，对LInux用户管理、权限管理不熟悉的话，带来的麻烦不小（自己亲测）。具体VSFTP的配置，自行百度吧。

          2、防火墙、端口规则通通关掉。这个是为了减少不必要的麻烦，否则要自己配置规则。

          3、第一篇博文最后有一点没有说清楚，就是对于hadoop的配置，是不是所有的节点的配置都需要配置。这里说一下，hadoop所有的节点，都需要有相同的配置，反正我是配置的。开始我只配置了主节点机器的hadoop配置文件，其余节点的没有配置。启动的时候，是可以启动的，以为没有问题，然后运行测试程序的时候才报异常也没有可执行的datanode。

           基本上就是以上几个坑，归根结点还是技术不行。现在碰到一个问题就是运行wordcount这个hadoop自带的程序的时候，一直卡在任务执行那里，百度还是太渣，找到的解决方案都没有解决这个问题，知道的大神可以告知一下，下一步学习一下自己写一个mapreduce程序看看，能不能执行成功。