在配置过程中,从原来的一个主节点,一个从节点的hadoop集群,增加了一个从节点。但是在启动过程中总是有一个节点的datanode可以启动而另一个节点的无法启动,而且每次在主节点start-all.sh时,从节点的jps都可以看到datanode之后,datanode又瞬间被关闭。网上找了一点资料之后总结如下:
首先需要关闭所有节点的防火墙:
sudo ufw disable
然后,删除几个文件:
sudo rm -rf /tmp/hadoop*
sudo rm -rf $HADOOP_HOME/tmp/
mkdir $HADOOP_HOME/tmp
$HADOOP_HOME为已经配置好的安装hadoop的目录,其中tmp也就是在core-site.xml中配置的hadoop.tm.dir的位置。
本来以为这一步只需要删除主节点的相关配置信息。其实要在所有的节点上执行以上三条命令。
最后重新hadoop namenode -format
之后在开启start-all.sh就可以了。