去年研究过一阵子Hadoop,当时也只是部署了一个单机版和集群版的Hadoop系统,后来就放下了。
这次重新学习Hadoop,就根据记忆和网上的一些资料,重新在VMware虚拟机上部署了一个集群版的Hadoop系统,期间遇到各种问题(好几个感觉还是去年遇到过的,但当时的笔记丢失……早知道写博客多好~)。
部署过程还是挺简单,主要参考:
http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 这个博客。
问题点:
1、关闭防火墙。service iptables stop
这个问题困扰我好久,我也知道要关闭防火墙,但都是用普通用户执行,后来猛然间想起这个得用root权限执行,才恍然大悟……
2、配置hadoop.tmp.dir属性(core-site.xml文件中)。
这个改为/usr/hadoop/tmp 。系统默认的目录每次重启都会被干掉,得重新定义一个。
!!!!!!!!
3、我在配置完成后,启动Hadoop总是会发现无法启动DataNode,有时也启动不了集群节点(在集群节点jps查询没有东西)。
使用Hadoop dfsadmin -report检查,发现如下问题:
为什么需要超级权限呢?我的Hadoop目录和/usr/hadoop/tmp目录全部都将权限给了当前用户,而且参照网上观点,将hdfs-site.xml添加一个属性:
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
但还是不行。而用root用户则可以正常使用。待解决……