vm(centos) 虚拟机安装 for hadoop

 

格式化 磁盘：mkfs -t ext3 /dev/sba

磁盘分区     ：fdisk /dev/sba

mount /dev/sba /home

如果密钥认证出现问题，如
open /root/.ssh/id_rsa failed: Permission denied.
需要关闭SELinux。修改/etc/selinux/config文件中的SELINUX=”" 为 disabled ，然后重启。如果不想重启系统，使用命令setenforce 0

 

由于hadoop要启动5个进程 如果用虚拟机安装 有时候 namenode 或者其他节点无法启动,原因有可能是操作系统直接干掉进程

可以查看日志 tail -100 /var/logmessages|grep Kill

会发现 操作系统Out of memory  Kill process........

这个是操作系统保护机制,当操作系统内存不足的时候会杀掉占用内存最多的进程释放资源,  这样虽然不好单总比宕机要好吧....

 

/etc/hosts 配置主机名与ip对应关系

/etc/hostname配置主机名

当 namenode和 jobtracker部署在两个服务器时候，应该将 jobtracker公钥配置在 namenode 即 jobtracker可以免登陆访问namenode,

同样 tasktracker是在启动jobtracker时候启动的，因此 也应该将jobtracker的公钥配置在datanode上面

 

eclipse插件 无法连接 hadoop， 执行命令：./hadoop dfsadmin -safemode leave