搭建Hadoop VM集群

最新推荐文章于 2023-10-22 14:43:29 发布

天外有菌

最新推荐文章于 2023-10-22 14:43:29 发布

阅读量1.5k

点赞数

分类专栏： Hadoop 文章标签： Hadoop

本文链接：https://blog.csdn.net/zhangjun2915/article/details/11872873

版权

本文记录了在VM上搭建Hadoop分布式环境的过程，包括VM的创建、SSH无密码登录配置、Hadoop节点设置，以及遇到的问题和解决方法。在实际操作中，遇到datanode和tasktracker启动后立即停止的问题，通过对日志分析解决了异常。

摘要由CSDN通过智能技术生成

之前一直在单节点psudo-distributed模式下跑，觉得有必要试试搭建一个真正的distributed环境。期间参考了不少文章，这里做个小笔记。

这里利用VMware创建一台VM做master，再链接克隆出一台VM做slave。碰到主要的问题有：1. 如何设置VM网络连接 2. 链接克隆slave VM后，如何修复网络配置。这已经在另外一篇文章中做了笔记。

master	192.168.15.131
slave	192.168.15.132

每次启动master(运行bin/start-all.sh)时，创建每个deamon进程都提示输入密码，挺烦人的，最好配置ssh以无密码登录：

a. 对于namenode和jobtracker，需要配置master本身的ssh

yum install openssh-server.x86_64
ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

b. 对于datanode和tasktracker，需要配置slave的ssh

scp root@192.168.15.131:~/.ssh/autorized_keys .
cat ./autorized_keys >> ~/.ssh/authorized_keys<

关注

专栏目录