Hadoop、Spark启动报错Caused by: java.net.BindException: Cannot assign requested

上一篇笔记记录阿里云上搭建hadoop集群

下一篇笔记记录阿里云上搭建spark集群

先贴一下错误:

之前在本机上搭建的时候是没问题的，今天发现在阿里云上的两个服务器之上重新走一遍流程，结果发现namenode节点就是没有启动起来，后来查看log发现之前以为是50077端口被占用了

ss -tanlp|grep 50077

结果查看端口根本就没有被占用，重新查看log发现下面的提示

Caused by: java.net.BindException: Cannot assign requested address

最后查询才发现错误在于

阿里云服务器无法绑定公网IP的地址，即在 /etc/hosts 需要这样设置

内网IP地址  你的hostname
公网IP地址  别的hostname

也就是在搭建的时候需要将你的

主节点master节点里面的ip写成内网ip

重新启动就ok

在work节点中 启动spark的时候会报错：

java.net.BindException: 无法指定被请求的地址: Service 'sparkDriver' failed after 16 retries!

解决方法就是在work节点中 /etc/hosts 也需要这样设置

内网IP地址  当前work节点的hostname
公网IP地址  主节点master的hostname