Spark完全分布式集群搭建

前面已经给大家讲解过伪分布式spark的安装,和hadoop集群、以及zookeeper集群的搭建,今天就给大家说下Spark完全分布式集群搭建。
前提是已经搭建好了hadoop集群和zookeeper集群。
和前面创建时候一样,我们还是用3台机来搭建,一台主机,两台从机,就和hadoop集群搭建时候的步骤一样;
分别为每台虚拟机设置主机名:
hostname spark1
hostname spark2
hostname spark3
前面已经搭建过一个伪分布式的spark就不多说了,没安装好的可以去重新看看:
Spark简介以及最详细安装教程

因为是伪分布式的,所以没有配从机,今天配的是集群,就是要改slaves文件,把另外两台的主机名添加上去,并把localhost 改成自己改过后的主机名
cd soft/spark240/conf/

vi slaves

spark1
spark2
spark3

把主节点上配置好的spark拷贝到2个worker节点上

scp -r /opt/soft/spark240 root
  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值