前面已经给大家讲解过伪分布式spark的安装,和hadoop集群、以及zookeeper集群的搭建,今天就给大家说下Spark完全分布式集群搭建。
前提是已经搭建好了hadoop集群和zookeeper集群。
和前面创建时候一样,我们还是用3台机来搭建,一台主机,两台从机,就和hadoop集群搭建时候的步骤一样;
分别为每台虚拟机设置主机名:
hostname spark1
hostname spark2
hostname spark3
前面已经搭建过一个伪分布式的spark就不多说了,没安装好的可以去重新看看:
Spark简介以及最详细安装教程
因为是伪分布式的,所以没有配从机,今天配的是集群,就是要改slaves文件,把另外两台的主机名添加上去,并把localhost 改成自己改过后的主机名
cd soft/spark240/conf/
vi slaves
spark1
spark2
spark3
把主节点上配置好的spark拷贝到2个worker节点上
scp -r /opt/soft/spark240 root