spark standalone work扩展

本文档详细介绍了如何在已有的Spark Standalone集群上进行扩展,包括添加新的Worker节点。首先确保所有节点配置了Java环境和下载了Spark安装包,并更新hosts文件。接着创建名为'spark'的用户,并实现免密登录。然后进行目录权限设置。在master和node1节点上完成特定的Spark配置。最后,逐步指导如何将node2作为新的Worker节点加入到集群中,以扩展Spark的工作能力。
摘要由CSDN通过智能技术生成

所有节点配置Java环境以及下载spark安装包

所有节点配置hosts文件

192.168.2.28 master
192.168.2.29 node1
192.168.2.30 node2

1. 创建spark用户

[root@master ~]# useradd spark
[root@node1 ~]# useradd spark

2. 配置免秘钥登录

测试:

[spark@master ~]$ ssh master    登录自己
Last login: Thu Feb  9 15:12:08 2017 from master
[spark@master ~]$ exit
logout
Connection to master closed.
[spark@master ~]$ ssh node1     登录node1
Last login: Thu Feb  9 14:55:46 2017
[spark@node1 ~]$ exit
logout
Connection to node1 closed.

3. 目录权限设置

master:
[spark@master ~]$ ll -d /opt/source/spark-
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值