Ubuntu16.4-Hadoop2.7.5分布式集群搭建（二）--- Spark集群搭建

一：Hadoop的安装与配置

若没有提前安装好hadoop，请移步：

Ubuntu16.4-Hadoop2.7.5分布式集群搭建（一）

一：scala的安装与环境配置

1. 下载：

下载地址：http://www.scala-lang.org/download/

2. 安装

将下载好的scala文件解压到"/usr/local"目录下面。

3. scala环境变量配置

使用hdfs用户，在终端输入"vim ~/.bashrc"，修改配置文件入下图

4. 刷新环境变量

使用hdfs用户，在终端输入"source ~/.bashrc", 并在终端输入"scala", 出现以下信息即为安装成功。

二：Spark的安装与配置

1. 下载

下载地址: https://mirrors.aliyun.com/apache/spark/

2. 安装

使用hdfs用户，将下载好的spark文件解压到目录"/usr/local/hadoop/"

3. 修改配置文件

(1). 先在终端输入"cp /usr/local/hadoop/spark-2.2.0/conf/spark-env.sh.template /usr/local/hadoop/spark-2.2.0/conf/spark-env.sh"，再输入"vim /usr/local/hadoop/spark-2.2.0/conf/spark-env.sh", 在文件最后添加以下内容:

export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.7.5/etc/hadoop/
export JAVA_HOME=/usr/local/jdk1.8.0
export HADOOP_HOME=/usr/local/hadoop/hadoop/hadoop-2.7.5
export SPARK_MASTER_IP=10.211.55.6
export SPARK_MASTER_HOST=10.211.55.6
export SPARK_LOCAL_IP=10.211.55.6
export SPARK_WORKER_MEMORY=200m
export SPARK_WORKER_CORES=2
export SPARK_HOME=/usr/local/hadoop/spark-2.2.0
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/hadoop-2.7.5/bin/hadoop classpath)

(2). 先在终端输入"cp /usr/local/hadoop/spark-2.2.0/conf/slaves.template /usr/local/hadoop/spark-2.2.0/conf/slaves"，再输入"vim /usr/local/hadoop/spark-2.2.0/conf/slaves", 修改文件内容如下：

master
node1
node2

4. 将spark发送到其他子节点

scp -r /usr/local/hadoop/spark-2.2.0/ hdfs@node1:/usr/local/hadoop/  
scp -r /usr/local/hadoop/spark-2.2.0/ hdfs@node2:/usr/local/hadoop/ 

5. 修改子节点配置文件

修改spark配置文件中的"spark-env.sh"，修改其中的"export SPARK_LOCAL_IP=xxx.xxx.xxx.xxx"为本机IP。

6. 启动spark服务

在终端输入"/usr/local/hadoop/spark-2.2.0/sbin/start-all.sh", 在三台主机终端分别输入"jsp", 可以看到各个节点都增加了“Worker”：

对于spark还在学习阶段，如有任何不妥，请您及时联系我。

email: 17126252@bjtu.edu.cn

版权声明：博客编写不易，转载时请注明出处，万分感谢 ！

http://blog.csdn.net/zyy_2018/article/details/79601544

Ubuntu16.4-Hadoop2.7.5分布式集群搭建（三）--- Hbase的安装与配置