Spark2.2.1+hadoop2.6.1安装配置成功运行WordCount

    hadoop2.6.1安装配置可以参考：分布式环境搭建redhat7+hadoop2.6.1+jdk1.8+WordCount成功运行例子

Scala安装与配置

1.下载Scala包

2. 新建一个目录，将scala包复制进去使用如下命令解压

tar -zxvf scala-2.12.4.tgz

3. 配置环境变量

vi /etc/profile

在文件末尾增加以下内容：

export SCALA_HOME=/home/spark/scala-2.12.4

使用命令使文件生效

source /etc/profile

4.将解压后的包发送给slave节点

scp -r /home/spark/scala-2.12.4 root@slave1:/home/ spark/scala-2.12.4

scp -r /home/spark/scala-2.12.4 root@slave2:/home/ spark/scala-2.12.4

5.记得在slave节点上配置profile文件

6.使用命令查看Scala是否安装成功，显示如下即为成功

[root@master scala-2.12.4]# scala

Welcome to Scala 2.12.4 (Java HotSpot(TM)64-Bit Server VM, Java 1.8.0_131).

Type in expressions for evaluation. Or try:help.

Spark安装与配置

1.下载与当前hadoop版本相匹配的spark包

以下配置操作在master节点配置，配置好后发送到其他的slave节点

2.新建一个目录，将spark包复制进去使用如下命令解压

tar -zxvf spark-2.2.1-bin-hadoop2.6.tgz

3.配置环境变量

vi /etc/profile

在文件末尾增加以下内容：

exportSPARK_HOME=/home/spark/spark-2.2.1-bin-hadoop2.6/

export SCALA_HOME=/home/spark/sc