spark环境搭建

操作系统：Ubuntu18.4

一、前提：安装java-jdk1.7以上

我选的是1.8版本，好像1.7版本对之后的spark部分模块不适合，所以选了这个版本。

安装方式：在网上下载jdk1.8版本的压缩文件，然后在terminal窗口输入命令：tar -zxvf 压缩文件名。解压结束后，terminal路径进入解压文件下面的bin文件，输入：pwd，查看当前路径

添加路径：terminal返回根目录，打开bash_profile文件，输入：nano bash_profile，添加下端代码：

export JAVA_HOME=/home/zsc/app/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH

关闭文件，输入：source bash_profile，保存修改路径。在terminal窗口输入命令：java -version，查看路径是否添加成功

二、安装spark

我选的版本是下面这个：

安装方法其实和上面jdk差不多。

首先下载压缩包，然后解压，terminal路径进入解压文件下面的bin文件，（虽然我对Python很熟悉，但是spark底层使用Scala语言实现的，以后如果要看里面源码，最终还是要懂Scala语法，所以我就选择安装Scala shell），输入：./spark-shell，就开始安装了，最后出现下面图样就说明成功啦！

为了验证spark能否正常使用，可以创建一个简单的hellospark.txt文件

hello spark
hello world
hello spark!

然后输入下面三行代码：

val file = spark.sparkContext.textFile("file:///home/zsc/data/hellospark.txt")
val wordcounts = file.flatMap(line =>line.split(" ")).map((word =>(word,1))).reduceByKey(_+_)
wordcounts.collect

//最后输出下面结果，就说明成功啦！
res0: Array[(String, Int)] = Array((spark!,1), (spark,1), (hello,3), (world,1))

还是像上面那样，添加路径到环境变量：terminal返回根目录，打开bash_profile文件，输入：nano bash_profile，添加下端代码：

export SPARK_HOME=/home/zsc/app/spark-2.4.0-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

关闭文件，输入：source bash_profile，保存修改路径。

为什么要添加路径到环境变量呢？不添加，每次都要到bin目录下运行，而添加后，可以在任意路径下运行

注意：如果想让添加的环境变量永久生效，不用每次开机都执行一遍：source bash_profile，可以在根目录下的文件 .bashrc加入下面这行代码：source /home/zsc/bash_profile，再执行：source .bashrc，永久环境变量就可以生效啦！