Spark 0.9 安装

Spark安装

         将spark0.9装在/usr/local/spark中，scala和其他jar在编译的时候会自动安装的，但是需要联网，本次安装中scala的版本是2.10.3，jdk是1.7，hadoop是2.2.0]

我编译好的spark地址链接：http://pan.baidu.com/s/1mg9IpQw 密码：w14f

一、前期准备

1)        spark-0.9.0-incubating.t压缩包

二、编译

1)        通过FlashFXP将spark-0.9.0-incubating.t放在CentOs上

2)        tar -zxvf  /home/hadoop/spark-0.9.0-incubating.t -C/usr/local/

3)        mv  spark-0.9.0-incubating  spark

4)        cd spark

5)        开始编译

6)        sbt/sbt update compile  这里需要运行比较长的时间，我用了大概1.5个小时

7)        开始打包

8)        sbt/sbt assembly 这里也需要较长时间，大概1个小时吧，总共完成之后spark大概有1.7G

三、配置环境

1)        # vim /etc/profile 添加

#set spark path

export SPARK_HOME=/usr/local/spark

export PATH=$PATH:$SPARK_HOME/bin

2)        # source /etc/profile

3)        # mv spark-env.sh.templatespark-env.sh

4)        # vim spark-env.sh 添加

exportJAVA_HOME=/usr/java/jdk1.7.0_51

export HADOOP_HOME=/usr/hadoop

5)        # vim slaves

slave2

6)        # cp log4j.properties.templatelog4j.propertie

7)        将spark目录分发到slave上，并进行第1)步。

四、测试Spark

1)        $ ./sbin/start-all.sh

a)        Master: 输入jps，可以看到

           

b)        Slave：输入jps，看到

  

2)        网页地址：master:8080

3)        运行pi

4)        $ ./bin/run-exampleorg.apache.spark.examples.SparkPi local

五、遇到的问题

5.1 sbt-launch.jar不存在

去官网http://www.scala-sbt.org/，下载一个对应版本的sbt-launch.jar，放在spark/sbt/目录下

5.2 编译时的错误

         编译时，遇到的错误如图：

这是因为输入的命令有问题，正确的命令是：sbt/sbt assembly，我输入了：sbt/sbt assembly/,

就是最后的/这个符号，花了我不少时间。