Spark集群部署

Spark集群部署

1.        安装环境简介

     硬件环境:两台四核cpu、4G内存、500G硬盘的虚拟机。

      软件环境:64为Ubuntu12.04 LTS;主机名分别为spark1、spark2,IP地址分别为1**.1*.**.***/***。JDK版本为1.7。集群上已经成功部署了Hadoop2.2,详细的部署过程可以参见另一篇文档Yarn的安装与部署

2.       安装Scala2.9.3

      1) 在/home/test/spark目录下面运行wget http://www.scala-lang.org/downloads/distrib/files/scala-2.9.3.tgz命令,下载scala的二进制包。

      2) 解压下载后的文件,配置环境变量:编辑/etc/profile文件,添加如下内容:

export SCALA_HOME=/home/test/spark/scala/scala-2.9.3

export PATH=$SCALA_HOME/bin

      3)运行source /etc/profile使环境变量的修改立即生效。在spark2上执行相同的操作,安装scala。

3.        下载编译好的spark文件,地址为:http://d3kbcqa49mib13.cloudfront.net/spark-0.8.1-incubating-bin-hadoop2.tgz。下载后解压。

4.        配置conf/spark-env.sh环境变量,添加如下内容:

export SCALA_HOME=/home/test/spark/scala/scala-2.9.3

5.        在/etc/profile中配置SPARK_EXAMPLES_JAR以及spark的环境变量:添加如下内容:

export SPRAK_EXAMPLES_JAR=/home/test/spark/spark-0.8.1-incubating-bin-hadoop2/examples/target/scala-2.9.3/spark-examples_2.9.3-assembly-0.8.1-incubating.jar

export SPARK_HOME=/home/test/spark/spark-0.8.1-incubating-bin-hadoop2

export PATH=$SPARK_HOME/bin

6.        修改/conf/slaves文件,在文件中添加如下内容:

spark1

spark2

7.        使用scp命令将上述文件拷贝到spark节点的相同路径下面scp -rspark-0.8.1-incubating-bin-hadoop2 test@spark2:/home/test/spark:

8.        在spark1上启动spark集群,并检查进程是否成功启动。如下master和worker已经成功启动。



使用浏览器打开http://1**.**.*.***:8080/,其显示如下所示:






可以看到集群中的两个slave节点已经成功启动。

9.        运行spark自带的例子:./run-exampleorg.apache.spark.examples.SparkPi spark://master:7077,其结果如下所示:



在web界面能看到刚才运行的job如下所示:

 




参考网站:

1.        http://www.yanjiuyanjiu.com/blog/20130617/

2.        http://blog.csdn.net/zhanghuizaizhe/article/details/17380411

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值