1. 安装JDK,scala
解压,添加环境变量
2. 修改/etc/hosts文件,将集群中所有机器名添加进去,还需添加127.0.0.1 localhost进去。
3. 安装zookeeper
4. 安装spark
(1)需要选择与hadoop版本相兼容的spark版本,我当前hadoop版本为2.5.2,spark选择spark-1.5.1-bin-hadoop2.4.tgz。
(2)解压,添加环境变量
(3)修改spark配置文件
1)在master节点上面进入/tairan/spark/spark-1.5.1/conf,vim spark-env.sh
2)vim slaves
3)将安装文件以及spark-env.