Spark2.1集群环境搭建小结（1）

操作系统Ubuntu 用户root

1 打开Terminal，使用 java -version

检查是否安装，若未安装，使用

sudo apt-get install default-jre 安装OpenJDK;

或使用

sudo apt-getinstall oracle-java8-installer

sudo apt-getinstall oracle-java8-set-default

安装java 8;

2 设置环境变量

(1)在/etc/profile中设置JAVA环境变量；

export JAVA_HOME="jdk的安装路径"

export JRE_HOME=$JAVA_HOME/jre

export JAVA_BIN=$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

使用source /etc/profile命令生效；

(2)在/etc/environment 中设置JAVA环境变量；

JAVA_HOME="jdk的安装路径"

JRE_HOME=$JAVA_HOME/jre

JAVA_BIN=$JAVA_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

输入以下命令验证java -version

3 下载spark-2.1.0-bin-hadoop2,使用chmod 755改变./bin和./sbin中的文件属性；

在./conf/spark-env.sh增加

export SPARK_MASTER_IP="master IP"
export JAVA_HOME="jdk的安装路径"，同/etc/profile的JAVA_HOME;

./bin/spark-shell运行单机类型的SPARK环境，若成功，则会出现：

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.1.0