Java版Spark的Eclipse本地Windows开发环境搭建

开发前需要准备好JDK、Scala、Hadoop、Spark环境。步骤如下：

　　第一步：安装JDK

　　第二步：安装Scala

　　第三步： 配置Spark环境变量

　　第四步：安装Hadoop客户端

　　第五步：安装Eclipse

第一步：安装JDK

省略，配置完验证是否安装成功

 

第二步：安装Scala

1、下载地址：http://www.scala-lang.org/download/

2、下载完成后解压，增加PATH 变量

比如解压目录是D:\scala-2.11.11，然后新增环境变量SCALA_HOME，值为D:\scala-2.11.11，并把SCALA_HOME增加到环境变量PATH，即 ;%SCALA_HOME%\bin

进入cmd 界面测试Scala 是否安装成功:
C:\Users\Administrator>scala
Welcome to Scala 2.11.11 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_51).
Type in expressions for evaluation. Or try :help.

 

第三步： 配置Spark环境变量

1、下载Spark

下载地址：http://spark.apache.org/downloads.html，如spark-1.6.0-bin-hadoop2.6.tgz，spark版本是1.6.0，对应的hadoop版本是2.6。

2、解压，配置Spark的环境变量

             新增SPARK_HOME 变量，值为  D:\spark-1.6.0-bin-hadoop2.6
             增加PATH变量为  ;%SPARK_HOME%\bin

 

第四步：安装Hadoop客户端

Spark是基于Hadoop之上的，运行过程中会调用相关Hadoop库，如果没配置相关Hadoop运行环境，会提示相关出错信息，虽然也不影响运行。Windows下开发Spark不需要在本地安装Hadoop，但是需要winutils.exe、hadoop.dll等文件。

1、下载Windows下Hadoop工具包（分为32位和64位的），比如hadoop-2.6.0.tar.gz

2、解压到D:\hadoop2.6\hadoop-2.6.0-cdh5.6.0，新建HADOOP_HOME变量，并添加到系统Path变量中;%HADOOP_HOME%\bin

第五步：安装Eclipse

省略。使用lambda语法，需要开发工具配置jdk8编译环境

----------------------------------------------------------------------------------------------------------------------------------------------------------------

以上环境准备好之后，开始Java语言进行Spark开发，local模式应用程序开发

1. 新建Maven 工程

2、配置pom文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.tydic</groupId>
    <artifactId>SparkDemo</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <packaging>jar</packaging>

    <name>SparkDemo</name>
    <url>http://maven.apache.org</url>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>

        <dependency>
            <groupId>jdk.tools</groupId>
            <artifactId>jdk.tools</artifactId>
            <version>1.7</version>
            <scope>system</scope>
            <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.6.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase</artifactId>
            <version>1.0.0</version>
            <type>pom</type>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-common</artifactId>
            <version>1.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.6.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.0.0</version>
        </dependency>
    </dependencies>
</project>
 

3、Java代码（读取本地文件，统计a和b字母个数）

package com.zyl.local;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

public class LocalFileDemo {

    public static void main(String[] args) {
        String logFile = "file:///D:/spark-1.6.0-bin-hadoop2.6/README.md";
        SparkConf conf = new SparkConf().setAppName("LocalFileDemo").setMaster("local[*]");
        JavaSparkContext sc = new JavaSparkContext(conf);
        JavaRDD<String> fileRdd = sc.textFile(logFile).cache();
        long numAs = fileRdd.filter(x->x.contains("a")).count();
        long numBs = fileRdd.filter(x->x.contains("b")).count();
        System.out.println("Lines with a: " + numAs + ",lines with b: " + numBs);
    }

}
 

4、运行结果

 

总结：本地开发spark程序，主要是开发环境搭建较为复杂，但是方便后续开发代码调试，磨刀不误砍柴工嘛！！！