Spark Windows开发环境搭建

1. 参照：Spark在Windows下的环境搭建
2. 使用idea或者其他开发工具编写代码
3. 直接运行main 方法

代码示例：

package org.fashj.spark

import org.apache.spark.{SparkConf, SparkContext}

/**
  * @author zhengsd
  */
object SparkPi {
  def main(args: Array[String]) {
    val conf = new SparkConf()
    conf.setMaster("local").setAppName("SparkPi")
    val sc = new SparkContext(conf)
    val text = sc.textFile("file:\\C:\\devtools\\spark\\README.md")
    val result = text.flatMap(_.split(' ')).map((_, 1)).reduceByKey(_ + _).collect()
    result.foreach(println)

  }
}

---

可以用
Idea上使用Gradle构建Spark项目，也可以使用普通的Java项目方式。