Spark+scala+Idea wordcount 示例

最新推荐文章于 2024-08-07 20:31:19 发布

zhumingyuan111

最新推荐文章于 2024-08-07 20:31:19 发布

阅读量3.6k

点赞数 1

分类专栏： spark 文章标签： scala spark

本文链接：https://blog.csdn.net/zhumingyuan111/article/details/73521974

版权

spark 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

上篇文章搭建了spark,并给出了java版本的WordCount示例，但是总感觉spark程序用scala语言编写才更好，因为scala语言会让spark程序很简洁，能在很大程度上提高开发效率，下面给出scala版本的WordCount.

idea项目搭建

首先用idea搭建一个maven工程。这里写图片描述
在main文件夹下创建scala文件夹，然后将scala文件夹设置成源码文件夹。右键工程名->open model setting ->Modules
选中scala将其设置为Sources
此处若不进行设置，在运行程序的时候将找不到我们的主函数，因为idea并没有编译这个文件。
这里写图片描述

maven文件

<dependencies>
        <!-- https://mvnrepository.com/artifact/org.scala-lang/scala-library -->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.11.11</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.1</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.11 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive_2.11 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
            <version>2.1.1</version>
        </dependency>

scala代码：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object WordCount {
  def main(args: Array[String]) {

    val conf = new SparkConf()
    conf.setAppName("wordcount")
    //conf.setMaster("local")
    val sc = new SparkContext(conf)
    val line = sc.textFile("/usr/local/hadoop/input")
    line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).saveAsTextFile("/usr/local/hadoop/output")
    sc.stop()
  }

}