![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
zisuu
这个作者很懒,什么都没留下…
展开
-
spark(三)--spark-streaming---(Dstream图文详解,基于IDEA开发)
前言这篇文章主要讲述了spark几大核心内置模块中的spark-streaming(流数据的处理),主要围绕Dstream的入门,创建,转化展开,图文详解spark其他核心模块的系列文章:spark(一)–spark-core–RDD入门实战spark(二)–spark-core—RDD进阶知识(图文详解,基于IDEA开发)目录 Spark Streaming概述Dstream入门案例及解析Dstream的创建–各个数据源hdfs数据源RDD队列 kafka数据源自定义数据源原创 2020-05-20 17:39:54 · 603 阅读 · 0 评论 -
spark(二)--spark-core---RDD进阶知识(图文详解,基于IDEA开发)
val words=sc.textFile("in/word.txt").flatMap(_.split("\t")).map((_,1)) val count=words.reduceByKey(_+_); //查看words的Lineage println(words.toDebugString); //查看“count”的Lineage println(count.toDebugString);原创 2020-05-19 22:31:47 · 481 阅读 · 0 评论 -
spark(一)--spark-core--RDD入门实战(详解各大api,基于IDEA开发)
目录RDDRDD创建操作RDD转化操作_0. 入门经典程序,统计字符在项目的父目录下创建in目录,创建word.txt def main(args: Array[String]): Unit = { //上下文 var conf=new SparkConf().setAppName("WordCount").setMaster("local"); var sc=new SparkContext(conf); sc.setLogLevel("ERROR")原创 2020-05-18 22:01:02 · 1070 阅读 · 0 评论