spark
迷途小羔羊。
down to the earth
展开
-
Spark-RDD
文章目录1.RDD是什么2.RDD的主要特征:3.RDD的创建:1)从集合中创建RDD:2)从外部存储创建RDD:3)RDD的转换:1.RDD是什么RDD:弹性分布式数据集(Resillient Distributed Dataset),是Spark中最基本的数据抽象。代码中是一个抽象类,它代表一个不可变、可分区、里面的元素可并行计算的集合。2.RDD的主要特征:1)RDD是由一系列的pa...原创 2020-03-12 14:19:50 · 429 阅读 · 0 评论 -
Scala语法
文章目录1.var与val2.Array与List3.Tuple4.Set5.Map映射:键值对。6.函数7.循环遍历8.Class9.Object10.匿名函数(Lamba表达式)11.占位符12.filter13.flatten14.flatMap15.reduce1.var与valvar是可变的。(能被赋值多次)val类似于java中final修饰的常量,是不可变的。(只能被赋值一次)...原创 2020-03-11 18:06:43 · 324 阅读 · 0 评论 -
Scala实现wordcount
import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { val config: SparkConf = new SparkConf().setMaster("l...原创 2019-12-26 20:06:52 · 233 阅读 · 0 评论 -
执行spark-shell命令时出现java.net.ConnectException
亲测有效!!https://blog.csdn.net/u011817217/article/details/87611801转载 2019-12-15 15:16:34 · 747 阅读 · 0 评论