![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
spark学习
这孩子谁懂哈
坚持比努力更可怕/You Reap What You Sow
展开
-
Scala中reduce用法
reduce将RDD中元素前两个传给输入函数,产生一个新的return值,将新产生的return值与RDD中下一个元素(即第三个元素)组成两个元素,再被传给输入函数,这样递归运作,直到最后只有一个值为止。*/ val rdd07 = sc.parallelize(1 to 10) val sum = rdd07.reduce((x, y) => x + y) println("sum is " + sum) ...原创 2021-06-20 17:48:39 · 4680 阅读 · 0 评论 -
Scala中的-> 与 <-以及=>和_的解释
<-只会出现在for循环里面 ->只会出现在k->v里面 但是=>就较为复杂了,一般主要是在匿名函数中的使用原创 2021-06-20 17:00:51 · 4732 阅读 · 0 评论 -
大白话讲解Spark中的RDD
资料中: Spark 中最基本的数据抽象是 RDD。 RDD:弹性分布式数据集 (Resilient Distributed DataSet)。 RDD的三个特性:分区,不可变,并行操作。 • RDD 是 Spark 的最基本抽象,是对分布式内存的抽象使用,实现了以操作本地集合的方式 来 操作分布式数据集的抽象实现 • RDD 是 Spark 最核心的东西,它表示已被分区,不可变的并能 够被并行操作的数据集合, 不同的数据集格式对应不同的 RDD 实现 RDD特点: • RDD 必须是可序列化的 •原创 2020-11-15 16:37:28 · 13382 阅读 · 1 评论