Spark
spark学习
这孩子谁懂哈
坚持比努力更可怕/You Reap What You Sow
展开
-
Scala中reduce用法
reduce将RDD中元素前两个传给输入函数,产生一个新的return值,将新产生的return值与RDD中下一个元素(即第三个元素)组成两个元素,再被传给输入函数,这样递归运作,直到最后只有一个值为止。*/val rdd07 = sc.parallelize(1 to 10)val sum = rdd07.reduce((x, y) => x + y)println("sum is " + sum)...原创 2021-06-20 17:48:39 · 4695 阅读 · 0 评论 -
Scala中的-> 与 <-以及=>和_的解释
<-只会出现在for循环里面->只会出现在k->v里面但是=>就较为复杂了,一般主要是在匿名函数中的使用原创 2021-06-20 17:00:51 · 4788 阅读 · 0 评论 -
大白话讲解Spark中的RDD
资料中:Spark 中最基本的数据抽象是 RDD。RDD:弹性分布式数据集 (Resilient Distributed DataSet)。RDD的三个特性:分区,不可变,并行操作。• RDD 是 Spark 的最基本抽象,是对分布式内存的抽象使用,实现了以操作本地集合的方式来 操作分布式数据集的抽象实现• RDD 是 Spark 最核心的东西,它表示已被分区,不可变的并能 够被并行操作的数据集合,不同的数据集格式对应不同的 RDD 实现RDD特点:• RDD 必须是可序列化的•原创 2020-11-15 16:37:28 · 13393 阅读 · 1 评论