RDD-combineByKEY()详解

最新推荐文章于 2021-08-11 14:00:25 发布
最新推荐文章于 2021-08-11 14:00:25 发布
阅读量715 收藏
点赞数 1
分类专栏： 大数据 文章标签： combineByKey RDD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangshuaijun123/article/details/102536426
版权

combineByKey()
(createCombiner,mergeValue,margeCombiners,partitioner)

最常用的基于key的聚合函数，返回的类型可以和输入的类型不一样
许多基于key的聚合函数有用到了它，像groupByKey()

combineByKey():

遍历partition中的元素，元素中的key，要么之前见过，要么不是
如果是新元素，则会使用createCombiner()函数
如果是这个partition中的元素，则会使用mergeValue()函数
合计每个partitioin的结果的时候，使用mergeCombiners()函数

eg:求平均值
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

zsj.python之路
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
第148讲：Spark RDD中Transformation的combineByKey、reduceByKey详解
段智华的博客
05-06 1531
第148讲：Spark RDD中Transformation的combineByKey、reduceByKey详解我们看一下PairRDDFunctions.scala的reduceByKey：类似于Hadoop中combiner，reduceByKey在每一个mapper进行本地合并，合并以后才把结果发送给reduce。他调用的其实就是combineByKey。/** * Merge the
spark算子：combineByKey详解
B11050101的博客
10-19 800
combineByKey是Spark中一个比较核心的高级函数， groupByKey、reduceByKey的底层都是使用combineByKey实现的，所以需要弄清楚它。 def combineByKey[C](createCombiner: (V) => C,                                        mergeValue: (C, V) =&gt...
combineByKey函数详解
yuxiang1014的专栏
09-13 1594
如下给出combineByKey的定义，其他的细节暂时忽略(1.6.0版的函数名更新为combineByKeyWithClassTag) def combineByKey[C]( createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C, ...
Spark核心RDD：combineByKey函数详解
热门推荐
Javis486的专栏
09-14 3万+
为什么单独讲解combineByKey？ 因为combineByKey是Spark中一个比较核心的高级函数，其他一些高阶键值对函数底层都是用 groupByKey实现的。诸如 groupByKey,reduceByKey等等 如下给出combineByKey的定义，其他的细节暂时忽略(1.6.0版本期函数名更新为combineByKeyWithClassTag) def combineByK
Spark算子篇 --Spark算子之combineByKey详解
weixin_34379433的博客
01-07 369
一。概念 rdd.combineByKey(lambda x:"%d_" %x, lambda a,b:"%s@%s" %(a,b), lambda a,b:"%s$%s" %(a,b))三个参数（都是函数）第一个参数：给定一个初始值，用函数生成初始值。第二个参数：combinbe聚合逻辑。第三个参数：reduce端聚合逻辑。 二。代码 from pyspark.conf import ...
RDD的CombineBykey
夫唯不争，故天下莫能与之争。
10-23 1103
需要对一个KV类型的RDD按照Key进行分组，以前一直用groupBy，但是这个函数比较耗费内存，会首先进行shuffle，数据量比较大的时候，需要把数据都传输过去，所以比较耗费时间及内存，甚至会直接OOM。 CombineBykey在一定程度上优化了groupby，类似于MR中的combine，在shuffle传递之前在map端进行一次合并，这样在数据量很大的时候会减少很多不必要的传输。 C
Spark算子：RDD键值转换操作(2)–combineByKey、foldByKey
sdujava2011
01-28 804
combineByKey def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RDD[(K, C)] def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) =>
RDD操作之combineByKey
Gscsd的博客
04-07 586
combineByKey   combineByKey  接收三个参数，分别为createCombiner、mergeValue、mergeCombiners      createCombiner：用于产生累加器键的初值。如lambda x:(x,1)，实现输入RDD[(K,V)]中V到结果RDD[(K,C)]中C的转换，V                                   和...
Spark RDD算子(五) CombineByKey
timicai的博客
11-11 350
CombineByKey 聚合数据一般在集中式数据比较方便，如果涉及到分布式的数据集，可以使用combineByKey, 这个是各种聚集操作的鼻祖 def combineByKey[C](createCombiner : Function1[V, C], mergeValue : Function2[C, V, C], mergeCombiners : Function2[C, C, C]) : RDD[scala.Tuple2[K, C]] combineByKey涉及三个方法：createComb
Spark RDD算子【三】combineByKey
freefish_yzx的博客
08-23 379
createCombiner: combineByKey() 会遍历分区中的所有元素，因此每个元素的键要么还没有遇到过，要么就 和之前的某个元素的键相同。如果这是一个新的元素， combineByKey() 会使用一个叫作 createCombiner() 的函数来创建 那个键对应的累加器的初始值（有时候能起到类型转换的功能） mergeValue: 如果这是一个在处理当前分区之前已经遇到的键， 它会使用 mergeValue() 方法将该键的累加器对应的当前值与这个新的值进行合并 mergeCombi
Sprak combineByKey详解
jxt120433的博客
08-11 362
1、背景 在数据分析中，处理Key，Value的Pair数据是极为常见的场景，例如我们可以针对这样的数据进行分组、聚合或者将两个包含Pair数据的RDD根据key进行join。从函数的抽象层面看，这些操作具有共同的特征，都是将类型为RDD[(K,V)]的数据处理为RDD[(K,C)]。这里的V和C可以是相同类型，也可以是不同类型。这种数据处理操作并非单纯的对Pair的value进行map，而是针对不同的key值对原有的value进行联合（Combine）。因而，不仅类型可能不同，元素个数也可能不同。 com
spark 算子combineByKey 详解
qq_28745235的博客
10-05 722
combineByKey 作为spark 的核心算子之一，有必要详细了解。reduceByKey 和groupByKey 等健值对算子底层都实现该算子。
Spark算子[08]：combineByKey详解
行走的树
12-11 946
combineByKey聚合数据一般在集中式数据比较方便，如果涉及到分布式的数据集，该如何去实现呢。这里介绍一下combineByKey, 这个是各种聚集操作的鼻祖，应该要好好了解一下，可以参考Spark API。 更好的，可以将spark的源码包加载到Idea工具中，Spark源码包下载。源码 /** * @see [[combineByKeyWithClassTag]] *
RDD操作combineByKey学习
yezhirm7的博客
11-21 340
public static void combineByKeyDemo(JavaSparkContext sc){ // JavaPairRDD input = sc.parallelize(Arrays.asList((1,2),(4,1))); JavaPairRDD pariRdd = sc.parallelize(Arrays.asList("a a a d...
Spark RDD算子之键值对聚合 -- combineByKey
绿萝蔓蔓绕枝生
11-09 332
combineByKey 应用于分布式数据集的数据聚合操作 语法格式 def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RD 1、createCombiner combineByKey() 会遍历分区中的所有元素，每个元素的键要么还没有遇到过，要么
RDD : combineByKey
cure_all的博客
09-15 329
combineByKey是Spark中一个比较核心的高级函数，其他一些高阶键值对函数底层都是用它实现的。诸如 groupByKey,reduceByKey等等 如下给出combineByKey的定义，其他的细节暂时忽略(1.6.0版的函数名更新为combineByKeyWithClassTag) [java] view plain copy
CombineByKey
念念的博客,记录学习的点点滴滴！
12-02 726
package com.ws.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object CombineByKeyTest { def main(args: Array[String]): Unit = { val dataList: List[(...
SparkRDD算子--combineByKey算子
寒暄的博客
08-03 159
语法 val newRdd = oldRdd.combineByKey(createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C) createCombiner: combineByKey() 会遍历分区中的所有元素，因此每个元素的键要么还没有遇到过，要么就和之前的某个元素的键相同。如果这是一个新的元素,combineByKey()会使用一个叫作createCombiner()的函数来创建那个键
Spark-RDD-Scala 算子操作数据源分析
"data01.txt 是一个用于 Spark RDD Scala 算子操作的示例数据文件，包含多行数据，每行数据由四部分组成：姓名、技能领域、在该领域的评分（可能是技能掌握程度）和未知字段。数据涉及多个计算机科学和技术主题，如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值