spark算子之reduce和reduceByKey（python）

reduce和reduceByKey

⭐️reduce

reduce(binary_function)

reduce将RDD中的元素前两个传给binary_function函数，产生一个新的return值，新产生的return值与RDD中的下一个元素组成两个元素，再被传给函数，知道最后一个值为止。

• binary_function为一个二元函数

from pyspark import SparkContext
from pyspark import SparkConf


def addnum(x, y):
    return x + y


conf = SparkConf().setMaster("local").setAppName("rookie")
sc = SparkContext(conf=conf)
num = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9])
a = num.reduce(addnum)
print(a)

45

⭐️reduceByKey

reduce(binary_function)

对元素为键值对的RDD中的Key相同的元素的Value进行binary_function的reduce操作

Key相同的多个元素的值被reduce为一个值，然后与原RDD中的Key组成一个新的键值对

from pyspark import SparkContext
from pyspark import SparkConf


def addnum(x, y):
    return x + y


conf = SparkConf().setMaster("local").setAppName("rookie")
sc = SparkContext(conf=conf)
num = sc.parallelize([(1, 2), (1, 3), (3, 4), (3, 6)])
a = num.reduceByKey(addnum)
print(a.collect())

[(1, 5), (3, 10)]