reduce和reduceByKey
⭐️reduce
reduce(binary_function)
reduce将RDD中的元素前两个传给binary_function函数,产生一个新的return值,新产生的return值与RDD中的下一个元素组成两个元素,再被传给函数,知道最后一个值为止。
- binary_function为一个二元函数
from pyspark import SparkContext
from pyspark import SparkConf
def addnum(x, y):
return x + y
conf = SparkConf().setMaster("local").setAppName("rookie")
sc = SparkContext(conf=conf)
num = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9])
a = num.reduce(addnum)
print(a)
45
⭐️reduceByKey
reduce(binary_function)
对元素为键值对的RDD中的Key相同的元素的Value进行binary_function的reduce操作
Key相同的多个元素的值被reduce为一个值,然后与原RDD中的Key组成一个新的键值对
from pyspark import SparkContext
from pyspark import SparkConf
def addnum(x, y):
return x + y
conf = SparkConf().setMaster("local").setAppName("rookie")
sc = SparkContext(conf=conf)
num = sc.parallelize([(1, 2), (1, 3), (3, 4), (3, 6)])
a = num.reduceByKey(addnum)
print(a.collect())
[(1, 5), (3, 10)]