- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark算子系列第0篇：spark常用算子详解
一、Spark算子分类：Transformation 算子 Transformation是变换/转换算子，具有lazy特性，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。常用操作有：map，filter，flatMap，union，sortByKey，reduceByKey等，官方文档如下： http://spar...
2020-02-08 16:00:00
524
原创 Spark算子系列第1篇： reduceByKey 和 groupByKey
第一步：创建RDD val words = Array("one", "two", "two", "three", "three", "three") val wordsRDD = sc.parallelize(words).map(word => (word, 1)) wordsRDD.foreach(println) RDD运行结果如下： /* (one,1) (two,1) ...
2020-02-08 11:24:34
609
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人