![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
zhangxinyu0827
这个作者很懒,什么都没留下…
展开
-
spark 中 rdd合并
2个rdd合并 如果为根据键值合并 考虑使用join 如果为求并集,可以直接用 rdd1.union(rdd2)原创 2018-11-07 15:28:20 · 6364 阅读 · 2 评论 -
map 操作 rdd内元素,写出、更新内容,不报错,但是无法写出
错误分析 1,rdd内不能再进行rdd操作 2,如果有外部变量 如 var a……………… rdd1.map({ 处理代码 更新 a }) 则不会报错但a不会更新 解决方案 1,累加器 var accum_ind = sc.accumulator(1, "clk") iii = accum_ind.value accum_ind+=1 可以实现一些记录操作 2 ...原创 2018-11-14 15:41:53 · 424 阅读 · 0 评论 -
spark 协方差计算
val data = Array( Vectors.dense(4.0, 2.0, 3.0), Vectors.dense(5.0, 6.0, 1.0), Vectors.dense(2.0, 4.0, 7.0), Vectors.dense(3.0, 6.0, 5.0) ) rdd是可以直接算协方...转载 2018-12-27 17:33:25 · 1064 阅读 · 0 评论