spark
zhangxinrun_业余erlang
这个作者很懒,什么都没留下…
展开
-
Spark学习(文件读取路径)
转载:http://blog.csdn.net/hawksoft/article/details/52739355在不同的启动模式下,加载文件时的路径写法是不一样的,对于local模式下,默认就是读取本地文件,而在standlone或者yarn-client,或者cluster模式下,默认读的都是hdfs文件系统,这几种模式下很难读取本地文件(这是很显然的事情,但你可以通过指定转载 2017-01-18 17:57:18 · 3271 阅读 · 0 评论 -
Spark算子:RDD行动Action操作(4)–countByKey、foreach
转载:http://lxw1234.com/archives/2015/07/399.htm遇到一个在spark shell上执行foreach什么都不显示的问题。答案在下方:countByKeydef countByKey(): Map[K, Long]countByKey用于统计RDD[K,V]中每个K的数量。scala> var r转载 2017-01-19 10:47:37 · 741 阅读 · 0 评论 -
scala中:: , +:, :+, :::, +++的区别
转载:https://segmentfault.com/a/1190000005083578初学scala的人都会被Seq的各种操作符所confuse。下面简单列举一下各个Seq操作符的区别。4种操作符的区别和联系:: 该方法被称为cons,意为构造,向队列的头部追加数据,创造新的列表。用法为 x::list,其中x为加入到头部的元素,无论x是列表与否,它都转载 2017-01-19 13:58:01 · 472 阅读 · 0 评论 -
Scala类的构造器与访问器
转载:http://lib.csdn.net/article/scala/262291.构造器在Scala中,每个类都有一个主构造器。主构造器与类的定义交织在一起,如下:class Person ( private var _name: String, private var _age: Int)主构造器会执行类定义中的所有语句。如转载 2017-01-20 19:26:04 · 439 阅读 · 0 评论 -
Spark API 详解/大白话解释 之 groupBy、groupByKey
转载:http://blog.csdn.net/guotong1988/article/details/50556871groupBy(function) function返回key,传入的RDD的各个元素根据这个key进行分组val a = sc.parallelize(1 to 9, 3)a.groupBy(x => { if (x % 2 == 0) "转载 2017-01-20 19:40:46 · 5378 阅读 · 0 评论 -
scala雾中风景(2): 小括号与花括号
转载:http://hongjiang.info/scala-pitfalls-2/下面的问题,表面上看是小括号与花括号的问题。// map方法这样写不能编译通过scala> List(2).map( case 2 => "OK" )// 换做花括号就可以了scala> List(2).map{ case 2 => "OK" }不了解原因的话,觉得很诡异。转载 2017-01-22 14:50:09 · 1118 阅读 · 0 评论