大数据-scala(六)
函数式编程
排序 - sort
- sorted默认排序
//定义一个List集合
scala> val list=List(5,1,2,4,3)
list: List[Int] = List(5, 1, 2, 4, 3)
//默认就是升序
scala> list.sorted
res30: List[Int] = List(1, 2, 3, 4, 5)
- sortBy指定字段排序
方法描述
def sortBy[B](f: (A) ⇒ B): List[A]
方法说明
sortBy方法 | API | 说明 |
泛型 | [B] | 按照什么类型来进行排序 |
参数 | f:(A) => B | 传入函数对象 接收一个集合类型的元素参数 返回B类型的元素进行排序 |
返回值 | List[A] | 返回排序后的列表 |
方法实操
//定义一个List集合
scala> val list=List("1 hadoop","2 spark","3 flink")
list: List[String] = List(1 hadoop, 2 spark, 3 flink)
//按照单词的首字母进行排序
scala> list.sortBy(x=>x.split(" ")(1))
res33: List[String] = List(3 flink, 1 hadoop, 2 spark)
- sortWith自定义排序
方法描述
def sortWith(lt: (A, A) ⇒ Boolean): List[A]
方法说明
sortWith方法 | API | 说明 |
参数 | lt:(A,A) => Boolean | 传入一个比较大小的函数对象 接收两个集合类型的元素参数 返回两个元素大小,小于返回true,否则返回false |
返回值 | List[A] | 返回排序后的列表 |
方法实操
scala> val list = List(2,3,1,6,4,5)
a: List[Int] = List(2, 3, 1, 6, 4, 5)
//降序
scala> list.sortWith((x,y)=>x>y)
res35: List[Int] = List(6, 5, 4, 3, 2, 1)
//升序
scala> list.sortWith((x,y)=>x<y)
res36: List[Int] = List(1, 2, 3, 4, 5, 6)
分组 - groupBy
- 方法描述
def groupBy[K](f: (A) ⇒ K): Map[K, List[A]]
- 方法说明
groupBy方法 | API | 说明 |
泛型 | [K] | 分组字段的类型 |
参数 | f:(A) => K | 传入一个函数对象 接收集合元素类型的参数 返回一个K类型的key,这个key会用来进行分组,相同的key放在一组中 |
返回值 | Map[K, List[A]] | 返回一个映射,K为分组字段,List为这个分组字段对应的一组数据 |
- 方法实操
scala> val a = List("张三"->"男", "李四"->"女", "王五"->"男")
a: List[(String, String)] = List((张三,男), (李四,女), (王五,男))
// 按照性别分组
scala> a.groupBy(_._2)
res0: scala.collection.immutable.Map[String,List[(String, String)]] = Map(男 -> List((张三,男), (王五,男)),
女 -> List((李四,女)))
// 将分组后的映射转换为性别/人数元组列表
scala> res0.map(x => x._1 -> x._2.size)
res3: scala.collection.immutable.Map[String,Int] = Map(男 -> 2, 女 -> 1)
聚合 - reduce
- 方法描述
def reduce[A1 >: A](op: (A1, A1) ⇒ A1): A1
- 方法说明
reduce方法 | API | 说明 |
泛型 | [A1 >: A] | (下界)A1必须是集合元素类型的子类 |
参数 | op:(A1,A1) => A1 | 传入函数对象,用来不断进行聚合操作 第一个A1参数类型为:当前聚合后的变量 第二个A1类型参数为:当前要进行聚合的元素 |
返回值 | A1 | 列表最终聚合为一个元素 |
- 方法实操
scala> val a = List(1,2,3,4,5,6,7,8,9,10)
a: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
scala> a.reduce((x,y) => x + y)
res5: Int = 55
// 第一个下划线表示第一个参数,就是历史的聚合数据结果
// 第二个下划线表示第二个参数,就是当前要聚合的数据元素
scala> a.reduce(_ + _)
res53: Int = 55
// 与reduce一样,从左往右计算
scala> a.reduceLeft(_ + _)
res0: Int = 55
// 从右往左聚合计算
scala> a.reduceRight(_ + _)
res1: Int = 55
折叠 - fold
- 方法描述
def fold[A1 >: A](z: A1)(op: (A1, A1) ⇒ A1): A1
- 方法说明
reduce方法 | API | 说明 |
泛型 | [A1 >: A] | (下界)A1必须是集合元素类型的子类 |
参数1 | z:A1 | 初始值 |
参数2 | op:(A1,A1) => A1 | 传入函数对象,用来不断进行折叠操作 第一个A1类型参数为:当前折叠后的变量 第二个A1类型参数为:当前要进行折叠的元素 |
返回值 | A1 | 列表最终折叠为一个元素 |
- 方法实操
//定义一个List集合
scala> val a = List(1,2,3,4,5,6,7,8,9,10)
a: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
//求和
scala> a.sum
res41: Int = 55
//给定一个初始值,,折叠求和
scala> a.fold(0)(_+_)
res42: Int = 55
scala> a.fold(10)(_+_)
res43: Int = 65
//从左往右
scala> a.foldLeft(10)(_+_)
res44: Int = 65
//从右往左
scala> a.foldRight(10)(_+_)
res45: Int = 65
//fold和foldLet效果一致,表示从左往右计算
//foldRight表示从右往左计算
此博文仅供学习参考,如有错误欢迎指正。
上一篇《大数据-scala(五)》
下一篇《大数据-scala(七)》