Scala-单词计数程序，并行计算

最新推荐文章于 2023-07-16 22:08:19 发布

rong_code

最新推荐文章于 2023-07-16 22:08:19 发布

阅读量407

点赞数 1

分类专栏： Scala

本文链接：https://blog.csdn.net/zhang__rong/article/details/93458865

版权

这篇博客介绍了如何使用Scala实现单词计数程序，详细阐述了步骤，包括数组处理、单词数组转换、Map分组以及计数。同时，补充了排序的细节，通过将Map转换为List并按值排序来展示结果。此外，文章还探讨了并行计算的概念，指出fold函数支持并行操作，而reduce则不支持，并简要提到了文件I/O流的操作，如写文件、控制台读取和文件读取。

摘要由CSDN通过智能技术生成

单词计数

步骤：
1、将line数组赋值
2、将数组变成一个一个单词的数组
3、将单词数组变成（word,number）类型的map
4、将map的按key一样的分组
5、将key一样的统计出现次数
6、打印输出
补充：
排序:
1、将map转成list
2、将list按每个元素的第二个元素排序
3、打印输出

scala> val lines = List("hadoop hdfs mr hive","hdfs hive hbase storm kafka","hiv
e hbase storm kafka spark")
lines: List[String] = List(hadoop hdfs mr hive, hdfs hive hbase storm kafka, hiv
e hbase storm kafka spark)

scala> lines.flatMap(_.split(" "))
res28: List[String] = List(hadoop, hdfs, mr, hive, hdfs, hive, hbase, storm, kaf
ka, hive, hbase, storm, kafka, spark)

scala> lines.flatMap(_.split(" ")).map(x => (x,1))
res29: List[(String, Int)] = List((hadoop,1), (hdfs,1), (mr,1), (hive,1), (hdfs,
1), (hive,1), (hbase,1), (storm,1), (kafka,1), (hive,1), (hbase,1), (storm,1), (
kafka,1), (spark,1))