Spark实例:map、union、combineByKey用法结合,输出每个学号和平均成绩程序
这是用到的两个txt文件各12行数据,相间以制表符\t作分隔。创建RDDval bigdata=sc.textFile("D:\\data\\result_bigdata.txt").map{x=>val line=x.split("\t");(line(0),line(2).toInt)} val math=sc.textFile("D:\\data\\result_math.txt").map{x=>val line=x.split("\t");(line(0),li
原创
2020-06-10 22:20:14 ·
666 阅读 ·
0 评论