spark
guangxuzhang
一起分享有趣的知识,一起进步
展开
-
spark的wordcount代码
1、读取HDFS文件 scala> val lines=sc.textFile("hdfs://master-ubuntu:9000/wordcount/wordcount.txt") 2、压扁文件内容,以空格分割 scala> val rdd1=lines.flatMap(line=>line.split(" ")) 3、映射为(word,1)格式 scala> val rdd2=rdd1.map(word=>(word,1)) 4、对相同key的...原创 2020-10-27 09:51:37 · 943 阅读 · 0 评论 -
spark-shell println 无输出显示
1、访问sparkui:http://master-ubuntu:7070/ 2、通过UI界面查看打印结果原创 2020-10-27 09:46:01 · 807 阅读 · 0 评论