大数据基础
一个中文名
java博客
展开
-
spark2.1.1 demo
在spark之前版本中使用sparkContext作为进入spark切入点,操作rdd。 spark2.0中引入了SparkSession 作为全新切入点用来操作DataSet和Datafarme。 创建sparksession: SparkSession spark = SparkSession .builder() ...原创 2017-09-05 18:15:49 · 555 阅读 · 0 评论 -
新手之路--spark
1、spark2.1.1-FlatMapFunction中call返回类型从Iterable变成了Iterator。 最近开始用spark,一直以为是我本地编译有问题,真是要死要活。 2、Spark任务都会绑定一个端口来显示WebUI,默认端口为4040,如果被占用则依次递增+1端口重试,重试次数由参数spark.port.maxRetries控制,默认重试16次后就放弃执行 也可以在...原创 2017-09-04 19:54:05 · 603 阅读 · 0 评论 -
spark程序入门-wordCount详解总结
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark....转载 2017-08-30 18:40:14 · 1001 阅读 · 0 评论