spark
文章平均质量分 65
边城浪子1229
数据挖掘/机器学习
展开
-
Spark框架
Spark的整体流程为:Client提交应用,Master找到一个Worker启动Driver,Driver向Master或者资源管理器申请资源,之后将应用转化为RDD Graph,再由DAGScheduler将RDD Graph转化为Stage的有向无环图提交给TaskScheduler,由TaskScheduler提交任务给Executor执行。在任务执行的过程中,其他组件协同工作,确保整个应原创 2015-11-24 21:31:50 · 890 阅读 · 0 评论 -
Spark初体验(2)--WordCount详解
WordCount代码如下:import org.apache.spark.{SparkContext, SparkConf}/** * Created by zhangph on 2015/11/25. */object WordCount { def main (args: Array[String]) { if(args.length < 1){ System.er原创 2015-11-25 20:37:42 · 381 阅读 · 0 评论 -
Spark初体验(1)--SparkPi详解
Tough times never last, but tough people do.原创 2015-11-25 10:24:00 · 733 阅读 · 0 评论