spark streaming 内幕
文章平均质量分 96
听风的蜗牛
专注hadoop,spark大数据,数据挖掘,机器学习。
展开
-
Spark streaming源码分析之Job动态生成原理与源码解析
原创文章,转载请注明:转载自 周岳飞博客(http://blog.csdn.net/zhouzx2010) Spark streaming 程序的运行过程是将DStream的操作转化成RDD的操作,Spark Streaming 和 Spark Core 的关系如下图(图片来自spark官网)Spark Streaming 会按照程序设定的时间间隔不断动态生成Job来处理输原创 2016-05-28 12:57:37 · 559 阅读 · 0 评论 -
6.Spark streaming技术内幕 : Job动态生成原理与源码解析
原创文章,转载请注明:转载自 周岳飞博客(http://blog.csdn.net/zhouzx2010) Spark streaming 程序的运行过程是将DStream的操作转化成RDD的操作,Spark Streaming 和 Spark Core 的关系如下图(图片来自spark官网)Spark Streaming 会按照程序设定的时间间隔不断动态生成Jo原创 2016-05-17 23:42:05 · 1507 阅读 · 1 评论 -
9. Spark Streaming技术内幕 : Receiver在Driver的精妙实现全生命周期彻底研究和思考
9. Spark Streaming技术内幕 : Receiver在Driver的精妙实现全生命周期彻底研究和思考 原创文章,转载请注明:转载自 听风居士博客(http://blog.csdn.net/zhouzx2010) Spark streaming 程序需要不断接收新数据,然后进行业务逻辑处理,而用于接受数据的就是Recever。显然Receiver的正原创 2016-05-23 17:05:35 · 992 阅读 · 0 评论 -
7.spark Streaming 技术内幕 : 从DSteam到RDD全过程解析
7.spark Streaming 技术内幕 : 从DSteam到RDD全过程解析原创文章,转载请注明:转载自 周岳飞博客(http://blog.csdn.net/zhouzx2010) 上篇博客讨论了Spark Streaming 程序动态生成Job的过程,并留下一个疑问: JobScheduler将动态生成的Job提交,然后调用了Job对象的run方法,最后run方法的原创 2016-05-20 12:36:05 · 13885 阅读 · 3 评论