Spark Streaming
Spark Streaming相关知识学习
xiaoxin_ysj
这个作者很懒,什么都没留下…
展开
-
SparkStreaming — 架构原理分析
Spark Streaming运行原理 首先我们看一下Spark Streaming的运行流程,和之前Spark Core一样都是先创建Context,这里创建的是StreamingContext。Spark Streaming的启动和Spark Core不一样,它是调用StreamingContext.start()方法来启动,但是触发执行RDD算子也是一样的需要action操作,下面就先...原创 2019-09-15 22:48:45 · 229 阅读 · 0 评论 -
Spark Streaming — StreamingCongtext初始化及Receiver启动
StreamingContext初始化 StreamingContext在初始化的时候,会创建两个重要的组件DStreamGraph和JobScheduler,如下所示: // 这里初始化的一个重要的组件DStreamGraph, // 它里面保存了Spark Streaming Application中一系列的DStream的依赖关系,以及互相之间的算子的应用 private[...原创 2019-09-17 17:25:54 · 306 阅读 · 0 评论 -
SparkStreaming — 数据接收原理
SparkStreaming的数据接收原理 Spark Streaming数据接收主要是发生在Receiver启动之后,启动的一个组件BlockGenerator,通过这个组件来进行数据的接收和存储。具体的流程如下: 如上图所示,假设Receiver接收的数据源来自Kafka。Receiver启动的时候会先启动BlockGenerator,调用它的start方法启动BlockGene...原创 2019-09-17 19:58:21 · 335 阅读 · 0 评论 -
SparkStreaming — 数据接收BlockGenerator源码分析
数据接收源码分析 上一篇博客中分析到,Receiver数据接收主要是通过BlockGenerator来进行接收和存储的,下面我们就源码来对照之前的流程进行分析。 首先是创建BlockGenerator的时候初始化的一些重要组件,如下所示: // blockInterval是有一个默认值的,默认是200ms,将数据封装成block的时间间隔 private val blockIn...原创 2019-09-17 21:05:12 · 327 阅读 · 1 评论