SparkContext初始化原理剖析

SparkContext初始化主要就干了三件事：创建TaskScheduler、DAGSCheduler、SparkUI

一、TaskScheduler的初始化机制

1、首先创建TaskScheduler，调createTaskScheduler（）

2、这里会做三件事情：1、创建TaskSchedulerImpl（这个就是我们平时说的TaskScheduler）2、创建SparkDeployScheduleBackend（它在底层会接收TaskSchedulerImpl的控制、实际上负责与Master的注册、Executor的反注册，task发送executor等操作）3、它会去调用TaskSchedulerImpl的init（）方法，创建SchedulePool调度池，它有不同的优先策略，比如FIFO

3、创建完TaskSchedulerImpl/SparkDeployScheduleBackend(2.1版本中是StandaloneScheduleBackend)/SchedulePool后，会调用TaskSchedulerImpl的star（）方法

4、在star（）方法内部，会去调用SparkDeployScheduleBackend的star（）方法

5、在SparkDeployScheduleBackend的star（）方法内，会去创建一个重要的组件--AppClient(2.1中是StandaloneAppClient)

6、AppClient会去启动一个线程，（spark内部使用的是和Scala Actor相似的Akka）创建一个ClientActor

7、ClientActor会去调用两个方法：registerWithMaster（）->tryRegisterAllMaster（）

8、最关键的事情发生了，ClientActor会向MasterCollector发送一个RegisterApplication（它是一个case Class，里面封装了Application的信息）

9、Application信息会被发送到Spark集群的Master上，然后就去找Worker，启动Executor

10、Executor启动后会反向注册到SparkDeployScheduleBackend

最后声明一点，TaskSchedulerImpl底层基于SparkDeployScheduleBackend来工作

二、DAGScheduler

这里不细说，它有一个DAGSchedulerEventProcessActor（线程），DAGScheduler底层基于这个组件来通信

三、SparkUI

就是我们通过4040端口能显示Application的运行状态，这里会启动一个jetty服务器来显示网页。