Spark资源调度和任务调度

在了解资源调度和任务调度之前，需要先了解一下宽窄依赖和Stage两个概念
1.宽窄依赖

RDD之间是有依赖关系的，分为宽依赖和窄依赖
宽依赖
	父RDD和子RDD之间的对应关系是一对多，即一个RDD中的数据会被放到多个子RDD中
窄依赖
	父RDD和子RDD之间的对应关系是一对一或多对一，即一个父RDD中的数据去往一个子RDD或多个父RDD中的数据去一个子RDD

2.Stage

Spark任务会根据RDD之间的依赖关系，形成一个DAG有向无环图。
DAG会被提交给DAGScheduler，DAGScheduler会把DAG划分为相互依赖的多个Stage，划分依据就是RDD之间的宽窄依赖。
遇到宽依赖就划分为Stage，每个Stage包含一个或多个task，然后将这些task以taskset的形式提交给TaskScheduler运行
每个Stage的task个数由Stage内最后一个RDD的分区数决定
Stage是由一组并行的task组成，这些task是一样的，只是针对的数据不同
每个Stage中的task是以管道pipeline的形式进行计算的，即对于每一条数据会直接通过task中的每个算子运算，而不是等全部的数据都在第一个算子计算后，再去第二个算子计算。
假设一个Stage中有算子f1，f2，f3，则有数据进行处理时：f3(f2(f1(数据)))，将多个算子嵌套起来。而不是一批数据f1(数据)=>result1，在对结果的数据集result执行f2(数据)

3.Spark的资源调度和任务调度（standalone-cluster为例）

1.当资源启动时，Worker会向Master节点汇报资源，这时Master就掌握了Worker所拥有的资源
2.在客户端将Application提交时，会根据RDD之间的依赖关系形成一个DAG有向无环图
3.向Master申请资源，开启Driver
4.Master会随机找选择一台任务不忙的节点开启Driver
5.在任务提交之后会在Driver上创建启动两个对象DAGScheduler和TaskScheduler。
6.TaskScheduler在创建完成后，会向Master申请执行任务的资源
7.Master找到满足资源的Worker，在Worker上启动Executor
8.Worker上的Executor在启动后，会向Driver反向注册。这时Driver就会有一批用以执行任务的Executor
9.DAGScheduler将DAG根据依赖关系切分成一个个Stage，并将Stage中的任务task以TaskSet的方式传递给TaskScheduler
10.TaskScheduler会去遍历TaskSet，拿到每一个task，将task发送给计算节点上的Executor去执行
11.task在计算节点上的执行情况会向TaskScheduler汇报，当task执行失败时，TaskScheduler会重新发送该任务，当三次失败后，那个task所在的Stage宣布失败
12.当Stage失败后，DAGScheduler重试，重发TaskSet到TaskScheduler。DAGScheduler的重试次数为4次，即当4次后让未成功，则该job执行失败，则该application失败

4.资源申请分为粗粒度资源申请和细粒度资源申请
粗粒度资源申请：

在Application执行之前，将全部的资源申请完毕
在申请资源时，必须申请到全部的资源才能开始任务的执行，在没有申请到全部资源时，是不会执行的
在任务开始执行后，必须等任务执行结束后，才会释放资源
因为资源已经全部申请，这是在执行Task时就不必等待资源的申请了，Task就可以很快的启动，Task块->Stage快->job快->application快

细粒度资源申请

在Application执行前，不必去申请资源，而是直接执行，当执行到某个task时，为该task申请资源，执行完成后释放资源
这样可以将资源充分利用，不会有申请的资源闲置的情况。
但在每个task执行时都需要申请资源，会使得task的执行速度变的很慢