Executor原理

Master在接收到Application的注册请求后，会去资源调度，为这个Application，根据配置，在worker上启动相应的Executor。那么Executor怎么启动，在剖析worker的时候已经了解过，worker用了一个executorRunner把executor这个进程启动起来，这个时候Executor会立刻向Driver反向注册。

worker的executorRunner里面有线程，它启动起来的Executor进程就是CoarseGrainedExecutorBackend（继承ThreadSafeRpcEndpoint）。

在onStart方法里，会向Driver发送RegisterExecutor消息，反向注册

Driver在注册成功之后，会返回一个消息RegisteredExecutor。

接收到这个消息后，会去创建Executor，相当于CoarseGrainedExecutorBackend的执行句柄，这个类的大部分功能，启动task，killtask等事件都是通过Executor句柄去实现操作的。

到这里注册就结束了。

TaskScheduler在用task分配算法把task分配到各个Executor之后，会向Executor发送launchTask消息，CoarseGrainedExecutorBackend接收到会执行launchTask方法，

首先反序列化task：

val taskDesc = ser.deserialize[TaskDescription](data.value)

然后用内部执行句柄Executor，调用launchTask方法，启动一个Task

executor.launchTask(this, taskId = taskDesc.taskId, attemptNumber = taskDesc.attemptNumber,
  taskDesc.name, taskDesc.serializedTask)

在这个方法里面

val tr = new TaskRunner(context, taskId = taskId, attemptNumber = attemptNumber, taskName,
  serializedTask)
runningTasks.put(taskId, tr)
threadPool.execute(tr)

对于每个task都会创建TaskRunner线程，将taskRunner放入内存缓存ConcurrentHashMap（对map底层的多线程并发访问，做了一个优化，相当于是分段同步的机制），并将其放入线程池运行