Spark的三种提交模式
1.standalone模式,基于Spark自己的Master-Worker模式
2.基于YARN的yarn-cluster模式
3.基于YARN的yarn-client模式
yarn-cluster模式讲解
1.用spark-submit提交(yarn-cluster)
2.发送请求到Yarn集群的ResourceManager,请求启动ApplicationMaster(这里的AM相当于是一个Driver)
3.ResourceManager接收到请求以后,会分配一个contaier,在某个nodemanager上启动ApplicationMaster
4.ApplicationMaster启动以后与ResourceManager通信,请求container,启动executor
5.ResourceManager分配一批container,用于启动executor
6.ApplicationMaster这时又会去找其他的NodeManager,去启动executor,这里的NM相当于Worker
7.executor启动后,向AM反向注册
yarn-client模式讲解
1.用spark-submit提交(yarn-client)
2.发送请求给RM,请求启动AM
3.RM分配一个container,在某个NM上启动AM,但是这里的AM,其实只是一个ExecutorLauncher
4.ExecutorLauncher与RM通信,申请container,启动executor
5.RM分配一批container,然后AM连接其他NM,用container的资源,启动executor
6.NodeManager上的executor启动以后