yarn-client|cluster

一、yarn-client任务提交方式
1.任务提交方式

./spark-submit --master yarn  --class  org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar  100
./spark-submit --master yarn --deploy-mode client --class  org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar  100
./spark-submit --master yarn-client --class  org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar  100

2.执行流程图

3.任务执行流程

3.1 NodeManager向ResourceManager汇报资源，ResourceManager掌握NodeManager的资源
3.2 客户端提交任务application，并启动Driver
3.3 Driver向ResourceManager申请启动ApplicationMaster
3.4 ResourceManager随机在集群中选取一台NodeManager开启ApplicationMaster
3.5 ApplicationMaster开启后，会向ResourceManager申请一批Container（容器资源），用于启动Executor，
3.6 ResourceManager向ApplicationMaster返回一批NodeManager
3.7 ApplicationMaster去返回的NodeManager上启动Executor，在启动完成后，Executor向Driver反向注册。
3.8 Driver向Executor发送task，Executor将task的运行状况、运行结果发送给Driver

4.注意

	和Standalone一样，Driver在客户端，如果提交的任务过多，会导致网卡流量激增，出现问题

ApplicationMaster的作用：

1.为Application申请资源
2.向NodeManager发送消息，启动executor

二、yarn-cluster
1.任务提交方式

./spark-submit --master yarn --deploy-mode cluster --class  org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar  100
./spark-submit --master yarn-cluster--class  org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar  100

2.任务执行流程图

3.任务执行流程

3.1 客户端提交application任务
3.2 向ResourceManager请求启动ApplicationMaster
3.3 ResourceManager随机选取一台NodeManager启动ApplicationMaster（相当于是Driver）
3.4 ApplicationMaster向ResourceManager申请Container，用于启动executor
3.5 ApplicationMaster向申请的NodeManager发送命令，启动executor
3.6 executor反向注册到Driver上
3.7 Driver向executor发送task
3.8 executor向Driver返回task执行情况以及执行结果

4.注意：
Driver会在集群中的节点上随机启动，这样单节点网卡流量激增的风险解决，但是，这时无法在客户端看到任务执行流程。只能通过yarn日志查看