MRAppMaster启动Task步骤简述

MRAppMaster启动Container步骤简述

步骤1:
MRAppMaster启动后,会为应用程序创建JobImpl,然后根据Map Task和Reduce Task的数量创建对应的TaskImpl.  然后是启动job,创建与Map Task和Reduce Task的同数量的TaskAttemptImpl(TaskAttemptImpl的实现有MapTaskAttemptImpl和ReduceTaskAttemptImpl). TaskAttemptImpl又有对应的成员Task(实现有MapTask和ReduceTask,这里是具体的类,与平时大家口中随口而出的Map任务、Reduce任务更具现化). 而TaskAttemptListenerImpl(实现了TaskUmbilicalProtocol协议)维护了jvmID与MapTask或ReduceTask的映射关系.

步骤2:
MRAppMaster初始化启动时会启动RMContainerAllocator服务,借助该服务向ResourceManager注册AM. 而后RMContainerAllocator通过定时心跳向ResourceManager申请资源,然后分配资源、启动Container. 启动Container实现是通过launch_container.sh脚本启动了YarnChild进程,YarnChild进程会从根据jvmID从TaskAttemptListenerImpl(实现了TaskUmbilicalProtocol协议)获取相应的Task(MapTask或ReduceTask),然后执行Task的run方法(MapTask和ReduceTask的run方法实现了调用对应的map或reduce方法).