Hadoop调度算法CapacityScheduler源码分析（2）

最新推荐文章于 2022-10-18 15:40:36 发布

zhoujq

最新推荐文章于 2022-10-18 15:40:36 发布

阅读量1.8k

点赞数

分类专栏： hadoop 文章标签：算法 hadoop 作业任务工作 mapreduce

本文链接：https://blog.csdn.net/zhoujq/article/details/6741781

版权

本文深入分析Hadoop的CapacityTaskScheduler类，包括Map和Reduce任务调度器、MemoryMatcher的内存匹配算法，以及JobInitializationPoller的作业初始化策略。CapacityScheduler在任务分配时考虑队列、作业和任务的内存需求，通过JobQueuesManager管理和监控队列状态。同时，CapacitySchedulerServlet用于展示调度信息。

摘要由CSDN通过智能技术生成

（3）CapacityTaskScheduler类

核心成员变量：

TaskSchedulingMgr mapScheduler = new MapSchedulingMgr(this);

Map任务的调度器

TaskSchedulingMgr reduceScheduler = new ReduceSchedulingMgr(this);

Reduce任务的调度器

MemoryMatcher memoryMatcher = new MemoryMatcher(this);

用与内存匹配

JobQueuesManager jobQueuesManager;

队列管理

CapacitySchedulerConf schedConf;

CapacityScheduler 的配置信息类

CapacityTaskScheduler 类实现了TaskScheduler类，实现核心方法为：

refresh()

start()

这是Mapreduce调度器的入口，在JobTracker的开始位置就是调用此方法，函数offerService()中有一句：

taskScheduler.start();

taskScheduler是通过反射完成实例化：

// Create the scheduler
Class<? extends TaskScheduler>schedulerClass
         =conf.getClass("mapred.jobtracker.taskScheduler",
                    JobQueueTaskScheduler.class, TaskScheduler.class);
taskScheduler = (TaskScheduler)
ReflectionUtils.newInstance(schedulerClass, conf);

回到正题，start()的主要任务是：初始化配置信息，初始化队列，添加作业监听器（JobQueueManager）。

terminate()

终止调度器