MapTask的工作机制源码解析

1. 从Job提交流程的(2)--><9> 进去
   Job job = new Job(JobID.downgrade(jobid), jobSubmitDir);  构造真正执行的Job , LocalJobRunnber$Job
2. LocalJobRunnber$Job 的run()方法
   1)  TaskSplitMetaInfo[] taskSplitMetaInfos =
          SplitMetaInfoReader.readSplitMetaInfo(jobId, localFs, conf, systemJobDir);
       // 读取job.splitmetainfo
   2)   int numReduceTasks = job.getNumReduceTasks();  // 获取ReduceTask个数
   3)  List<RunnableWithThrowable> mapRunnables = getMapTaskRunnables(
            taskSplitMetaInfos, jobId, mapOutputFiles);
       // 根据切片的个数， 创建执行MapTask的 MapTaskRunnable
   4)   ExecutorService mapService = createMapExecutor();  // 创建线程池
   5)    runTasks(mapRunnables, mapService, "map");   //执行 MapTaskRunnable
   6)   因为Runnable提交给线程池执行，接下来会执行MapTaskRunnable的run方法。
   7)   执行 LocalJobRunner$Job$MapTaskRunnable 的run()方法.
    (1)  MapTask map = new MapTask(systemJobFile.toString(), mapId, taskId,
            info.getSplitIndex(), 1);   //创建MapTask对象
    (2)   map.run(localConf, Job.this);  //执行MapTask中的run方法
          <1> .runNewMapper(job, splitMetaInfo, umbilical, reporter);
           ①  org.apache.hadoop.mapreduce.TaskAttemptContext taskContext =  JobContextImpl
           ②  org.apache.hadoop.mapreduce.Mapper<INKEY,INVALUE,OUTKEY,OUTVALUE> mapper =  WordConutMapper
           ③  org.apache.hadoop.mapreduce.InputFormat<INKEY,INVALUE> inputFormat = TextInputFormat
           ④  split = getSplitDetails(new Path(splitIndex.getSplitLocation()),
                splitIndex.getStartOffset());   // 重构切片对象
                       切片对象的信息 : file:/D:/input/inputWord/JaneEyre.txt:0+36306679
           ⑤  org.apache.hadoop.mapreduce.RecordReader<INKEY,INVALUE> input = MapTask$NetTrackingRecordReader
           ⑥   output = new NewOutputCollector(taskContext, job, umbilical, reporter);  //构造缓冲区对象
            
            [1] collector = createSortingCollector(job, reporter);  //获取缓冲区对象
                MapTask$MapOutputBuffer
                {1} . collector.init(context);  //初始化缓冲区对象
                  1>>.final float spillper =
                    job.getFloat(JobContext.MAP_SORT_SPILL_PERCENT, (float)0.8);
                                      // 溢写百分比  0.8
                  2>>.final int sortmb = job.getInt(MRJobConfig.IO_SORT_MB,
                         MRJobConfig.DEFAULT_IO_SORT_MB);    
                      // 缓冲区大小  100M

                      3>>.sorter = ReflectionUtils.newInstance(job.getClass(
                           MRJobConfig.MAP_SORT_CLASS, QuickSort.class,
                           IndexedSorter.class), job);
                     // 排序对象
                     // 排序使用的是快排，并且基于索引排序。
                                  4>> . // k/v serialization  // kv序列化
                  5>> . // output counters    // 计数器
                  6>> .  // compression       //  压缩
                  7>> .  // combiner          //  combiner

          ⑦  mapper.run(mapperContext);    // 执行WordCountMapper中的run方法。 实际执行的是
              WordCountMapper继承的Mapper中的run方法。
              
              [1] . 在Mapper中的run方法中
                     map(context.getCurrentKey(), context.getCurrentValue(), context);
                 执行到WordCountMapper中的map方法。
              [2] . 在WordCountMapper中的map方法中将kv写出
                    context.write(outK,outV);