hadoop 切片机制详解

前言

切片这个词对于做过python开发的同学一定不陌生，但是与hadoop中的切片有所区别，hadoop中的切片是为了优化hadoop的job在处理过程中MapTask阶段的性能达到最优而言

上面是一张MapReduce读取一个文本数据的逻辑顺序处理图。我们知道，不管是本地运行还是集群模式下，最终以job的任务调度形式运行，主要分为两个阶段

• Map阶段，开启MapTask处理数据的读取
• Reduce阶段，开启ReduceTask对数据做聚合

比如在wordcount案例中，一段文本数据，在map阶段首先被解析，拆分成一个个的单词，其实对hadoop来说，这项工作的完成，是由背后开启的一个MapTask进行处理的，等job处理完成，看到在目标文件夹下，生成了对应的单词统计结果

如果有多个单词统计文本文件要处理呢？我们不妨改造下wordcount的job代码，在一个目录下放多个处理文件，看运行完毕的结果如何呢？

pub