MapReduce之RecordWriter理解

RecordWriter:其实主要就是负责将task的key/value结果写入内存或者磁盘

 

一 方法分析

1.1 write：写key/value键值对

1.2 close: 关闭RecordWriter

 

二 RecordWriter运行流程分析

2.1 Map Task Record Writer运行流程分析

#Map Task#runNewMapper会根据是否当前程序需要运行Reduce来创建不同的RecordWriter：没有Reduce任务，则创建NewDirectOutput

Collector对象；否则需要创建NewOutputCollector对象

#每一次调用map方法结束都会调用context.wirte方法，将key/value写入内存或者磁盘

#write方法又会调用NewOutputCollector#collect方法，collect方法开始将key/value写入内存，如果达到阀值则将内存的数据溢写到磁盘

#程序运行结束，根据情况看是否需要合并产生的溢写文件，如果太多，是有必要进行一次merge的

 

 

 

 

2.2 Reduce Task Record Writer运行流程分析

#  Reduce Task#runNewReducer会构造NewTrackingRecordWriter对象

#这个对象会调用OutputFormat#getRecordWriter对象，默认我们用的是TextOutputFormat，然后它对应的RecordWriter就是LineRecord

Writer对象

#然后每次reduce方法执行完毕，都会调用context.write(key，value)

这时候LineRecordWriter就会把key/value写入输出文件

 

三 常见的RecordWriter

3.1 DBRecordWriter: 将reduce结果写入sql表中

3.2 LineRecordWriter: 将key/value写入输出文件一行中

3.3 NewDirectOutputCollector: 它默认调用的也是LineRecordWriter，输出结果写入输出文件

3.4 NewOutputCollector: 将key/value写入内存，内存满了写入磁盘，一般情况在Map阶段