InputFormat，OutputFormat，RecordReader

InputFormat

提供了两个方法：getSplits实现分片规则，createRecordReader读取数据规则K,V

  public abstract 
    List<InputSplit> getSplits(JobContext context
                               ) throws IOException, InterruptedException;
  
  /**
   * Create a record reader for a given split. The framework will call
   * {@link RecordReader#initialize(InputSplit, TaskAttemptContext)} before
   * the split is used.
   * @param split the split to be read
   * @param context the information about the task
   * @return a new record reader
   * @throws IOException
   * @throws InterruptedException
   */
  public abstract 
    RecordReader<K,V> createRecordReader(InputSplit split,
                                         TaskAttemptContext context
                                        ) throws IOException, 
                                                 InterruptedException;

 

Hadoop在org.apache.hadoop.mapreduce.lib.input包里提供了一些InputFormat的实现,有如下.

• FileInputFormat: 这是一个抽象基类,可以作为任何基于文本输入的父类
• SequenceFileInputFormat: 这是一个高效的二进制文件格式
• TextInputFormat: 它用于普通文本文件

InputFormat并不局限于从文件读取数据

RecordReader

定义读数据的规则，一行一个KV：LineRecordReader

Hadoop在org.apache.hadoop.mapreduce.lib.input包里也提供了一些常见的RecordReader实现

• LineRecordReader: 这是RecordReader类对文本文件的默认实现,它将行号时为键并将该行内容视为值
• SequenceFileRecordReader: 该类从二进制文件SequenceFile读取键值