hadoop在进行MapReduce进行处理时,输入输出都是自定义的InputFormat,OutputFormat类。但是,我们在进行数据处理时,常常需要自己定义输入输出结果,因此需要对输入输出进行修改。
InputFormat类有如下类:
TextInputFormat 在文本文件中的每一行均为一个记录。键为一行的字节偏移量,值为一行内容。
KeyValueTextInputFormat在文本文件中的每一行均为一个记录。以每行的第一个分隔符为界,分隔符之前的是键,之后的为值。分离器在属性key.value.separator.in.input.line中设定,默认为制表符(\t)。
SequenceFileInputFormat<K,V>在读取序列文件的InputFormat。键和值由用户自定义。
NLineInputForma 与TextInputFormat相同,但每个分片一定有N行。N在属性maperd.line.input.format.format.linespermap中设定,默认为1。
在老版本的API中,只要定义如下语句就可以设置,读取的输入类型
JobConf job = new JobConf(conf, MyJob.class);
//对每一行以逗号分割
job.set("key.value.separator.in.input.line", ",");
这样就以每行为一个输入,以逗号进行分隔。
新版API进行如下语句
Configuration conf = new Configuration();
conf.set("key.value.separator.in.input.line", ",");
同理,OutputFormat类似
TextOutputFormat在文本文件中的每一行均为一个记录。以每行的第一个分隔符为界,分隔符之前的是键,之后的为值。分离器在属性mapred.textoutputformat.separator中设定,默认为制表符(\t)。
SequenceFileOutputFormat<K,V> 以Hadoop专有序列文件格式写入键/值对。
NullOutputFormat<K,V>无输出
在老版本的API中,只要定义如下语句就可以设置,读取的输入类型
JobConf job = new JobConf(conf, MyJob.class);
//对每一行以逗号分割
job.set("mapred.textoutputformat.separator", ":");
这样就以每行为一个输入,以逗号进行分隔。
新版API进行如下语句
Configuration conf = new Configuration();
conf.set("mapred.textoutputformat.separator", ":")
这样输出结果就不是默认的制表符了,而是: