转载一篇同事的文章:
使用hadoop streaming的脚本,在从hadoop 1.0迁移到2.7.1时遇到问题:
使用1.0时,map的outputkey是Text正确,迁移到2.7.1时报错,修改为LongWritable正常。
为保证代码统一,在1.0上map的outputkey也使用LongWritable,报错,要求修改为Text,修改后正常。
解决办法,使用Text,在2.7.1 版本的streaming shell脚本中增加:
-Dmapreduce.map.output.key.class=org.apache.hadoop.io.Text\
分析原因应该是hadoop streaming所使用的map outputkey默认值在版本升级时发生了变化,即:1.0默认为Text,2.0默认为LongWritable。
验证:
1.0中写死的代码:
jobConf_.setOutputKeyClass(Text.class);
jobConf_.setOutputValueClass(Text.class);
publicvoidsetOutputKeyClass(Class<?> theClass) {
setClass("mapred.output.key.class", theClass, Object.class);
}
keyClass = (Class<K>)job.getMapOutputKeyClass();
publicClass<?> getMapOutputKeyClass() {
Class<?> retv = getClass("mapred.mapoutput.key.class",null, Object.class);
if(retv == null) {
retv = getOutputKeyClass();
}
returnretv;
}
publicClass<?> getOutputKeyClass() {
returngetClass("mapred.output.key.class",
LongWritable.class, Object.class);
}
虽然默认值是LongWritable,但由于已经设置了mapred.output.key.class,所以在1.0中无法修改map outputkey参数,只能使用Text。
2.0中代码:
maptask中代码同1.0中的形式,得到默认值LongWritable。但在StreamJob类中并未对mapreduce.map.output.key.class 进行设置值,所以最终使用的是LongWritable。
idResolver.resolve(jobConf_.get("stream.map.output",
IdentifierResolver.TEXT_ID));
jobConf_.setClass("stream.map.output.reader.class",
idResolver.getOutputReaderClass(), OutputReader.class);
// 这两个条件均未满足。
if(isMapperACommand || jobConf_.get("stream.map.output") != null) {
// if mapper is a command, then map output key/value classes come from the
// idResolver
// 正常这两句可以设置map outputkey和value为Text,可惜上面条件未满足
jobConf_.setMapOutputKeyClass(idResolver.getOutputKeyClass());
jobConf_.setMapOutputValueClass(idResolver.getOutputValueClass());
if(jobConf_.getNumReduceTasks() == 0) {
jobConf_.setOutputKeyClass(idResolver.getOutputKeyClass());
jobConf_.setOutputValueClass(idResolver.getOutputValueClass());
}
}