Hive-MapReduce输出小文件合并参数

SET hive.exec.compress.output=true;
SET mapreduce.output.fileoutputformat.compress=true;
SET hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
SET mapreduce.input.fileinputformat.split.maxsize=256000000;
SET mapreduce.input.fileinputformat.split.minsize=1;
SET mapreduce.input.fileinputformat.split.minsize.per.node=256000000;
SET mapreduce.input.fileinputformat.split.minsize.per.rack=256000000;
SET hive.merge.mapredfiles=true;
SET hive.merge.mapfiles=true;
SET hive.merge.smallfiles.avgsize=256000000;

通过执行上述参数，可以将hive计算完成后的输出文件改为大文件，避免输出大量小文件。