Spark实现根据key值来分目录保存文件 多文件输出(MultipleOutputFormat)

假设我们有这样的(key,value)数据：

 sc.parallelize(List((20180701, "aaa"), (20180702, "bbb"), (20180701, "ccc")))

我们想把它们存到路径“output/”下面，而且key值相同的保存在同一文件下，不同的key值保存在不同的文件下，效果如下

命令：cat output/20180701/part-0000 

文件内容显示：

"aaa"

"ccc"

命令：cat output/20180702/part-0000 

文件内容显示：

"bbb"

这篇文章跟其他文章不一样的地方是，输出的文件内容不带Key值！！！这种在大多数场景都是需要的，带key值输出到文件内容当中大多数并不需要。

实现完整代码如下：

import org.apache.hadoop.io.NullWritable

import org.apache.spark._
import org.apache.spark.SparkContext._

import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat

class RDDMultipleTextOutputFormat extends MultipleTextOutputFormat[Any, Any] {
  override def generateActualKey(key: Any, value: Any): Any = 
    NullWritable.get()

  override def generateFileNameForKeyValue(key: Any, value: Any, name: String): String = 
    key.toString+"/"+name
}

object Split {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Test").setMaster("local[*]")
    val sc = new SparkContext(conf)
	sc.parallelize(List((20180701, "aaa"), (20180702, "bbb"), (20180701, "ccc")))
    .saveAsHadoopFile("output", classOf[String], classOf[String],
      classOf[RDDMultipleTextOutputFormat])
    sc.stop()
  }
}

代码解析：

1、我们保存文件要通过hadoop 的 saveAsHadoopFile来实现，而不是通过Spark的saveAsTextFile，因为后者不能实现多文件输出。而且，其实我们去看Spark源码就知道，Spark的saveAsTextFile其实也是通过hadoop 的 saveAsHadoopFile来实现的。

2、 saveAsHadoopFile有四个参数，这里我们只要关注第1个和第4个参数即可。第1个参数是输出根路径，第4个参数是输出多文件的格式设置包括文件名等。

3、第4个参数我们采用RDDMultipleTextOutputFormat类，在该类中我们重写了generateFileNameForKeyValue函数（设置输出文件名根据key和value值）以及generateActualKey函数（设置在文件内容中是否输出key值）。

4、generateFileNameForKeyValue函数有3个参数，key和value就是我们RDD的Key和Value，而name参数是每个Reduce的编号即输出文件名。

5、generateActualKey函数中的 NullWritable.get()，NullWritable是Writable的一个特殊类，实现方法为空实现，不从数据流中读数据，也不写入数据，只充当占位符。

例如要设置map的输出为<key,空>：

public class IPCountMapper extends Mapper<LongWritable, Text, Text, NullWritable> {

    @Override
    protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, NullWritable>.Context context)
            throws IOException, InterruptedException {
        String parseIP = LogParseUtil.parseIP(value.toString());
        context.write(new Text(parseIP), NullWritable.get());
    }