实现每个Map或Reduce任务只执行一次map或reduce方法
默认情况下map和reduce方法是针对每一个<key,value>对执行一次,但是用户可以书写让map或reduce task只执行一次map或者reduce方法的应用程序。书写这样的程序之前,请先弄清MapReduce框架中map、reduce方法的运行方式。
实际上只需要在用户程序的map类和reduce类中重载run方法,把循环遍历每个输入的<key,value>对放到map函数和reduce函数中处理就行了。
运行:将代码打包成jar后,在集群中运行。
hadoop-0.20.1下详细代码实例如下: