mapreduce的规约（Combiner）

最新推荐文章于 2024-07-11 07:30:00 发布
最新推荐文章于 2024-07-11 07:30:00 发布
阅读量4.8k 收藏 3
点赞数
分类专栏： hadoop 大数据离线处理 文章标签： mapreduce combiner hadoop 规约
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zwx19921215/article/details/20621993
版权

听了超哥的一席课后逐渐明白了Combiner，记录一下自己的理解！（thanks 超哥）

首先贴上两段代码：

code1:

package combine;

import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Counter;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
/**
 * @ClassName: WordCount2 
 * @Description: TODO(这里用一句话描述这个类的作用) 
 * @author zhangweixiang
 * @date 2014年3月6日 下午1:34:50
 */

public class WordCount2 {
	
	static final String INPUT_PATH="hdfs://192.168.0.9:9000/hello.txt";
	static final String OUT_PATH="hdfs://192.168.0.9:9000/word";
	
	public static void main(String[] args) throws Exception {
		Configuration conf=new Configuration();
		
		Job job=new Job(conf, WordCount2.class.getSimpleName());
		
		//1.1指定读取的文件位置
		FileInputFormat.addInputPaths(job, INPUT_PATH);
		//指定如何对输入文件进行格式化，把输入文件每一行解析成键值对
		job.setInputFormatClass(TextInputFormat.class);
		
		//1.2指定自定义的map类
		job.setMapperClass(MyMapper.class);
		//map输出的<k,v>类型。如果<k3,v3>的类型与<k2,v2>的类型一致，则可以省略
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(LongWritable.class);
		
		//1.3分区
//		job.setPartitionerClass(HashPartitioner.class);
		//有一个reudce任务运行
//		job.setNumReduceTasks(1);
		
		//1.4 排序、分组
		
		
		//1.5规约
//		job.setCombinerClass(MyReduce.class);
		
		//2.2指定自定义的reduce类
		job.setReducerClass(MyReduce.class);
		//指定reduce的输出类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(LongWritable.class);
		
		//删除已存在的文件
		FileSystem fileSystem = FileSystem.get(new URI(OUT_PATH), new Configuration());
		Path path = new Path(OUT_PATH);
		if(fileSystem.exists(path)){
			fileSystem.delete(path, true);
		}
		
		//2.3指定写出到哪里
		FileOutputFormat.setOutputPath(job,new Path(OUT_PATH) );
		
		//指定输出文件的格式化类
		job.setOutputFormatClass(TextOutputFormat.class);
		
		//把Job提交给JobTracker执行
		job.waitForCompletion(true);
		
		
	}
	
	/**
	 * @ClassName: MyMapper 
	 * @Description: map任务处理
	 * @param  KEYIN 即k1  表示行的偏移量
	 * @param  VALUEIN 即v1  表示行的文本内容
	 * @param  KEYOUT 即k2  表示行中出现的单词
	 * @param  VALUEOUT 即v2  表示行中出现的单词数，固定值为1
	 * @author zhangweixiang
	 * @date 2014年3月4日 下午4:16:00
	 */
	static class  MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>{
		@Override
		protected void map(LongWritable key, Text value,Context context)
				throws IOException, InterruptedException {
			String string = value.toString();
			//自定义计数器(查询hello的出现，以及出现次数)
			Counter counter = context.getCounter("查找hello", "hello");
			if(string.contains("hello")){
				counter.increment(1l);//出现一次+1
			}
			//分割字符串
			String[] split = string.split(" ");
			for(String word:split){
				context.write(new Text(word), new LongWritable(1));//map任务输出
			}
		}
	}
	
	/**
	 * @ClassName: MyReduce 
	 * @Description: reduce任务处理
	 * @param KEYIN 即k2 表示行中出现的单词
	 * @param VALUEIN 即v2 表示行中出现的单词个数
	 * @param KEYOUT 即k3 表示文本中出现的不同单词
	 * @param VALUEOUT 即v3 表示文本中出现不同单词的总次数
	 * @author zhangweixiang
	 * @date 2014年3月4日 下午4:23:20
	 */
	static class MyReduce extends Reducer<Text, LongWritable, Text, LongWritable>{
		
		protected void reduce(Text key, Iterable<LongWritable> values,Context context)
				throws IOException, InterruptedException {
				long sum=0;
				for (LongWritable longWritable : values) {
					sum+=longWritable.get();
				}
				context.write(key, new LongWritable(sum));//reduce输出
		}
	}
}

code2

package combine;

import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Counter;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
/**
 * @ClassName: WordCount2 
 * @Description: TODO(这里用一句话描述这个类的作用) 
 * @author zhangweixiang
 * @date 2014年3月6日 下午1:34:50
 */

public class WordCount2 {
	
	static final String INPUT_PATH="hdfs://192.168.0.9:9000/hello.txt";
	static final String OUT_PATH="hdfs://192.168.0.9:9000/word";
	
	public static void main(String[] args) throws Exception {
		Configuration conf=new Configuration();
		
		Job job=new Job(conf, WordCount2.class.getSimpleName());
		
		//1.1指定读取的文件位置
		FileInputFormat.addInputPaths(job, INPUT_PATH);
		//指定如何对输入文件进行格式化，把输入文件每一行解析成键值对
		job.setInputFormatClass(TextInputFormat.class);
		
		//1.2指定自定义的map类
		job.setMapperClass(MyMapper.class);
		//map输出的<k,v>类型。如果<k3,v3>的类型与<k2,v2>的类型一致，则可以省略
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(LongWritable.class);
		
		//1.3分区
//		job.setPartitionerClass(HashPartitioner.class);
		//有一个reudce任务运行
//		job.setNumReduceTasks(1);
		
		//1.4 排序、分组
		
		
		//1.5规约
		job.setCombinerClass(MyReduce.class);
		
		//2.2指定自定义的reduce类
		job.setReducerClass(MyReduce.class);
		//指定reduce的输出类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(LongWritable.class);
		
		//删除已存在的文件
		FileSystem fileSystem = FileSystem.get(new URI(OUT_PATH), new Configuration());
		Path path = new Path(OUT_PATH);
		if(fileSystem.exists(path)){
			fileSystem.delete(path, true);
		}
		
		//2.3指定写出到哪里
		FileOutputFormat.setOutputPath(job,new Path(OUT_PATH) );
		
		//指定输出文件的格式化类
		job.setOutputFormatClass(TextOutputFormat.class);
		
		//把Job提交给JobTracker执行
		job.waitForCompletion(true);
		
		
	}
	
	/**
	 * @ClassName: MyMapper 
	 * @Description: map任务处理
	 * @param  KEYIN 即k1  表示行的偏移量
	 * @param  VALUEIN 即v1  表示行的文本内容
	 * @param  KEYOUT 即k2  表示行中出现的单词
	 * @param  VALUEOUT 即v2  表示行中出现的单词数，固定值为1
	 * @author zhangweixiang
	 * @date 2014年3月4日 下午4:16:00
	 */
	static class  MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>{
		@Override
		protected void map(LongWritable key, Text value,Context context)
				throws IOException, InterruptedException {
			String string = value.toString();
			//自定义计数器(查询hello的出现，以及出现次数)
			Counter counter = context.getCounter("查找hello", "hello");
			if(string.contains("hello")){
				counter.increment(1l);//出现一次+1
			}
			//分割字符串
			String[] split = string.split(" ");
			for(String word:split){
				context.write(new Text(word), new LongWritable(1));//map任务输出
			}
		}
	}
	
	/**
	 * @ClassName: MyReduce 
	 * @Description: reduce任务处理
	 * @param KEYIN 即k2 表示行中出现的单词
	 * @param VALUEIN 即v2 表示行中出现的单词个数
	 * @param KEYOUT 即k3 表示文本中出现的不同单词
	 * @param VALUEOUT 即v3 表示文本中出现不同单词的总次数
	 * @author zhangweixiang
	 * @date 2014年3月4日 下午4:23:20
	 */
	static class MyReduce extends Reducer<Text, LongWritable, Text, LongWritable>{
		
		protected void reduce(Text key, Iterable<LongWritable> values,Context context)
				throws IOException, InterruptedException {
				long sum=0;
				for (LongWritable longWritable : values) {
					sum+=longWritable.get();
				}
				context.write(key, new LongWritable(sum));//reduce输出
		}
	}
}




code1和code2的唯一区别就是
//1.5规约
job.setCombinerClass(MyReduce.class);
code1中加了注释，code2启用了规约！
接下来看看控制台的输出（我win8下的eclipse）
code1:
/06 13:52:17 INFO mapred.JobClient: Counters: 20
14/03/06 13:52:17 INFO mapred.JobClient:   File Output Format Counters 
14/03/06 13:52:17 INFO mapred.JobClient:     Bytes Written=28
14/03/06 13:52:17 INFO mapred.JobClient:   FileSystemCounters
14/03/06 13:52:17 INFO mapred.JobClient:     FILE_BYTES_READ=424
14/03/06 13:52:17 INFO mapred.JobClient:     HDFS_BYTES_READ=84
14/03/06 13:52:17 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=128676
14/03/06 13:52:17 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=28
14/03/06 13:52:17 INFO mapred.JobClient:   File Input Format Counters 
14/03/06 13:52:17 INFO mapred.JobClient:     Bytes Read=42
14/03/06 13:52:17 INFO mapred.JobClient:   查找hello
14/03/06 13:52:17 INFO mapred.JobClient:     hello=2
14/03/06 13:52:17 INFO mapred.JobClient:   Map-Reduce Framework
14/03/06 13:52:17 INFO mapred.JobClient:     Map output materialized bytes=126
14/03/06 13:52:17 INFO mapred.JobClient:     Map input records=4
14/03/06 13:52:17 INFO mapred.JobClient:     Reduce shuffle bytes=0
14/03/06 13:52:17 INFO mapred.JobClient:     Spilled Records=16
14/03/06 13:52:17 INFO mapred.JobClient:     Map output bytes=104
14/03/06 13:52:17 INFO mapred.JobClient:     Total committed heap usage (bytes)=266469376
14/03/06 13:52:17 INFO mapred.JobClient:     SPLIT_RAW_BYTES=98
14/03/06 13:52:17 INFO mapred.JobClient:     Combine input records=0
14/03/06 13:52:17 INFO mapred.JobClient:     Reduce input records=8
14/03/06 13:52:17 INFO mapred.JobClient:     Reduce input groups=4
14/03/06 13:52:17 INFO mapred.JobClient:     Combine output records=0
14/03/06 13:52:17 INFO mapred.JobClient:     Reduce output records=4
14/03/06 13:52:17 INFO mapred.JobClient:     Map output records=8


code2:
14/03/06 13:55:11 INFO mapred.JobClient: Counters: 20
14/03/06 13:55:11 INFO mapred.JobClient:   File Output Format Counters 
14/03/06 13:55:11 INFO mapred.JobClient:     Bytes Written=28
14/03/06 13:55:11 INFO mapred.JobClient:   FileSystemCounters
14/03/06 13:55:11 INFO mapred.JobClient:     FILE_BYTES_READ=364
14/03/06 13:55:11 INFO mapred.JobClient:     HDFS_BYTES_READ=84
14/03/06 13:55:11 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=129072
14/03/06 13:55:11 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=28
14/03/06 13:55:11 INFO mapred.JobClient:   File Input Format Counters 
14/03/06 13:55:11 INFO mapred.JobClient:     Bytes Read=42
14/03/06 13:55:11 INFO mapred.JobClient:   查找hello
14/03/06 13:55:11 INFO mapred.JobClient:     hello=2
14/03/06 13:55:11 INFO mapred.JobClient:   Map-Reduce Framework
14/03/06 13:55:11 INFO mapred.JobClient:     Map output materialized bytes=66
14/03/06 13:55:11 INFO mapred.JobClient:     Map input records=4
14/03/06 13:55:11 INFO mapred.JobClient:     Reduce shuffle bytes=0
14/03/06 13:55:11 INFO mapred.JobClient:     Spilled Records=8
14/03/06 13:55:11 INFO mapred.JobClient:     Map output bytes=104
14/03/06 13:55:11 INFO mapred.JobClient:     Total committed heap usage (bytes)=266469376
14/03/06 13:55:11 INFO mapred.JobClient:     SPLIT_RAW_BYTES=98
14/03/06 13:55:11 INFO mapred.JobClient:     Combine input records=8
14/03/06 13:55:11 INFO mapred.JobClient:     Reduce input records=4
14/03/06 13:55:11 INFO mapred.JobClient:     Reduce input groups=4
14/03/06 13:55:11 INFO mapred.JobClient:     Combine output records=4
14/03/06 13:55:11 INFO mapred.JobClient:     Reduce output records=4
14/03/06 13:55:11 INFO mapred.JobClient:     Map output records=8


通过code1和code2的输出比较（红色部分），相信大家已经看出了区别！
code1中没有使用规约，所以：
Combine input records=0
Reduce input records=8
 Reduce input groups=4
Combine output records=0
code2中使用了规约，所以：
 Combine input records=8
 Reduce input records=4
Reduce input groups=4
Combine output records=4


很明显使用了规约后 Reduce input records=4减少map到reduce过程中数据的传输！


为什么要使用规约呢？（总结超哥的！）
/**
 * 问：为什么使用Combiner？
 * 答：Combiner发生在Map端，对数据进行规约处理，数据量变小了，传送到reduce端的数据量变小了，传输时间变短，作业的整体时间变短。
 * 
 * 问：为什么Combiner不作为MR运行的标配，而是可选步骤哪？
 * 答：因为不是所有的算法都适合使用Combiner处理，例如求平均数。
 *
 * 问：Combiner本身已经执行了reduce操作，为什么在Reducer阶段还要执行reduce操作哪？
 * 答：combiner操作发生在map端的，处理一个任务所接收的文件中的数据，不能跨map任务执行；只有reduce可以接收多个map任务处理的数据。
 *
 */


























                

        

        

    




    

      

        

            

              
                
                  Garry1115
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    3
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
大数据之mapreduce的排序和规约

				
			

			

				

					winnertakeall的博客
				

				

					08-04
					
					340
					
				

			

		

		

			
				
SortMapper:
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Counter;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOExcept...

			
		

	



                

              
                



	

		

			

				
					
Java编写Mapreduce程序过程浅析


				
			

			

				

					07-10
				

			

		

		

			
				
1. **Combiner**：在本地进行部分规约，减轻Reducer负担。 2. **MultipleOutputs**：允许多个输出文件，便于处理不同类型的输出。 3. **Mapper/Reducer性能调优**：合理设置内存大小、槽位数量、并行度等参数。  ...

			
		

	



                


  
              

                


	

		

			

				
					
MapReduce的规约

				
			

			

				

					qq_15076569的博客
				

				

					11-18
					
					1290
					
				

			

		

		

			
				
一：什么是规约

map阶段读取文件，生成k2,v2，通过combiner规约可以在map阶段将k2进行合并，v2生成集合，从而减小了生成的文件大小，减少了reduct读取map阶段的文件时的网络传输。也就是说本该在reduct阶段进行相同key合并，value行程集合的过程在map阶段通过规约提前实现了。

combiner 是 MR 程序中 Mapper 和 Reducer 之外的一种组件

...

			
		

	





	

		

			

				
					
reduce归约：深入理解java8中的归约reduce

					
最新发布

				
			

			

				

					LYGCSDN_的博客
				

				

					07-11
					
					1509
					
				

			

		

		

			
				
reduce中的BiFunction和BinaryOperator是什么；reduce使用场景；reduce如何高效使用

			
		

	



		

			
		



	

		

			

				
					
MapReduce程序之combiner规约

				
			

			

				

					weixin_34268169的博客
				

				

					03-05
					
					138
					
				

			

		

		

			
				
[toc]

MapReduce程序之combiner规约
前言
前面的wordcount程序，shuffle阶段的数据都是&amp;lt;hello, [1, 1, 1]&amp;gt;这种类型的（可以查看程序的输出），也就是说，交给reduce处理时就是这种类型的数据，这会带来一个问题，什么问题呢？就是网络传输问题，对于[1, 1, 1]这种数据，完全可以在本地就先完成规约，即将相当于在本地做...

			
		

	





	

		

			

				
					
MapReduce规约

				
			

			

				

					weixin_30580943的博客
				

				

					02-21
					
					128
					
				

			

		

		

			
				
深入了解Combiners编程(相当于Map端的Reduce)

每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。
combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。
如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，...

			
		

	





	

		

			

				
					
MapReduce规约Combiner

				
			

			

				

					beishanyingluo的博客
				

				

					05-31
					
					149
					
				

			

		

		

			
				
概念
每一个 map 都可能会产生大量的本地输出，Combiner 的作用就是对 map 端的输出先做一次合并，以减少在 map 和 reduce 节点之间的数据传输量，以提高网络IO 性能，是 MapReduce 的一种优化手段之一

combiner 是 MR 程序中 Mapper 和 Reducer 之外的一种组件
combiner 组件的父类就是 Reducer
combiner 和 re...

			
		

	





	

		

			

				
					
MapReduce-algorithms

				
			

			

				

					08-12
				

			

		

		

			
				
映射器（Mapper）和规约器（Reducer）是MapReduce中的两个关键组件。映射器负责读取输入数据并将其转换成一系列键值对；规约器则对这些键值对进行聚合操作，例如求和、计数等，以产生最终的输出结果。这种处理方式...

			
		

	





	

		

			

				
					
mapreduce1

				
			

			

				

					11-06
				

			

		

		

			
				
这个模型将复杂的并行计算任务分解为两个主要阶段：Map（映射）和Reduce（规约），使得在大量廉价硬件上进行大规模数据处理变得可能。MapReduce的核心理念是“分而治之”，它通过将大数据切分成小块，然后在多台机器...

			
		

	





	

		

			

				
					
MapReduce高阶实现

				
			

			

				

					04-19
				

			

		

		

			
				
 - **Combiner优化**：Combiner是MapReduce中的一个可选组件，它可以在Map阶段就对局部结果进行部分聚合，减少网络传输的数据量，提高整体性能。  - **MapReduce库的扩展**：通过自定义InputFormat、OutputFormat、...

			
		

	





	

		

			

				
					
mapreduce详细流程

				
			

			

				

					08-19
				

			

		

		

			
				
 - 如果配置了`combiner`函数或者启用了压缩功能，数据会在溢写到磁盘前经过`combiner`处理或压缩。  5. **合并阶段** (Combine)：  - 当所有数据处理完毕后，所有的`spill files`将被合并成一个较大的文件。  - ...

			
		

	





	

		

			

				
					
大数据-MapReduce规约

				
			

			

				

					逍遥云恋
				

				

					12-23
					
					380
					
				

			

		

		

			
				
2. 规约Combiner
每一个 map 都可能会产生大量的本地输出，Combiner 的作用就是对 map 端的输出先做 一次合并，以减少在 map 和 reduce 节点之间的数据传输量，以提高网络IO 性能，是 MapReduce 的一种优化手段之一

combiner 是 MR 程序中 Mapper 和 Reducer 之外的一种组件
combiner 组件的父类就是 Reducer
c...

			
		

	





	

		

			

				
					
Mapreduce combiner 规约

				
			

			

				

					weixin_45251179的博客
				

				

					05-08
					
					127
					
				

			

		

		

			
				
数据规约就是在尽可能保证数据原貌的情况下，最大限度的精简数据量





			
		

	





	

		

			

				
					
mapreduce规约

				
			

			

				

					0101
				

				

					04-18
					
					180
					
				

			

		

		

			
				
图解

规约主要是为了减少网络传输阶段的负担
准备工作
准备wordcount.txt，最好数据能重复多一点，能看到其中的效果。
规约前

规约后，reduce input明显减少

java代码
WordCountMapper.java

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.

			
		

	





	

		

			

				
					
mapreduce分区排序规约

				
			

			

				

					qq_43006401的博客
				

				

					05-27
					
					251
					
				

			

		

		

			
				
分区
相同key的value去同一个reduce
分区后需要指定reduceTask个数

package pation;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;

public class PationOwn extends Partitioner<Text, NullWritable>

			
		

	





	

		

			

				
					
MapReduce之Combiner详解

				
			

			

				

					沐雨金鳞
				

				

					01-28
					
					6526
					
				

			

		

		

			
				
Combiner是什么？为什么会出现Combiner？

Combiner是一个本地化的reduce操作，它是map运算的后续操作，
主要是在map计算出中间文件前做一个简单的合并重复key值的操作

1、网络带宽严重被占降低程序效率；
（提前在map上执行分组，减少传输给reduce的数据量）
2、单一节点承载过重降低程序性能；
（全在ruduce上运行，导致负载过重）

每一个map都可能会产

			
		

	





	

		

			

				
					
mapreduce

				
			

			

				

					KZZ‘s PDG的博客
				

				

					07-27
					
					186
					
				

			

		

		

			
				
MapReduce 排序和序列化

序列化 (Serialization) 是指把结构化对象转化为字节流
反序列化 (Deserialization) 是序列化的逆过程. 把字节流转为结构化对象. 当要在进程间传递对象或持久化对象的时候, 就需要序列化对象成字节流, 反之当要将接收到或从磁盘读取的字节流转换为对象, 就要进行反序列化
Java 的序列化 (Serializable) 是一个重量级序...

			
		

	





	

		

			

				
					
Stream API ---- 规约Reduce

				
			

			

				

					哈
				

				

					10-22
					
					844
					
				

			

		

		

			
				
Stream 规约
规约操作（reduction operation）又被称作折叠操作（fold），是通过某个连接动作将所有元素汇总成一个汇总结果的过程。元素求和、求最大值或最小值、求出元素总个数、将所有元素转换成一个列表或集合，都属于规约操作。Stream类库有两个通用的规约操作reduce()和collect()，也有一些为简化书写而设计的专用规约操作，比如sum()、max()、min()、...

			
		

	





	

		

			

				
					
MapReduce规约浅谈

				
			

			

				

					Jamie's Blogs
				

				

					09-26
					
					300
					
				

			

		

		

			
				
MapReduce阶段的kv变化
MapReduce是通过inputformat类读取文件产生K1,V1，map阶段读取数据，产生K2,V2；而Reduce阶段通过拉取map阶段的数据进行处理产生新的K3,V3
在map阶段读取数据产生K2,V2之后，我们可以通过使用combiner规约来将map阶段的k2进行合并，V2生成集合，也就是从而减少生成文件的大小，减少reduce读取map阶段文件的网...

			
		

	





	

		

			

				
					
mapreduce中combiner的作用

				
			

			

				

					03-16
				

			

		

		

			
				
MapReduce中的Combiner是一种可选的中间处理步骤，它可以在Map任务输出结果后，在数据传输到Reduce任务之前对数据进行一些简单的本地聚合操作，以减少数据传输量和网络带宽的使用，从而提高整个MapReduce作业的性能...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值