MapReduce核心思想、编程规范及bean序列化

已于 2022-02-16 15:29:17 修改
阅读量1.3k 收藏 2
点赞数 1
分类专栏： Hadoop 文章标签： mapreduce hadoop
于 2022-02-16 15:22:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zkx990121/article/details/122956187
版权
本文详细介绍了MapReduce的核心思想，包括其并行处理的Map和Reduce阶段，以及编程模型。同时，深入讨论了MapReduce的进程组成，如MrAppMaster、MapTask和ReduceTask。此外，文章还探讨了Hadoop序列化的概念和自定义bean对象实现Writable接口的步骤，强调了在MapReduce中序列化和反序列化的关键点。
摘要由CSDN通过智能技术生成

1. MapReduce 核心思想

在这里插入图片描述

  1. 分布式的运算程序往往需要分成至少 2 个阶段
  2. 第一个阶段的 MapTask 并发实例，完全并行运行，互不相干
  3. 第二个阶段的 ReduceTask 并发实例互不相干，但是他们的数据依赖于上一个阶段的所有 MapTask 并发实例的输出
  4. MapReduce 编程模型只能包含一个 Map 阶段和一个 Reduce 阶段，如果用户的业务逻辑非常复杂，那就只能多个 MapReduce 程序，串行运行。

2. MapReduce 进程

一个完整的 MapReduce 程序在分布式运行时有三类实例进程：

  1. MrAppMaster ：负责整个程序的过程调度及状态协调
  2. MapTask ：负责 Map 阶段的整个数据处理流程
  3. ReduceTask ：负责 Reduce 阶段的整个数据处理流程

3. MapReduce 编程规范

用户编写的程序分为三个部分：Mapper、Reducer 和 Driver。

  1. Mapper阶段

     	用户自定义的Mapper要继承自己的父类
 	Mapper的输入数据是KV对的形式（
最低0.47元/天 解锁文章
大数据技术之MapReduce
悦分享
02-08 707
MapReduce是一个分布式运算程序的编程框架，是基于Hadoop的数据分析计算的核心框架。MapReduce处理过程分为两个阶段：Map和Reduce。Map负责把一个任务分解成多个任务，Reduce负责把分解后多任务处理的结果汇总。压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、Shuffle 和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。
hadoop之mapreduce教程+案例学习（一）
菜瓜的博客
02-11 7305
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 1.2 MapReduce优缺点 1.2.1 优点 1．MapReduce易于编程 它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就...
MapReduce编程规范
最新发布
钟健的博客
02-09 9233
对多个Map任务的结果进行排序以及合并,编写Reduce函数实现自己的逻辑,对输入的Key-Value进行处理,转为新的Key-Value(K3和V3）输出。MapReduce的开发一共有八个步骤,其中Map阶段分为2个步骤，Shuffle阶段4个步骤，Reduce阶段分为2个步骤。设置InputFormat类,将数据切分为Key-Value(K1和V1)对,输入到第二步。自定义Map逻辑,将第一步的结果转换成另外的 Key-Value (K2,V2）对,输出结果。对输出的Key-Value对进行分区。
3.1.2 HADOOP框架（MapReduce编程框架，序列化Writeable接口，Maptask并行度，ReduceTadk并行度，shuffle机制，排序，join,自定义读取、输出）
weixin_47134119的博客
01-24 341
3.1.2 HADOOP框架 文章目录3.1.2 HADOOP框架六、MapReduce编程框架6.1 MapReduce思想6.2 官⽅WordCount案例源码解析6.3 MapReduce编程规范及示例编写6.3.1 Mapper类6.3.2 Reducer类6.3.3 Driver阶段6.3.4 WordCount代码实现6.3.4.1 需求6.3.4.2 具体步骤 六、MapReduce编程框架 6.1 MapReduce思想 MapReduce思想在⽣活中处处可⻅。我们或多或少都曾接触过这
MapReduce 详细教程
西门催学不吹雪
05-18 3438
文章目录1. MapReduce 概述1.1 MapReduce 定义1.2 MapReduce 优缺点1.3 MapReduce 核心思想1.4 MapReduce 进程1.5 MapReduce 编程规范1.6 WordCount 案例实操1.6.1 需求1.6.2 需求分析1.6.3 编写程序 1. MapReduce 概述 1.1 MapReduce 定义   MapReduce 是一个分...
MapReduce的编程规范
CyAurora的博客
08-01 371
目录 一、Mapper部分 二、Reducer部分 三、Driver部分 四、wordcount演示实例 4.1需求： 4.2测试数据： 4.3代码实现 4.3.1 pom.xml⽂件的配置 4.3.2 定义⼀个mapper内部类 4.3.3 定义⼀个reducer内部类 4.3.4 定义⼀个Driver类 ⽤户编写的程序分为3个部分：Mapper、Reducer、Driver（提交mr程序的客户端） 一、Mapper部分 1. ⾃定义类，继承Mapper类...
MapReduce核心编程思想,编程规范
weixin_42898914的博客
12-06 386
什么是MapReduce？     分布式程序的编程框架，java-》ssh ssm， 目的：简化开发！     是基于hadoop的数据分析应用的核心框架。     mapreduce的功能：将用户编写的业务逻辑代码和自带默认组建整合成一个完整的分布式运算程序，并发的运行在hadoop集群上。 MapReduce的优缺点     优点         1、易于编程         2、良好的拓...
MapReduce 编程规范 （以WordCount为例）
m0_65136138的博客
07-23 906
先介绍一下常用的数据序列化类型在MapReduce编程中，需要进行数据传输，比如将Mapper的结果传入Reducer中进行汇总，媒介就是context,所以需要可以序列化的数据类型。
MapReduce编程规范及实践（流量统计）
m0_37956825的博客
05-16 1182
一、MapReduce编码规范 Map阶段2个步骤 设置 InputFormat 类, 将数据切分为 Key-Value(K1和V1) 对, 输入到第二步 自定义 Map 逻辑, 将第一步的结果转换成另外的 Key-Value(K2和V2) 对, 输出结果 Shule 阶段 4 个步骤 对输出的 Key-Value 对进行 分区 对不同分区的数据按照相同的 Key 排序 (可选) 对分组过的数据初步 规约 , 降低数据的网络拷贝 对数据进行 分组 ,
大数据之Hadoop(MapReduce):MapReduce编程规范
weixin_43597208的博客
05-22 210
目录1.MapReduce编程规范1.1.Mapper阶段1.2.Reduce阶段1.3.Driver阶段 用户编写的程序分成三个部分：Mapper、Reducer和Driver。 1.MapReduce编程规范 1.1.Mapper阶段 （1）用户定义的Mapper要继承自己的父类； （2）Mapper的输入数据时KV对的形式（kv的类型可自己定义）； （3）Mapper中的业务逻辑写在map()方法中； （4）Mapper的输出数据时KV对的形式（kv的类型可自己定义） （5）map()方法（Map T
MapReduce编程规范及示例
weixin_38044597的博客
12-01 416
目录 1.MapReduce编程模型 1.1 MapReduce编程模型的总结 1.2 MapReduce编程步骤 2.MapReduce编程示例 2.1 定义一个mapper类 2.2 定义一个reducer类 2.3 定义一个主类，用来描述job并提交job 1.MapReduce编程模型 1.1 MapReduce编程模型的总结 MapReduce的开发一共有八个步骤其...
MapReduce——01MapReduce编程规范
m0_51474171的博客
11-04 415
重写map、reduce、driver，查看源码解析
(HDFS)MapReduce核心思想+进程+编程规范+WordCount案例
安歌Object
08-15 603
聊聊MapReduce   Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。   Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 MapReduce核心思想 MapReduce核心编程思想，如图 1）分布式的运算程序往往需要分成至少2个阶段。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值