mapreduce

最新推荐文章于 2024-08-09 22:26:50 发布
最新推荐文章于 2024-08-09 22:26:50 发布
阅读量89 收藏
点赞数
分类专栏： 大数据学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zw147258369/article/details/102861805
版权

mapreduce程序5个阶段

input

map

shuffle

reduce

output

shuffle过程实现的功能

分区：

         决定当前的key交给那个reduce进行处理

         相同的key，必须由同一个reduce进行处理

         默认情况下：根据key的hash值 对reduce个数取余

分组：

         将相同key的value进行合并

         key相等的话，将分到同一个组里

          mapreduce阶段，一行调用一次map方法，一种key调用一次reduce方法

排序：

         安装key的字典顺序进行排序

详细的过程：

 

 

       -》map端的shuffle

            -》spill：溢写

              -》每一个map处理之后的结果将会进入环形缓冲区（内存：100M）

              -》分区：对每一条keyvalue进行分区（打标签）

                    hadoop      1    reduce0

                    hive           1     reduce1

                    hbase          1    reduce1

                     spark        1     reduce1

                      hadoop    1     reduce0

                -》排序  :将相同分区的数据进行分区内排序

                    hadoop      1    reduce0

                      hadoop    1     reduce0

                     hive           1     reduce1

                       hbase          1    reduce1

                     spark        1     reduce1

        -》当环形缓存区达到阈值80%，开始溢写

                将分区排序后的数据溢写道磁盘变成文件file1

                最终会生产多个小文件

            -》merge合并：将spill生产的小文件合并

                  -》排序：将相同分区的数据进行排序

                       file1

                    hadoop      1    reduce0

                      hadoop    1     reduce0

                     hive           1     reduce1

                       hbase          1    reduce1

                     spark        1     reduce1

                       file2

                    hadoop      1    reduce0

                      hadoop    1     reduce0

                     hive           1     reduce1

                       hbase          1    reduce1

                     spark        1     reduce1

 

 

                       endfile

                    hadoop      1    reduce0

                      hadoop    1     reduce0

                    hadoop      1    reduce0

                      hadoop    1     reduce0

                     hive           1     reduce1

                     hive           1     reduce1

                       hbase          1    reduce1

                     hbase          1    reduce1

                     spark        1     reduce1

                     spark        1     reduce1

     --》map task结束，通过app master，appmaster通知reduce过来拉取数据

 

 

 

 

       -》reduce端shuffle

            -》

               maptask-1

                    hadoop      1    reduce0

                      hadoop    1     reduce0

                    hadoop      1    reduce0

                      hadoop    1     reduce0

                       hbase          1    reduce1

                     hbase          1    reduce1

                     hive           1     reduce1

                     hive           1     reduce1

                     spark        1     reduce1

                     spark        1     reduce1

 

               maptask-2

                    hadoop      1    reduce0

                      hadoop    1     reduce0

                    hadoop      1    reduce0

                      hadoop    1     reduce0

                       hbase          1    reduce1

                     hbase          1    reduce1

                     hive           1     reduce1

                     hive           1     reduce1

                     spark        1     reduce1

                     spark        1     reduce1

            -》reduce启动多个线程通过网络到每台机器上去拉取属于自己分支的数据

                reduce1：

                       hbase          1    reduce1

                     hbase          1    reduce1

                     hive           1     reduce1

                     hive           1     reduce1

                     spark        1     reduce1

                     spark        1     reduce1

 

                       hbase          1    reduce1

                     hbase          1    reduce1

                     hive           1     reduce1

                     hive           1     reduce1

                     spark        1     reduce1

                     spark        1     reduce1

           =》merge合并：将每个map task的结果中属于自己分区的数据进行合并

             -》排序：将整体属于我分区的数据进行排序

 

                       hbase          1    reduce1

                     hbase          1    reduce1

                       hbase          1    reduce1

                     hbase          1    reduce1

                     hive           1     reduce1

                     hive           1     reduce1

                     hive           1     reduce1

                     hive           1     reduce1

                     spark        1     reduce1

                     spark        1     reduce1

                     spark        1     reduce1

                     spark        1     reduce1

 

     -》分组：对相同的key的value进行合并

         hbase ,list<1,1,1,1>

         hive  ,list  <1,1,1,1>

        spark ,list<1,1,1,1>

 

zw147258369
关注
专栏目录
mapreduce mapreduce mapreduce
06-03
mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce
MapReduce(一)
weixin_34097242的博客
12-19 175
分布式并行编程框架 特点： MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce•编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算； •MapReduce采用“分而治之”策略，一个存储在分布式文件系统中的大规模数据集，会被...
【大数据】5：MapReduce与YARN
最新发布
2301_76936713的博客
08-09 687
MapReduce是“分散->汇总”模式的分布式计算框架，可供开发人员开发相关程序进行分布式数据计算。MapReduce提供了2个编程接口：MapReduce其中 Map功能接口提供了“分散”的功能， 由服务器分布式对数据进行处理Reduce功能接口提供了“汇总（聚合）”的功能，将分布式的处理结果汇总统计用户如需使用MapReduce框架完成自定义需求的程序开发只需要使用Java、Python等编程语言，实现Map Reduce功能接口即可。
Mapreduce
xiaoxiao______的博客
08-18 127
Mapreduce是什么？有什么优点？为什么要学？ 优点
Hadoop学习笔记—4.初识MapReduce
deguotiantang的专栏
02-28 4237
一、神马是高大上的MapReduce 　　MapReduce是Google的一项重要技术，它首先是一个编程模型，用以进行大数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。但对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一种简化并行计算的编程模型，它使得那些没有多有多少并行计算经验的开发人员也可以开发并行应用程序。这也就是MapReduc
MapReduce
02-18
您将使用MapReduce为每个城市提供该城市中的星巴克数量。 输入是一个csv文件starbucks-locations.csv，输出应该是一个文件cityInformation，其中每行代表一个城市以及该城市中的星巴克数量。 第2部分：倒排索引 您...
大数据实验四-MapReduce编程实践
04-03
### 大数据实验四-MapReduce编程实践 #### 一、实验内容与目的 ##### 实验内容概述 本次实验的主要内容是使用MapReduce框架来实现WordCount词频统计功能，即统计HDFS（Hadoop Distributed File System）系统中多个...
【MapReduce篇07】MapReduce之数据清洗ETL1
08-04
MapReduce之数据清洗ETL详解 MapReduce是一种基于Hadoop的分布式计算框架，广泛应用于大数据处理领域。数据清洗（Data Cleaning）是数据处理过程中非常重要的一步，旨在清洁和转换原始数据，使其更加可靠和有用。...
实验项目 MapReduce 编程
04-18
实验项目“MapReduce 编程”旨在让学生深入理解并熟练运用MapReduce编程模型，这是大数据处理领域中的核心技术之一。实验内容涵盖了从启动全分布模式的Hadoop集群到编写、运行和分析MapReduce应用程序的全过程。 ...
学生mapreduce成绩分析
06-02
MapReduce是一种分布式计算模型，由Google在2004年提出，主要用于处理和生成大规模数据集。这个模型将复杂的计算任务分解成两个主要阶段：Map（映射）和Reduce（化简），使得在大规模分布式环境下处理大数据变得可能...
MapReduce: Simplified Data Processing on Large Clusters 英文原文
02-20
这是谷歌三大论文之一的 MapReduce: Simplified Data Processing on Large Clusters 英文原文。我的翻译可以见https://blog.csdn.net/m0_37809890/article/details/87830686
Mapreduce是什么
whisky丶的博客
08-14 613
简单来说，MapReduce是一个编程模型，用以进行大数据量的计算。 Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。 Mapreduce的特点： 软件框架 并行处理 可靠且容错 大规模集群
mapReduce
mjlfto的博客
12-19 511
有一段时间没有写了，最近写MapReduce遇见一些问题，总结一下；图片来源网络借鉴 首先看一下YARN的调度流程： 首先各个NodeManager会向ResourceManager反馈自己的资源使用情况 client向ResourceManager提交一个任务，然后根据各个NodeManger的资源使用情况来选择一个节点创建App Mster NodeManager在提交任务的时候也会拉回R...
Hadoop---MapReduce
Alano1994的博客
03-17 833
MapReduce 一、什么是MapReduce ---- 并行计算框架模型 Hadoop MapReduce是一个软件框架，基于该框架能够容易易地编写应⽤用程序，这些应用程序能够运行在由上千个商⽤用机器器组成的⼤大集群上，并以一种可靠的，具有容错能⼒力力的⽅方式并⾏行行地处理理上TB级别的海量数据集。这个定义里面有着这些关键词: 一是软件框架，二是并行处理，三是可靠且容错，四是大规模集群，五是海...
hadoop之mapreduce教程+案例学习（一）
菜瓜的博客
02-11 7218
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 1.2 MapReduce优缺点 1.2.1 优点 1．MapReduce易于编程 它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就...
大数据技术入门：MapReduce（分布式计算框架）
2401_84182824的博客
04-28 563
MapReduce 编程模型只包含 Map 和 Reduce 两个过程，map 的主要输入是一对 值，经过 map 计算后输出一对 值；Hadoop 集群常驻进程，根据要处理的输入数据量，命令 TaskTracker生成相应数量的Map和Reduce进程任务，并管理这个作业生命周期的任务的调度和监控。该进程是启动 MapReduce 程序的主入口，主要是指定 Map 和 Reduce 类、输入输出文件路径等，并提交作业给 Hadoop 集群。
Hadoop之MapReduce
qq_43198449的博客
09-16 208
1. MapReduce解决的问题 1) 数据问题：10G 的 TXT 文件 2) 生活问题：统计分类上海市的图书馆的书 2. MapReduce 是什么 MapReduce 是一种分布式的离线计算框架，是一种编程模型，用于大规模数据集(大于 1TB)的并行运算将自己的程序运行在分布式...
Hadoop　MapReduce原理
weixin_30853329的博客
06-20 141
　　先看一段代码： 　　 package com.abc; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值