No.10 MapReduce 编程模型极简篇

最新推荐文章于 2020-09-05 15:06:22 发布

木东居士

最新推荐文章于 2020-09-05 15:06:22 发布

阅读量604

点赞数

分类专栏：大数据文章标签：分布式 mapreduce hadoop

本文链接：https://blog.csdn.net/zhaodedong/article/details/78186438

版权

大数据专栏收录该内容

33 篇文章 21 订阅

订阅专栏

本文简要回顾MapReduce编程模型，强调其简洁易学的特点。MapReduce计算输入和输出为Key/Value对，只需实现Map和Reduce接口。Map将输入数据转化为中间数据，Reduce聚合相同Key的记录并生成最终结果。通过WordCount实例，展示了MapReduce处理大规模数据的优势。

摘要由CSDN通过智能技术生成

0x00 前言

回想自己最初学 Hadoop 的时候，初衷是写MapReduce程序，但是搭建单机环境折腾一周，搭建分布式环境折腾一周，跑个Demo解决一下Bug又一周过去了。最后都忘了自己是想学 MapReduce 的。

感觉自己虽然是搞Hadoop的，但是写MR比自己想的要少很多。初期是花了很多精力在安装以及集群的各种日常维护，熟悉Hive后就经常用Hive来解决问题，然后逐渐地各种任务过度到了Spark上，因此对MapReduce的重视就少了很多。细想起来，MapReduce本身是很简洁易学的，因此这次抛开各种MapReduce背后的实现原理，来专门回顾一下它的编程模型。

0x01 编程模型

MapReduce计算提供了简洁的编程接口，对于某个计算任务来说，其输入是Key/Value数据对，输出也以Key/Value数据对方式表示。

对于应用开发者来说，只需要根据业务逻辑实现Map和Reduce两个接口函数内的具体操作内容，即可完成大规模数据的并行批处理任务。

Map 函数以Key/Value数据对作为输入，将输入数据经过业务逻辑计算产生若干仍旧以Key/Value形式表达的中间数据。MapReduce计算框架会自动将中间结果中具有相同Key值的记录聚合在一起，并将数据传送给Reduce函数内定义好的处理逻辑作为其输入值。

Reduce 函数接收到Map阶段传过来的某个Key值及其对应的若干Value值等中间数据，函数逻辑对这个Key对应的Value内容进行处理，一般是对其进行累加、过滤、转换等操作，生成Key/Value形式的结果，这就是最终的业务计算结果。

0x02 举个栗子

1. 问题描述

举个MapReduce最经典的例子——WordCount。假设给你100亿的文本内容，如何统计每个单词的总共出现次数？或者说统计出统计出现次数最多的N个单词?

这个任务看似简单，但如果在单机环境下快速完成还是需要实现技巧的，主要原因在于数据规模巨大。在MapReduce框架中实现的话就会简单很多，只要实现相应的和Map和Reduce函数即可。

2. 代码实现

我们用Python实现一下大致的逻辑：

def map(key, value):
    values = value.split(" ")
    for v in values:
        print (v, "1")

def reduce(key, value):
    int result=0
    for v in value:
        result += int(v)
    print (key, result)

Map操作的key是一个文件的ID或者一个网页的ID，value是它的正文内容，即由一系列单词组成。Map函数的主要作用是把文本内容解析成一个个单词和单词出现的次数，比如<w,1>。一般我们不太关注Map中的key，只解析其中的value即可。

Reduce操作的key值为某个单词，对应的Value为出现次数列表，通过遍历相同Key的次数列表并累加其出现次数，即可获得某个单词在网页集合中总共出现的次数。

3. 分析

画个整体的图，来解释一下MapReduce的过程都做了什么。

最左边是我们需要统计的文本内容，假设我们现在与三个问题，每个里面都有一些内容。
Map阶段会有我们的Map函数来读取相应的文本，并解析出其中的单词，然后输出dantezhao 1这种结构，其中key是dantezhao，value是出现次数1。
然后这里会经过一个Shuffle过程，把相同key的数据放到同一个Reduce中来处理，比如我们这里会把所有key为dantezhao的数据发送到第二个Reduce中。
Reduce阶段，根据相同的key，计算出它出现的次数，即将value值相加。