MapReduce是一种分布式计算框架，常用于大数据处理。它将任务分解，数据在集群节点上并行处理，通过mapper进行映射操作，reducer进行规约操作。Hadoop是实现MapReduce的开源Java项目，包含分布式文件系统。Amazon的EMR服务则简化了在AWS上运行Hadoop作业的流程。文章还提及使用mrjob实现MapReduce版的SVM算法。
MapReduce 是一个软件框架，可以将单个计算作业分配给多台计算机执行。MapReduce在大量节点组成的集群上运行。它的工作流程是:单个作业被分成很多小分，输入数据也被切分发到每个节点，各个节点只在本地数据上做运算，对应的运算代码称为mapper，这个过程称作map阶段。每个mapper的输出通过某种方式组合(一般会排序)。排序后的结果再被分成小份分发到各个节点进行下一步处理工作。第二步的处理阶段被称为reduce阶段，对应的运行代码被称为reducer。reducer的输出就是程序的最终执行结果。
Hadoop是一个开源的java项目，为运行MapReduce作业提供了大量所需的功能，除了分布式计算外，还自带分布式文件系统。
Amazon网络服务(AWS)允许用户按时长租借计算资源，弹性MapReduce（EMR）是Amazon网络服务上的一个常用工具，可以帮助用户在AWS上运行Hadoop流作业ÿ
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
