MapReduce代码和优化

最新推荐文章于 2024-07-10 23:15:15 发布
最新推荐文章于 2024-07-10 23:15:15 发布
阅读量77 收藏
点赞数
分类专栏： # MapReduce 文章标签： mapreduce
原文链接：https://www.bilibili.com/video/BV1Tf4y167U8?p=75&spm_id_from=pageDriver
版权

1. IDEA 配置

2. Job 类

2.1 Job.waitForCompletion

 2.2 Job. submit

submit()：总共可分为两大步：第一步是和集群进行连接，第二步是往集群提交作业。

connect() 就是为了与集群进行连接，底层使用了RPC协议，针对本地集群和Yarn集群两个不同的集群，给我们封装了localJobRunner和YARNRunner，两个真正的与集群通信的客户端。

连接后，就可以提交作业了 

3. MapTask 类

3.1 整体概述

3.2 准备部分

3.3 工作部分

3.4  InputFormat (TextInputFormat)解析

3.4.1 getSplits 逻辑规划

3.4.2 createRecordReader

3.5 Mapper类

 3.6 OutputCollector 

 3.7 MapOutputBuffer

3.7.1 内存缓冲区初始化

回顾下流程

 MapTask在run()方法中就已经把收集器创建好了，并进行了分区，环形缓冲区初始化，在调用write()方法进行写时，底层调用的就是收集器的collect()，往缓冲区里写(有reduceTask的话)。

进入到sortAndSpill():

 

  

zhzsdiligence
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce配置与优化
梓纾的专栏
01-03 1万+
1. 流程简介参考MapReduce学习笔记之简介（一）2. 配置详解core-site.xml是全局配置，hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。本文配置基于2.7.3版本。另外只列出了部分属性。2.1 core-default.xml 选项 默认值 描述 hadoop.tmp.dir /tmp/hadoop-${user
MapReduce的优化
白墨的小白博客
09-27 191
Map Join： 在 Map 阶段拼接数据，效率高， 只适合一个文件小到能够读取到内存中 job： 1. 添加小文间到 classpath job.addFileToClassPath() map： 1. 在 setup 读取小文间的内容，保存到内存中的 HashMap 中 以 关联条件为 key，其它字段为 value ...
关于MapReduce的优化方法大全
qq1253507478的博客
07-06 2590
关于MapReduce的优化方法大全
Hadoop企业优化——MapReduce优化方法及小文件
m0_53841569的博客
01-31 428
个人总结
MapReduce的优化(超级详细)
互联网知识分享
07-18 720
通过将数据划分为多个分区、使用压缩算法减小数据的大小和增加并行度等手段，可以显著提高MapReduce的处理速度和效率。在上述代码中，首先通过partition_data函数根据数据的哈希值来将数据划分为两个分区，然后使用map_function函数在每个分区上执行map操作，计算每个单词的出现次数。在上述代码中，map_function函数对每个分区的数据进行排序，并返回排序后的结果。但是，需要平衡数据复制的开销和容错的收益。（2）任务合并：将多个小的任务合并为一个大的任务，并以批处理的方式来执行。
大数据-hadoop-mapreduce代码
11-28
总的来说，这个“大数据-hadoop-mapreduce代码”资源对于想要深入理解Hadoop MapReduce机制，或者需要开发和优化MapReduce应用程序的人来说，是一个宝贵的参考资料。通过研究这些代码，你可以学习到如何处理Hadoop...
mapreduce中操作titan样例代码
08-19
8. **性能优化**：优化MapReduce作业的性能是关键。这包括合理设置任务并发度、内存使用，以及优化数据处理逻辑，减少不必要的I/O操作。 通过以上知识点，你可以构建一个基本的MapReduce作业，来处理和分析Titan中...
Hadoop中MapReduce基本案例及代码（三）
01-20
驱动类（Driver）是整个MapReduce作业的起点，它配置作业参数、指定输入和输出路径，并提交作业到Hadoop集群进行执行。在这个例子中，驱动类会设置输入和输出格式，指定Mapper和Reducer类，以及设置其他相关配置。 ...
使用MapReduce优化大数据K均值聚类
04-10
使用MapReduce优化大数据K均值聚类
MapReduce（原理、资源设置、代码、优化等）hadoop总结
08-28
一、Hadoop基础 1、分布式概念 2、Hadoop特性 3、Hadoop四大核心模块介绍 4、Hadoop HDFS构架解析 5、YARN构架解析 ...五、MapReduce的优化 六、基于Zookeeper的HA 七、MapReduce经典案例 。 。 。
大数据基础：Hadoop之MapReduce重点架构原理
Lansonli（蓝深李）的博客
07-10 1555
Reduce端每个Reduce task会从每个map task所在的节点上拉取落地的磁盘文件对应的分区数据，对于每个Reduce task来说，从各个节点上拉取到多个分区数据后，每个分区内的数据按照key分组有序，但是总体来看这些分区文件中key数据不是全局有序状态（分区数据内部有序，外部无序）。第一次排序发生在Map阶段的磁盘溢写时：当MapReduce的环形缓冲区达到溢写阈值时，在数据刷写到磁盘之前，会对数据按照key的字典序进行快速排序，以确保每个分区内的数据有序。
企业数字化转型IT信息化战略规划建设方案.pptx
07-20
企业数字化转型IT信息化战略规划建设方案.pptx
物联网工程_基于ZigBee的铁轨安全隐患监控系统的设计.docx
07-20
物联网工程_基于ZigBee的铁轨安全隐患监控系统的设计
HMM模型训练文本数据集（十万左右字）
最新发布
07-20
HMM模型训练文本数据集（十万左右字）
[课设项目]Java-SSM框架开发SpringMVC在线电影评价系统设计与实现+jsp+MySQL+前后端分离毕业论文和源码
07-20
本研究项目致力于构建一个基于Java-SSM框架的SpringMVC在线电影评价系统，以实现电影信息的展示、用户评价、评论管理以及电影推荐等功能。系统采用前后端分离的设计理念，前端通过JSP页面展示电影详情和用户评价，后端则基于SSM框架提供强大的数据处理和业务逻辑处理能力。数据库选用MySQL，确保了数据的高效存储和查询。开发环境配置了JDK、IDEA和Tomcat，为开发者提供了便捷的开发工具。本项目已通过运行测试，各项功能稳定可靠，适合作为计算机相关专业学生的毕业设计和课程设计项目。此外，系统源码开放，提供了丰富的数据库脚本和详细的开发说明，方便学习者进行实战练习和二次开发。无论是寻求高分的毕业设计项目，还是希望提升Java实战能力的开发者，本项目都是不可多得的优质资源。
Python实现PC客户端自动化的原理（基于pywinauto库）
07-20
本教程详细介绍了如何使用Python库`pywinauto`进行Windows PC客户端的自动化操作。`pywinauto`通过Windows API与操作系统交互，模拟用户操作如点击按钮、输入文本等，适用于自动化测试和操作。教程涵盖了环境设置、基本原理、启动和连接应用程序、定位窗口和控件、模拟用户操作、捕获窗口截图、处理不同的Backend等内容，并通过实例展示了如何编写和执行自动化脚本。此外，还介绍了将`pywinauto`集成到自动化测试框架中的方法。通过本教程，用户可以掌握`pywinauto`的使用方法，提升Windows应用程序的自动化测试和操作效率。本教程详细介绍了如何使用Python库`pywinauto`进行Windows PC客户端的自动化操作。`pywinauto`通过Windows API与操作系统交互，模拟用户操作如点击按钮、输入文本等，适用于自动化测试和操作。教程涵盖了环境设置、基本原理、启动和连接应用程序、定位窗口和控件、模拟用户操作、捕获窗口截图、处理不同的Backend等内容，并通过实例展示了如何编写和执行自动化脚本。此外，还介绍了将`pywinau
毕业设计javajsp药店管理系统(ssh)-qlkrp源码
07-20
毕业设计javajsp药店管理系统(ssh)-qlkrp源码 后台是ssh框架，页面是jsp，数据库mysql，jdk1.8，开发工具用ecplise、myecplise、sts、idea都可以 系统设置员工管理员工添加供应商管理供应商添加商品管理商品添加库存查看日营业管理进货统计报表销售统计报表销售排行报表缺货统计报表 包含：源码、数据库脚本、环境工具包、相同框架项目的安装教程（在说明文档中）
【独家首发】Matlab实现淘金优化算法GRO优化Transformer-BiLSTM实现负荷数据回归预测.rar
07-20
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
毕业设计javajsp自助旅游管理系统(jsp+sqlserver)-qkrp源码含文档
07-20
毕业设计javajsp自助旅游管理系统(jsp+sqlserver)-qkrp源码含文档 页面是jsp，数据库sqlserver，jdk1.8，开发工具用ecplise、myecplise、sts、idea都可以 自助游管理信息系统 旅游信息管理 餐饮娱乐信自 交通信息 天气信息 自助旅游管理 旅游线路管 参加团以 查询相关信息 客户评价管理 存入档案 线路评价 景点评价 服务评价 论坛 团队档案管理 旅游商品推荐管理 团队计划管理 旅游纪念品 旅游特产 注册登录 包含：源码、数据库脚本、论文、环境工具包、相同框架项目的安装教程（在说明文档中）
unity mapReduce代码
07-22
在 Unity 中实现 MapReduce 框架并不是常见的做法，因为 Unity 主要用于游戏开发，而 MapReduce 更适用于大规模数据处理。但是，你可以在 Unity 中使用 C# 来编写自己的 MapReduce 算法。下面是一个简单的示例代码： ```csharp using System; using System.Collections.Generic; using System.Linq; using UnityEngine; public class MapReduceExample : MonoBehaviour { void Start() { // 输入数据 List<string> inputList = new List<string>() { "apple", "banana", "cherry", "date", "elderberry", "fig", "grape" }; // Map 步骤 var mapResult = inputList.SelectMany(word => Map(word)); // Shuffle 步骤 var groups = mapResult.GroupBy(item => item.Key); // Reduce 步骤 var reduceResult = groups.Select(group => Reduce(group.Key, group)); // 输出结果 foreach (var result in reduceResult) { Debug.Log(result); } } // Map 函数将输入数据映射为键值对 IEnumerable<KeyValuePair<char, int>> Map(string word) { foreach (char c in word) { yield return new KeyValuePair<char, int>(c, 1); } } // Reduce 函数对具有相同键的值进行聚合 string Reduce(char key, IEnumerable<KeyValuePair<char, int>> values) { int sum = values.Sum(item => item.Value); return $"{key}: {sum}"; } } ``` 这个示例代码与之前的 C# MapReduce 示例相似，但是在 Unity 中做了一些调整。在 `Start` 方法中执行 MapReduce 步骤，并使用 Unity 的 `Debug.Log` 输出结果。其余的 Map 和 Reduce 函数保持不变。 请注意，这只是一个简单的示例，可能并不适用于复杂的场景。如果你有特定的需求，可能需要根据自己的数据和业务逻辑进行相应的调整和优化。希望对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值