MapReduce InputFormat 数据输入

已于 2022-02-16 15:31:03 修改
阅读量945 收藏
点赞数
分类专栏： Hadoop 文章标签： mapreduce hadoop
于 2022-02-16 15:26:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zkx990121/article/details/122964479
版权
本文详细介绍了MapReduce框架中InputFormat的数据输入过程，包括Job提交流程、FileInputFormat的切片解析，以及TextInputFormat和CombineTextInputFormat的使用。重点讨论了数据切片的逻辑，如切片大小计算、TextInputFormat的默认行为，以及CombineTextInputFormat如何解决小文件过多的问题。通过调整虚拟存储切片最大值，可以优化处理效率。
摘要由CSDN通过智能技术生成

MapReduce 框架原理

在这里插入图片描述

InputFormat 数据输入

数据块：Block 是 HDFS 物理上把数据分成一块一块。数据块是 HDFS 存储数据单位。
数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。数据切片是 MapReduce 程序计算输入数据的单位，一个切片会对应启动一个 MapTask。

一个Job的Map阶段并行度由客户端在提交Job时的切片数决定
每一个Split切片分配一个MapTask并行实例处理
默认情况下，切片大小=BlockSize
切片时不考虑数据集整体，而是逐个针对每一个文件单独切片

1.1 Job提交流程详解

  1. 建立连接

     创建提交 Job 的代理
 判断是本地运行环境还是 yarn 集群运行环境

  2. 提交 job

     创建给集群提交数据的 Stag 路径
 获取 jobid ，并创建 Job 路径
 拷贝 jar 包到集群
 计算切片，生成切片规划文件
 向 Stag 路径写 XML 配置文件
 提交 Job,返回提交状态

最低0.47元/天 解锁文章
刚入门的小仙女
关注
专栏目录
MapReduce流程InputFormat
weixin_38312719的博客
03-27 279
概述 InputFormat是做大数据分析的第一步,也就是解决数据输入格式问题,因为要处理的数据可能来源不同(文件,数据库,key/value等),意味着格式也就不同,那么InputFormat就是用来解决这个问题的,这样在做Map的时候才能做到数据的统一处理. 组件涉及到的作用 1.通过InputFormat可以解决数据输入不同格式问题 2.不同的数据格式其实多少影响分片,InputFormat的不同实现切片策略也不太一样 TextInputFormat(默认) 原理: 1.TextInputFormat
[Hadoop源码详解]之一MapReduce篇之InputFormat
depe16540458的博客
02-28 354
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn 小站博文地址：[Hadoop源码详解]之一MapReduce篇之InputFormat 1. 概述 我们在设置MapReduce输入格式的时候，会调用这样一条语句： job.setInputFormatClass(KeyValueTextInputFormat.class); 这条语句保证了输入文件...
MapReduce InputFormat
minghai
04-26 398
MapReduce InputFormat MapReduce中的InputFormat类型 InputFormat 从InputFormat类图看，InputFormat抽象类仅有两个抽象方法： List getSplits()：根据输入文件计算出输入切片(InputSplit)，解决输入文件切片问题 RecordReader<K,V> createRecordReader()：创建 ResordReader,从 InputSplit 中读取数据，解决从切片中读取数据的问题 在 调用 g
MapReduce输入格式
04-22 209
　　文件是 MapReduce 任务数据的初始存储地。正常情况下，输入文件一般是存储在 HDFS 里面。这些文件的格式可以是任意的：我们可以使用基于行的日志文件， 也可以使用二进制格式，多行输入记录或者其它一些格式。这些文件一般会很大，达到数十GB，甚至更大。那么 MapReduce 是如何读取这些数据的呢？下面我们来学习 InputFormat 接口 1、InputFormat接口...
MapReduce源码解析之InputFormat
窗外的屋檐
12-27 339
导读        上一篇文章介绍了MapReduce中Map（映射）的实现者Mapper，本章将会介绍MapReduce中的输入文件的处理者InputFormat。MapReduce程序获取的数据类型多种多样，当程序把数据输入给Mapper时，需要格式化读取，例如读取普通文本文件许需要设置 job.setInputFormatClass(TextInputFormat.class)。所有的输入...
【MapReduce篇03】MapReduce之InputFormat数据输入1
08-04
在MapReduce编程模型中，InputFormat是至关重要的组件，它负责将存储在HDFS(Hadoop Distributed File System)上的数据转化为可以被MapTask处理的键值对。本文将深入讲解MapReduce的InputFormat，特别是默认的...
自定义MapReduce的InputFormat
10-27
在Hadoop MapReduce框架中，InputFormat是处理输入数据的核心组件。它负责将原始数据分割成逻辑上的键值对（key-value pairs），然后为每个分区分配一个或多个这些键值对给Mapper。默认情况下，Hadoop支持如...
MapReduce之自定义InputFormat
xby18772963985的博客
01-26 243
MapReduce之自定义InputFormat 背景: 在企业开发中，Hadoop框架自带的InputFormat类型不能满足所有应用场景，需要自定义InputFormat来解决实际问题。 自定义InputFormat步骤如下： 自定义一个类继承FilelnputFormat。 自定义一个类继承RecordReader，实现一次读取一个完整文件，将文件名为key，文件内容为value。 在输出时使用SequenceFileOutPutFormat输出合并文件。 无论HDFS还是MapReduce，在处
Hadoop MapReduce InputFormat详解：从TextInputFormat到NLinelnputFormat
本资源主要探讨了MapReduce中InputFormat的数据输入，特别是FileInputFormat的切片机制，以及几个常见的实现类，如TextInputFormat、KeyValueTextInputFormat和NLineInputFormat。" 在MapReduce中，InputFormat负责...
Hadoop源码解析---MapReduce之InputFormat
04-28
结合Hadoop源码，详细讲解了MapReduce开发中的InputFormat，很详细。
MapReduce之InputFormat数据输入
Movle
06-09 509
1.Job提交流程和切片源码详解 (1).job提交流程源码详解 waitForCompletion() submit(); connect(); // 1建立连接 new Cluster(getConfiguration()); // 1）创建提交job的代理 initialize(jobTrackAddr, conf); // （1）判断是本地yarn还是远程 submitter.submitJobInternal(Job.this,
MapReduce编程组件之InputFormat(1)
Jenny19992018的博客
10-21 1267
具体的子类对象是由InputFormat决定的，默认的输入格式是TextInputFormat，因此默认的RecordReader也是相对应的LineRecordReader。从MapContentImpl类中的方法可见，content.getCurrentKey()，content.getCurrentValue()以及nextKeyValue()，其实都是对RecordReader方法的封装，即MapContext是直接使用传入的RecordReader来对InputSplit进行“K-V对”读取的。
MapReduce编程组件之InputFormat(2)
最新发布
Jenny19992018的博客
10-21 544
SequenceFile文件是Hadoop用来存储二进制形式键值对的文件。它可以看作是一个容器，把所有的文件打包到SequenceFile中可以高效存储和管理小文件。优点：支持记录或者块压缩，支持切片。缺点：需要一个合并文件的过程，且合并后的文件不方便查看。具体需求：将多个小文件合并成一个存储的形式为文件路径+名称为key，文件内容为value。自定义InputFormat步骤：1.自定义InputFormat类，继承FileInputFormat。
MapReduce之自定义inputFormat合并小文件
大数据梦想家
11-19 4310
        无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。         小文件的优化无非以下几种方式: 在数据采集的时候，就将小文件或小批数据合成大文...
MapReduce的自定义InputFormat
v3424的博客
11-13 153
源码如下： InputFormat类 import org.apache.hadoop.mapreduce.InputSplit; import org.apache.hadoop.mapreduce.RecordReader; import org.apache.hadoop.mapreduce.TaskAttemptContext; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import java.io.IOExcept
十三 MapReduce之InputFormat
andy的博客
02-26 276
文章目录1 MapReduce的数据流2 切片与MapTask并行度决定机制3 FileInputFormat 切片大体步骤4 FileInputFormat切片机制5 FileInputFormat实现类5.1 TextInputFormat实现类5.2 KeyValueFormat实现类5.3 NLineInputFormat 实现类5.4 CombineTextInputFormat 实现类...
MapReduce学习笔记之输入（二）
梓纾的专栏
10-13 2786
类图 1. InputFormat类MapReduce作业的输入数据的规格是通过InputFormat类及其子类给出的。有以下几项主要功能： 输入数据的有效性检测。 将输入数据切分为逻辑块（InputSplit），并把他们分配给对应的Map任务。 实例化一个能在每个InputSplit类上工作的RecordReader对象，并以键-值对方式生成数据，这些Ｋ－Ｖ对将由我们写的Mapper方法处理。
Hadoop系列之MapReduce InputFormat(23)
热门推荐
02-02 6万+
MapReduce InputFormat Hadoop InputFormat 会检查作业的数据输入规范，它把输入文件分割成 InputSplit 分片，并发送给 Mapper。 Hadoop InputFormat 输入文件的分片和读取是由 InputFormat 定义的。InputFormat 主要负责创建数据分片，并把它转换成记录（即键值对），如果你还不熟悉 MapReduce 作业的工作原理，请参考 MapReduce 工作原理。 MapReduce 任务处理的数据是存储在输入文件的，而输入文件
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值