MAP/REDUCE TASK作业状态转移图

最新推荐文章于 2021-11-26 11:09:57 发布
最新推荐文章于 2021-11-26 11:09:57 发布
阅读量131 收藏 2
点赞数
分类专栏： HADOOP 文章标签： mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangxiong0301/article/details/84714237
版权

Task Attempt

 

Table of contents:

Finite State Machine

Hadoop (MapReduce): Task Attempt - Finite State Machine

NEW => UNASSIGNED [TA_SCHEDULE]

Hadoop (MapReduce): Task Attempt - NEW => UNASSIGNED - TA_SCHEDULE

UNASSIGNED => ASSIGNED [TA_ASSIGNED]

Hadoop (MapReduce): Task Attempt - UNASSIGNED => ASSIGNED - TA_ASSIGNED

ASSIGNED => RUNNING [TA_CONTAINER_LAUNCHED]

Hadoop (MapReduce): Task Attempt - ASSIGNED => RUNNING - TA_CONTAINER_LAUNCHED

RUNNING => SUCCESS_CONTAINER_CLEANUP [TA_DONE], COMMIT_PENDING => SUCCESS_CONTAINER_CLEANUP [TA_DONE]

Hadoop (MapReduce): Task Attempt - RUNNING => SUCCESS_CONTAINER_CLEANUP - TA_DONE - COMMIT_PENDING => SUCCESS_CONTAINER_CLEANUP

SUCCESS_CONTAINER_CLEANUP => SUCCEEDEED [TA_CONTAINER_CLEANED]

Hadoop (MapReduce): Task Attempt - SUCCESS_CONTAINER_CLEANUP => SUCCEEDEED - TA_CONTAINER_CLEANED

MapTask

 

Table of contents:

Startup

Hadoop (MapReduce): MapTask - Startup

Execution

Hadoop (MapReduce): MapTask - Execution

Post Execution - Shuffle

Hadoop (MapReduce): MapTask - ShuffleHadoop (MapReduce): MapTask - Shuffle (2)

 

 

 

ReduceTask

 

Table of contents:

Startup

Hadoop (MapReduce): ReduceTask - Startup

Shuffle

Hadoop (MapReduce): ReduceTask - Shuffle

Local Fetcher

Hadoop (MapReduce): ReduceTask - Local Fetcher

Fetcher

Hadoop (MapReduce): ReduceTask - Fetcher

Shuffle - Merge

Hadoop (MapReduce): ReduceTask - Shuffle MergeHadoop (MapReduce): ReduceTask - Shuffle Merge (2)

Execution

Hadoop (MapReduce): ReduceTask - Execution

 

 

 

Merger

 

Hadoop (MapReduce): Merger

分布式计算框架Map/reduce
m0_62295920的博客
02-09 1364
简介: MapReduce是一个基于集群的高性能并行计算平台,MapReduce是一个并行计算与运行的软件框架,MapReduce是一个并行程序设计模型与方法.特点: ①分布可靠,对数据集的操作分发给集群中的多个节点实现可靠性,每个节点周期性返回它完成的任务和最新的状态 ②封装了实现细节，基于框架API编程，面向业务展开分布式编码 ③提供跨语言编程的能力 MapReduce的主要功能: 1.1数据划分和计算任务调度 1.2数据/代码互相定位 1.3系统优化 1.4出错检测和恢复 MapR
分布式计算框架Map/Reduce
asdsdsd25的博客
04-24 768
1、产生背景 Web2.0时代，数据爆炸式、指数级增长，大数据分布式计算需求频繁 通过单机内存扩展来增强计算能力，已经无法承载大规模数据量的计算 分布式计算开发和维护的复杂与多变，对程序员要求太高 Google公司为了解决其搜索引擎中大规模网页数据的并行化处理，研究提出的一种面向大规模数据处理的并行计算模型和方法，称为MapReduce。 2003年和2004年，Google公司在国际会议上分别发表了两篇关于Google分布式文件系统GFS和MapReduce的论文，公布了G
mapreduce图示原理深入详解，几张图搞定
热门推荐
涤生大数据
11-14 3万+
1. MAPREDUCE原理篇 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 1.1 为什么要MAPREDUCE （1）海量数据在单机上处理因为硬件资源限制，无法胜任 （2）而一旦将单机版程
Container killed by the ApplicationMaster, Exit code is 143
houzhizhen的专栏
01-26 1万+
之前发现在map任务里面经常看到Container killed by the ApplicationMaster，挺奇怪，不过任务最终是成功的，就没怎么管。不过最近测试集群跑的任务报143错误，还是重新看一下这个问题。 分析版本：hadoop cdh5.4 错误日志 2015-12-30 17:31:09,994 INFO [AsyncDispatcher event handler]
Sqoop export时报错transitioned from state FAIL_FINISHING_CONTAINER to FAILED
zhangliushi的博客
11-26 521
项目场景： Sqoop做hive2pg时报错 问题描述： 查看hadoop日志发现报错信息为：transitioned from state FAIL_FINISHING_CONTAINER to FAILED, event type is TA_CONTAINER_CLEANED 原因分析： 报错信息提示容器问题，判断可能是两表对应字段的数据类型有冲突。 解决方案： 检查hive表各字段数据类型和关系型数据库表对应字段的数据类型是否一致，上述报错是因为hive表字段类型为string，其数据
[NM 状态机2] Container状态机详解
weixin_30639719的博客
03-10 174
概述 前面已经分析了RM的状态机，接下来将分析NM的状态机，NM状态机包括Container，Application，LocalizedResource三个，其中Container相对较复杂。现在我们分析Container的状态机。另外3展示了LocalizedResource的状态机图，由于其状态机比较简单，这里不再详细分析，读者可以自行查看相关代码。本文的分析基于社区Apache H...
map/reduce入门与原理
mo_5201314的博客
08-09 305
一 MapReduce入门 1.1 MapReduce定义 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 1.2 MapReduce优缺点 1.2.1 优点 1）MapReduce 易于编程。它简单的实现...
什么是Map/Reduce
砚浅的专栏
02-03 1959
Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等. 这里详细分解这里面的概念让大家通过这篇文章了解到底是什么hadoop：
Hadoop的HDFS和Map/Reduce
whaoXYSH的专栏
08-14 1563
HDFS HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点： 1）适合存储非常大的文件 2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式 3）适合部署在廉价的机器上 但HDFS不适合以下场景（任何东西都要分两面看，只有适合自己业务的技术才是真正的好技术）： 1）不适合存储大量的小文件，因为受Namenode内
【资源利用最大化】：通过ReduceTask与分区数量的调优提升大数据作业速度
[【资源利用最大化】：通过ReduceTask与分区数量的调优提升大数据作业速度](https://blogs.perficient.com/files/partition_data_flow-1024x557.png) # 1. 大数据作业的挑战与优化概述 大数据的崛起带动了数据作业...
HIVE跑mapjoin时所有任务失败--问题分析及解决
zhangxiong0301的专栏
09-22 1712
            今天有个需求，就是：指定200W用户（表meids_tmp），把这些用户最近15天的应用使用数据（表tb_yl_upload_info,按天分区）转移到另外一张表中（表upload_info_sub，按天分区）。          很直观，meids_tmp表63M，可以使用map端连接；要求目标表数据按日期组织，自然想到动态分区，使数据插入时自动按日期写入。最终，得到...
hadoop、hbase节点下线
zhangxiong0301的专栏
09-17 1118
          hadoop节点在磁盘坏掉的时候需要节点下线，按照下线步骤操而不是直接kill，是为了让数据安全的转移。比如hbase的regionserver直接kill掉的话，如果运气再坏一点这个regionserver上刚好是root表或meta表所在的机器，那可能导致hbase集群不可用。       1.   hbase regionserver下线         ...
HBASE 监控指标
zhangxiong0301的专栏
12-13 1085
原网址：[url]http://hbase.apache.org/book.html#hbase_metrics[/url] HBase emits metrics which adhere to the Hadoop metrics API. Starting with HBase 0.95[3], HBase is configured to emit a default set of ...
HBASE 预分区建表
zhangxiong0301的专栏
06-27 958
在create一个表时如果不指定预分配region，则默认会先分配一个region，这样在大数据并行载入时性能比较低，因为所有的数据都往一个region灌入，容易引起单节点负载升高，从而影响入库性能，一个好的方法时在建立表时预先分配数个region。方法有两种，主要针对不同版本可供选择。 1.使用RegionSplitter方法，主要针对hbase-0.90.X版本 a.首先使用Reg...
YARN的一些常见错误
zhangxiong0301的专栏
06-12 938
问题导读1、Hadoop YARN常见问题有哪些？2、你是如何解决这些问题的？　　本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。　　（1） 默认情况下，各个节点的负载不均衡（任务数目不同），有的节点很多任务在跑，有的没有任务，怎样让各个节点任务数目尽可能均衡呢？　　答： 默认情况下，资源调度器处于批调度模式下，即一...
HADOOP SPILL FAILED原因
zhangxiong0301的专栏
08-22 896
跑mapreduce时候出现，java.io.IOException：spill failed。经过很久排查，发现是map端数据在溢写过程中出现空指针导致的。也就是我的map的输出keyvalue中的value是b一个bean，但是bean中有个字符串字段未被初始化，为空null。 一般来说,出现溢写错误一般由以下两种原因造成： 1.空指针 2.磁盘空间不足...
HADOOP中设置map个数
zhangxiong0301的专栏
06-11 559
很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input占据了多少block，就应该启动多少个Mapper。如果输入的文件数量巨大，但是每个文件的size都小于HDFS的blockSize，那么会造成启动的Mapper等于文件的数量（即每个文件都占据了一个block），那么很可能造成启动的Mapper数量超出限制...
hadoop1.0和hadoop2.0的区别
zhangxiong0301的专栏
03-10 442
1. Hadoop 1.0中的资源管理方案 Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker）和数据处理引擎（MapTask和ReduceTask）...
HADOOP中mapreduce开启压缩功能
zhangxiong0301的专栏
10-14 428
                       最近给热云公司共享数据，我们把原始数据给到他们，让他们做计算。每天同步一次，数据量压缩后10几个G，数据来自hive的mapreduce查询。通过insert overwrite local directory select语句将数据写入本地的NFS，然后对数据压缩，并在NFS的服务端机器提供文件下载功能。由于压缩前数据量太大，大概有90G左右。因...
Hadoop与Map/Reduce：分布式系统基础探索
"本文档是关于分布式基础学习的，主要关注Hadoop和Map/Reduce技术。通过学习，你可以了解分布式存储和计算的基本概念，以及Hadoop如何实现这些概念。Hadoop是一个基于Java的开源分布式系统，它包括分布式文件系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值