![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Yarn
文章平均质量分 91
zhan8610189
这个作者很懒,什么都没留下…
展开
-
Yarn源码学习
近段时间,怀着一个好奇的心态去学习一下yarn,并且简单地看了一下源代码。我直接从hadoop-common的trunk中下载源码并且编译运行,这样与社区比较同步。如果你对maven 比较了解的话,编译起来都很简单的。 1. Service在hadoop 3.0-snapshot的源码里面分析出,它把系统里面每一个功能都抽象成服务。一个服务都有一个状态机,里面包含四种状态:未初始化(n...原创 2013-06-18 18:44:36 · 256 阅读 · 0 评论 -
Hadoop Yarn上实现Hama BSP计算应用
1. 引言hadoop 0.23系列后,就对Map/Reduce进行了完全重写,把原有的MR计算框架替代成了新一代Yarn计算框架- Yarn。Yarn有一点类似于Mesos(它们之间的对比请看如下链接How does YARN compare to Mesos?),运行在hdfs之上,用JAVA写的计算资源管理框架。而Map/Reduce被看成是一个成熟的应用框架运行在Yarn计算框架之...原创 2013-06-27 20:28:32 · 201 阅读 · 0 评论 -
Hadoop Yarn解决多类应用兼容方法
1. Yarn应用兼容Hadoop Yarn框架是Hadoop 2.0以上的新一代计算框架,在它上面可以跑多类应用,不仅能够跑经典MR计算,还能在该框架上实现实时计算,交互式计算,流式计算等等。正因为这样,Yarn得到了前所未有的关注,发展速度也比MRv1快。MRv1耗时有8年才使其稳定,而Yarn才发展了2年,就已经被许多公司采用。 既然Hadoop能在Yarn上实现多类应用框架...原创 2013-07-01 23:28:03 · 325 阅读 · 0 评论 -
Apache Tez DAG计算应用框架
1. Tez简介Tez是基于Hadoop Yarn之上的DAG(有向无环图,Directed Acyclic Graph)计算框架。它把Map/Reduce过程拆分成若干个子过程,同时可以把多个Map/Reduce任务组合成一个较大的DAG任务,减少了Map/Reduce之间的文件存储。同时合理组合其子过程,也可以减少任务的运行时间。2. DAG计算模型Map/Reduce不能解决...原创 2013-07-02 23:48:12 · 664 阅读 · 0 评论