![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 89
zhan8610189
这个作者很懒,什么都没留下…
展开
-
Hadoop Shuffle过程分析
hadoop shuffle 优化在hadoop中,在map/reduce的shuffle阶段,jetty用于数据传输。提高map/reduce的效率,针对shuffle的优化也是很重要的。它可以在以下几个方面进行优化:优化jetty减少map输出用netty来替换jetty压缩传输Hadoop Map阶段的输出机制一个作业由Map Task和Reduce Ta...原创 2013-05-28 20:46:37 · 130 阅读 · 0 评论 -
Yarn源码学习
近段时间,怀着一个好奇的心态去学习一下yarn,并且简单地看了一下源代码。我直接从hadoop-common的trunk中下载源码并且编译运行,这样与社区比较同步。如果你对maven 比较了解的话,编译起来都很简单的。 1. Service在hadoop 3.0-snapshot的源码里面分析出,它把系统里面每一个功能都抽象成服务。一个服务都有一个状态机,里面包含四种状态:未初始化(n...原创 2013-06-18 18:44:36 · 249 阅读 · 0 评论 -
Hadoop kerberos security配置
这是我很早以前开始学习hadoop时写的一篇文章,文章内容比较粗糙,现在张贴出来。以飨读者。 1. IntroductionKerberos Security Management Mechanism is new to hadoop 1.0 and Cloudera Distributed Hadoop. 在hadoop 1.0和CDH3中新加上了kerberos安全机制来控制h...原创 2013-06-27 11:30:52 · 558 阅读 · 0 评论 -
Hadoop Yarn上实现Hama BSP计算应用
1. 引言hadoop 0.23系列后,就对Map/Reduce进行了完全重写,把原有的MR计算框架替代成了新一代Yarn计算框架- Yarn。Yarn有一点类似于Mesos(它们之间的对比请看如下链接How does YARN compare to Mesos?),运行在hdfs之上,用JAVA写的计算资源管理框架。而Map/Reduce被看成是一个成熟的应用框架运行在Yarn计算框架之...原创 2013-06-27 20:28:32 · 196 阅读 · 0 评论 -
Hadoop Yarn解决多类应用兼容方法
1. Yarn应用兼容Hadoop Yarn框架是Hadoop 2.0以上的新一代计算框架,在它上面可以跑多类应用,不仅能够跑经典MR计算,还能在该框架上实现实时计算,交互式计算,流式计算等等。正因为这样,Yarn得到了前所未有的关注,发展速度也比MRv1快。MRv1耗时有8年才使其稳定,而Yarn才发展了2年,就已经被许多公司采用。 既然Hadoop能在Yarn上实现多类应用框架...原创 2013-07-01 23:28:03 · 318 阅读 · 0 评论 -
Apache Tez DAG计算应用框架
1. Tez简介Tez是基于Hadoop Yarn之上的DAG(有向无环图,Directed Acyclic Graph)计算框架。它把Map/Reduce过程拆分成若干个子过程,同时可以把多个Map/Reduce任务组合成一个较大的DAG任务,减少了Map/Reduce之间的文件存储。同时合理组合其子过程,也可以减少任务的运行时间。2. DAG计算模型Map/Reduce不能解决...原创 2013-07-02 23:48:12 · 653 阅读 · 0 评论 -
Ambari深入学习(I)-系统架构
Ambari是hadoop分布式集群配置管理工具,是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目,已经成为hadoop运维系统中的得力助手,引起了业界和学术界的关注。现在我们将深入学习Ambari原理及其架构。Ambari架构采用的是Server/Client的模式,主要由两部分组成:ambari-agent和ambari-server。amba...原创 2013-09-04 13:35:13 · 522 阅读 · 0 评论 -
Ambari深入学习(II)-实现细节
在第一节中,我们简单讲了一下Ambari的系统架构。我们这一节主要分析Ambari的源代码,总览Ambari的具体实现方式及其工作细节。 一、Ambari-Server启动Ambari-Server是一个WEB Server,提供统一的REST API接口,同时向web和agent开放了两个不同的端口(默认前者是8080, 后者是8440或者8441)。它是由Jetty Server...原创 2013-09-04 15:40:54 · 395 阅读 · 0 评论 -
Ambari深入学习(III)-开源使用及其改进思考
Ambari采用的不是一个新的思想和架构,也不是完成了软件的新的革命,而是充分利用了一些已有的优秀开源软件,巧妙地把它们结合起来,使其在分布式环境中做到了集群式服务管理能力、监控能力、展示能力。这些优秀开源软件有:在agent端,采用了puppet管理节点;在Web端,采用了ember.js作为前端的MVC构架和NodeJS相关工具,用handlebars.js作为页面渲染引擎,在C...原创 2013-09-04 23:20:47 · 308 阅读 · 0 评论