Hadoop2.2.0来了，大数据各框架又风起云涌！

最新推荐文章于 2024-04-30 21:51:31 发布

张兆坤的那些事

最新推荐文章于 2024-04-30 21:51:31 发布

阅读量3.7k

点赞数

分类专栏： Hadoop 探索与感悟系统架构

本文链接：https://blog.csdn.net/zhangzhaokun/article/details/14142783

版权

Hadoop 同时被 3 个专栏收录

17 篇文章 1 订阅

订阅专栏

探索与感悟

13 篇文章 0 订阅

订阅专栏

系统架构

13 篇文章 0 订阅

订阅专栏

本文深入探讨了2013年Hadoop2.2.0版本的发布及其对大数据领域的重大影响，特别是引入的YARN资源管理框架如何推动大数据进入2.0时代。通过整合Hadoop、Storm、Spark等独立框架，YARN实现了它们的统一管理，形成一个高效的大数据处理平台，极大地提升了大数据处理能力。

摘要由CSDN通过智能技术生成

2013年10月15日Hadoop2的稳定版本2.2.0发布了！它解决了NameNode的水平扩转问题，也解决了NameNode的单点故障问题，也引入了引领大数据下一轮次革命的具有划时代意义的资源管理框架YARN！

话说大数据2.0时代的来临就是以YARN为基础的新一代Hadoop框架的发布为起点。

原来的Hadoop上只跑一个MapRedeuce来进行离线计算，大不了再结合下Hhbas来做点在线或者半在线的存储，也就这么几招在折腾。对于一个互联网企业来讲，这些还远不够，还得结合Storm来处理实时的分析，还得采用Spark来完成在线的机器学习与计算。Hadoop、storm、Spark这些合起来才能搞定大数据相关企业的基本需求！但是这些都是独立框架，相互直接虽说是能够互联互通，但是作为运维层面来讲却是独立集群，需要独立维护！YARN的到来让这一切都变了，Clouder在推进SPARK的Hadoop化，Hortonworks在推进Storm的Hadoop化，这两项革命性的系统重构完成之后，Hadoop就不是原来的Hadoop了，Hadoop就成了大数据领域的操作系统了，成了一个平台，可以让那些解决某一方面、某一领域问题的框架来依托在YARN的怀抱中成长！

真的很佩服Hortonworks的架构师Arun Murthy对YARN的贡献！很多东西，别人提出来了，甚至做出来了，你一看就明白，甚至觉得事情就应该那样去做，但是自己面临同样困局的时候，却束手无策！

假若我去做，我该怎么做呢？多问几个为什么！！！！！！！！！！