零度的博客专栏

全栈式学徒长成记--工欲善其事必先利其器,不积小流无以成江海,不积跬步无以至千里!...

Spark本地开发与远程调试环境搭建

先决条件 已安装好Spark集群,本例子中使用的是spark-1.5.0. 安装方法参见:http://blog.csdn.net/lovehuangjiaju/article/details/48494737已经安装好Intellij IDEA,本例中使用的是Intellij IDEA 1...

2017-06-21 15:24:31

阅读数 5595

评论数 3

Spark运行原理

主要内容 Spark运行方式Spark运行原理解析 本节内容及部分图片来自: http://blog.csdn.net/book_mmicky/article/details/25714419 http://blog.csdn.net/yirenboy/article/detai...

2017-06-19 15:39:38

阅读数 634

评论数 0

Hadoop2.X Yarn框架原理及运作机制

.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负...

2017-06-16 09:25:19

阅读数 3499

评论数 0

Hadoop2.X及Spark 1.5.0集群搭建

主要内容 操作系统环境准备Hadoop 2.4.1集群搭建Spark 1.5.0 集群部署 注:在利用CentOS 6.5操作系统安装spark 1.5集群过程中,本人发现Hadoop 2.4.1集群可以顺利搭建,但在Spark 1.5.0集群启动时出现了问题(可能原因是64位操作系统原因,源码...

2017-06-15 16:14:13

阅读数 644

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭