![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
SpencerHuangQY
这个作者很懒,什么都没留下…
展开
-
6.2 解读WordCount
第6章 MapReduce入门6.2 解读WordCountWordCount程序就是MapReduce的HelloWord程序。通过对WordCount程序分析,我们可以了解MapReduce程序的基本结构和执行过程。6.2.1 WordCount设计思路WordCount程序很好的体现了MapReduce...转载 2018-12-07 17:07:21 · 185 阅读 · 0 评论 -
Java对HDFS增删改查遇到的问题
Java对HDFS增删改查遇到的问题1 (null) entry in command string: null chmod 0700的解决方法1.1 在本地配置Hadoop的环境1.2 在https://github.com/SweetInk/hadoop-common-2.7.1-bin下载依赖包1.3 将依赖包中的文件winutils.exe , libwinutils....原创 2018-12-07 17:47:41 · 202 阅读 · 0 评论 -
5.1 YARN介绍
第5章 YARN:资源调度平台5.1 YARN介绍YARN的全称是Yet Another Resource Negotiator,意为另一种资源调度者。 从Apache Hadoop 2.0开始, Hadoop包含 YARN。5.1.1 Hadoop 1.x与Hadoop 2.x(1)MRv1 在介...转载 2018-12-06 16:40:44 · 224 阅读 · 0 评论 -
5.2 YARN参数解读与调优
第5章 YARN:资源调度平台5.2 YARN参数解读与调优yarn-site.xml文件默认参数: http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml5.2.1 ResourceManager相关配置参数参数默认值说明yarn.resourcemanager.addre...转载 2018-12-06 16:44:05 · 491 阅读 · 0 评论 -
5.4 YARN集群运行
第5章 YARN:资源调度平台5.4 YARN集群运行HDFS已经启动[root@node1 ~]# jps2247 NameNode2584 Jps2348 DataNode1234[root@node2 ~]# jps2279 Jps2137 DataNode2201 SecondaryNameNode1...转载 2018-12-06 16:45:44 · 172 阅读 · 0 评论 -
5.5 YARN的调度器
第5章 YARN:资源调度平台5.5 YARN的调度器打个比方,Hadoop相当于一台虚拟计算机(由多台计算机构造的集群),那么HDFS就是这台虚拟计算机的文件系统,管理磁盘资源;而YARN负责管理虚拟计算机的CPU和内存资源。在YARN上跑的MapReduce程序(比如5.4节跑的PI和wordcount两...转载 2018-12-06 16:46:42 · 112 阅读 · 0 评论