![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bigdata
文章平均质量分 86
zhuhaiqin
这个作者很懒,什么都没留下…
展开
-
HDFS架构
HDFS架构Hadoop分布式文件系统(HDFS)是Hive存储数据的地方,简单了解HDFS的基本机制和读写工作机制,对于排查HiveSQL程序是否由于数据存储引发的性能问题有较大的帮助。常见HDFS优化常见的关于HDFS的优化角度有:·Hive作业生成的小文件,过多的小文件会加重NameNode的负担,导致集群整体性能下降。·设置合理的HDFS文件块的大小,可以减轻NameNode的负担,增加数据本地化操作的概率,提升程序性能。·适当增大NameNode的Java堆,调整JV.原创 2021-02-21 10:59:51 · 200 阅读 · 0 评论 -
YARN组件
YARN组件在生产环境中的大数据集群,所有作业或系统运行所需的资源,都不是直接向操作系统申请,而是交由资源管理器和调度框架代为申请。每个作业或系统所需的资源都是由资源管理和调度框架统一分配、协调。在业界中扮演这一角色的组件有YARN、Mesos等。YARN的优点(1)提高系统的资源利用率。(2)协调不同作业/不同系统的资源,减少不同作业和不同系统之间的资源争抢。(3)增强系统扩展性。资源管理和调度框架,允许硬件资源的动态伸缩,而不会影响作业的运行。(4)资源调度与管理工具把控着资源的原创 2021-02-21 10:54:53 · 378 阅读 · 0 评论