HDFS副本放置策略

这里写图片描述

**集群是一组相互独立的、通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理。一个客户与集群相互作用时,集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。 
 
 第一副本:在DataNode数据节点提交时,第一个块是本地节点,目的是节省了本地资源,占用了更少的带宽,如果是在集群外提交,则随机挑选一台磁盘不太慢,CPU不太忙的节点上;
 第二副本:放置在与第一个副本不同的机架的节点上;
 第三副本:与第二个副本相同机架的不同节点上;
 若有更多副本,随机放在节点中
问题:为什么一台机柜5个服务器,正常一台机柜10个,一个机柜的电量,依据一台机器的用电量来进行测算,机柜是有电流标准的。答:电流大小、每台服务器的大小,一个估算值

第一个副本:放置在上传的DN节点上
如果是集群外提交,则随机挑选一台磁盘不太满,cpu不太忙的节点上。

第二个副本:放置在与第一个副本不同的机架节点上。

第三个副本:与第二个副本相同机架的不同节点上。
假如还有更多的副本,需要随机放在节点上。
生产上尽量将上传数据的动作选取DN节点。
*三个副本数不够的话,则选择5、7个副本数,注意不是副本数越多越好,副本数多还会浪费磁盘空间。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值