HDFS Decommission退服慢的问题

dfs.namenode.replication.work.multiplier.per.iteration   每次复制的块的个数为dn的个数*该参数
dfs.namenode.replication.max-streams  进行复制任务分配时,单个DN人队伍的最大值
dfs.namenode.replication.max-streams-hard-limit  若DN的复制任务大于该值时,不会将其选为复制的源节点
<property>
    <name>dfs.namenode.replication.max-streams</name>
    <value>10</value>
</property>
<property>
    <name>dfs.namenode.replication.max-streams-hard-limit</name>
    <value>20</value>
</property>
<property>
    <name>dfs.namenode.replication.work.multiplier.per.iteration</name>
    <value>5</value>
</property>
这三个参数其实就是个限流参数
第三个参数相当于入口限流参数,决定了可以从under replication blocks 的集合中选出多少个blocks 加到复制队列中准备进行复制。
可以选出的block数与集群live 的datadnode 成正比,如果线上有10个datanode 那默认就可以选出10 * 2个block 进行replicate

前两个参数相当于出口限流,他们是在遍历复制队列中的blocks时,决定是否给当前block一个srcNode(也可能返回null)。
如果满足限流条件,srcNode=当前node;如果不满足就contiune,直到找到满足的node,如果所有node都不满足就返回null
(如果返回null 该block是不会relicate的)

原文更详细

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值