YARN之Node Labels

Node Labels

简单来说,这是一种给节点打标签的特性。可以给集群中不同的节点打上不同的标签,从而可以将集群划分成不同的分区。同时节点可以和队列做映射,这样可以控制队列的任务运行在不同的分区中,并且也可以指定每个分区在该队列上可用的资源容量。

特点

  1. 集群划分:每个节点可以指定一个标签,这样可以将集群划分成好几个分区。

  2. ACL:用户可以指定每个队列可以访问的标签节点。

  3. 资源配置:队列可以映射多个标签,并且可以指定此标签的分区节点在该队列的资源容量。在资源请求中,可以指定标签,这样container将会分配到同样标签的节点上,如果没有指定,默认分配到default分区(未打标的机器属于default分区)。

分区类型

  • Exclusive:container会分配到对应的标签节点,有剩余资源也不会与default分区共享。

  • Non-execusive:此分区剩余资源可以与default分区共享资源。

将节点与标签做映射的方式有三种

  • Centralized:类似集中统一管理,通过ResourceManager暴露的CLI、REST和RPC接口来实现。

  • Distributed:分布式,通过NodeManager节点的配置文件来实现。有两种,Script based provider and Configuration based provider。

  • Delegated-Centralized:通过在ResourceManager上的配置来实现,这种实际是NodeManager注册到RM时通过接口获取的,支持周期刷新。

配置

启用node labels功能

  • yarn.node-labels.enabled
    true

指定节点配置类型

  • yarn.node-labels.configuration-type
    Centralized或Distributed或Delegated-Centralized

存储label的路径 该目录需要创建并且RM需要有权限访问

  • yarn.node-labels.fs-store.root-dir
    可配置hdfs:// 或本地 file:///

查看label

yarn cluster --list-node-labels

yarn node -status //查看节点的

添加label

如果不指定exclusive 则默认为false

yarn rmadmin -addToClusterNodeLabels

“label_1(exclusive=true/false),label_2(exclusive=true/false)”

移除label

yarn rmadmin -removeFromClusterNodeLabels “

注意:不能直接删除与队列绑定的label。

添加映射,根据上面配置的类型不同,配置分别如下

Centralized:只需通过yarn命令即可

  • yarn rmadmin -replaceLabelsOnNode “node1[:port]=label1 node2=label2” [-failOnUnknownNodes]

如果不指定端口,默认机器上所有的NM都会添加(这种一般针对机器上有多个NM)

-failOnUnknownNodes参数 如果指定,则如果节点unknown,操作也会fail

Distributed

  • yarn.node-labels.configuration-type:distributed

  • yarn.nodemanager.node-labels.provider:可以配置config或script或继承nodelabelsprovider的类名

  • yarn.nodemanager.node-labels.resync-interval-ms :NM会将标签信息通过心跳一起发送到RM 此配置是指定间隔时间

  • yarn.nodemanager.node-labels.provider.fetch-interval-ms 从配置的类中获取标签的间隔时间

  • yarn.nodemanager.node-labels.provider.fetch-timeout-ms 如果是通过script获取标签,此配置指定每次获取的超时时间

  • yarn.nodemanager.node-labels.provider.script.path 指定要运行的script的路径 "NODE_PARTITION:"之后的内容将视为标签

  • yarn.nodemanager.node-labels.provider.script.opts 指定脚本运行的参数

  • yarn.nodemanager.node-labels.provider.configured-node-partition 如果是config 则该配置的值即为标签

Delegated-Centralized

  • yarn.node-labels.configuration-type:delegated-centralized

  • yarn.resourcemanager.node-labels.provider:需要配置继承RMNodeLabelsMappingProvider的类名

  • yarn.resourcemanager.node-labels.provider.fetch-interval-ms:从程序获取标签的间隔时间

将标签与队列映射

  • yarn.scheduler.capacity..capacity 指定default分区的队列容量

  • yarn.scheduler.capacity..accessible-node-labels

配置队列可以访问的标签,多个以逗号分隔。

注:没有标签的节点,所有队列均可以访问。如果不指定,则继承父队列的。如果想队列只能访问没有标签的节点,设置此值为空格。

  • yarn.scheduler.capacity..accessible-node-labels.

  • yarn.scheduler.capacity..accessible-node-labels.

  • yarn.scheduler.capacity..default-node-label-expression 用于配置默认分区 如果提交任务到该队列时没有指定标签,则默认为此值。默认为空,也就是不指定标签将会运行在没有标签的节点。

示例

例子:

root

-default

-a

-b

有5个节点(h1-h5),每个节点24G、24vcores。h5属于test

#三个队列

yarn.scheduler.capacity.root.queues=default,a,b

#每个队列占用default分区的三分之一资源 也就是24*4/3 32G 32vcores

yarn.scheduler.capacity.root.default.capacity=33
yarn.scheduler.capacity.root.a.capacity=34
yarn.scheduler.capacity.root.b.capacity=33
#只有a和b队列可以访问GPU标签的节点

yarn.scheduler.capacity.root.a.accessible-node-labels=test

yarn.scheduler.capacity.root.b.accessible-node-labels=test
#每个队列可以使用GPU分区的1/2资源  12G 12vcore

yarn.scheduler.capacity.root.a.accessible-node-labels.test.capacity=50

yarn.scheduler.capacity.root.b.accessible-node-labels.test.capacity=50

yarn.scheduler.capacity.root.a.default-node-label-expression=test

注意:给节点打label可以将集群划分成不同的分区 队列与标签做映射 实际只是指定可以使用该分区的资源(accessible-node-labels) 只有资源请求时指定了label 才能使用其分区的资源 不然默认如果不设置(default-node-label-expression) 作业都将运行到default分区

上面的例子中 a队列可以访问test分区 并且默认就是test 这样提交作业时将一直处于ACCEPTED状态 因为只有资源请求带所属标签才可以使用那一部分资源。b队列 默认提交作业 可以运行到default分区

Application指定label(java api方式):

  • ApplicationSubmissionContext.setNodeLabelExpression(…):为app的所有容器设置节点标签。

  • ResourceRequest.setNodeLabelExpression(…):为单个资源请求设置节点标签。这可以覆盖ApplicationSubmissionContext中的节点标签设置。

  • setAMContainerResourceRequest.setNodeLabelExpression:在ApplicationSubmissionContext中使用setNodeLabelExpression可以设置am的节点标签。

结论:

总的来说,该特性可以将不同的机器划分不同分区,配置使用Centralized方式也比较简便。但是目前提交app指定label只能使用java api的方式,如果用户开发仅仅通过sql,那此功能属于鸡肋。如果后面版本可以使用命令行指定,就比较方便了。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值