zincooo的博客

使用api获取tez app的相关信息

一种新的容器类型 Opportunistic Containers：用于改善集群的资源利用和提升吞吐

yarn.scheduler.fair.locality.threshold.node 对于请求特定节点的容器，延迟调度的阈值(放弃调度)。yarn.scheduler.fair.max.assign 多分配开启时，动态最大分配为false时，指定一次心跳分配的最大容器数量。yarn.scheduler.fair.locality.threshold.rack 同上，该参数针对的是请求特定机架的容器。yarn.scheduler.fair.allocation.file 配置文件路径。

给节点打label可以将集群划分成不同的分区 队列与标签做映射 实际只是指定可以使用该分区的资源(accessible-node-labels) 只有资源请求时指定了label 才能使用其分区的资源 不然默认如果不设置(default-node-label-expression) 作业都将运行到default分区。yarn.nodemanager.node-labels.provider.script.path 指定要运行的script的路径 "NODE_PARTITION:"之后的内容将视为标签。

org.apache.hadoop.yarn.server.resourcemanager.recovery.LeveldbRMStateStore：相比较zk和HDFS更轻量，存储在Leveldb。RM持久化数据到state-store：客户端提交作业时的元数据、作业的最终状态信息(完成状态，failed、killed or finished)和诊断信息、有关安全的凭据信息。但比第一种方式的信息更多，包括所有container的生命周期及状态，application的资源请求，队列资源使用等等。

Overview：YARN的使用在国内越来越广泛，是大数据调度的首选。但是默认的机制无法对CPU资源进行限制。会有一些极端的情况：某个任务占用了机器的大部分CPU资源，对其他任务会产生很大影响，这种情况默认YARN是无法控制的。