数仓4.0笔记——数仓环境搭建—— Yarn配置

1 增加ApplicationMaster资源比例

容量调度器对每个资源队列中同时运行的Application Master占用的资源进行了限制，该限制通过yarn.scheduler.capacity.maximum-am-resource-percent参数实现，其默认值是0.1，表示每个资源队列上Application Master最多可使用的资源为该队列总资源的10%，目的是防止大部分资源都被Application Master占用，而导致Map/Reduce Task无法执行。

生产环境该参数可使用默认值。但学习环境，集群资源总数很少，如果只分配10%的资源给Application Master，则可能出现，同一时刻只能运行一个Job的情况，因为一个Application Master使用的资源就可能已经达到10%的上限了。故此处可将该值适当调大。

在hadoop102的/opt/module/hadoop-3.1.3/etc/hadoop/capacity-scheduler.xml文件中修改如下参数值

[zhang@hadoop102 hadoop]$ vim capacity-scheduler.xml

<property>

    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>

    <value>0.8</value>

</property

 分发：[zhang@hadoop102 hadoop]$ xsync capacity-scheduler.xml

 目前的状态

 

关闭正在运行的任务，重新启动yarn集群

[zhang@hadoop103 ~]$ stop-yarn.sh

[zhang@hadoop103 ~]$ start-yarn.sh

 再来web端查看，变成了80，说明修改成功啦