内存管理参数
-
query.max-memory-per-node:单个查询可以在单个worker上使用的最大user memory。
-
query.max-total-memory-per-node:单个查询可以在单个worker上使用的最大user and system memory。
-
query.max-memory:单个查询可以在整个集群中使用的最大user memory。
-
query.max-total-memory:单个查询可以在整个集群中使用的最大user and system memory。
-
memory.heap-headroom-per-node:堆内存中一些未被presto跟踪的内存。
-
这个query.low-memory-killer.policy:当集群内存OOM时,选择要kill查询的策略。
-
none:无
-
total-reservation:会kill掉集群中使用最多内存的query
-
total-reservation-on-blocked-nodes:会kill掉内存不足节点中使用最多内存的query
可以看出,presto把内存分为两类,user memory和system memory。
-
user memory:是与用户查询有关的,分配给与其有关或者控制的对象。
-
system memory:则是分配给不直接归属于用户查询或由用户查询控制的对象,比如reader、writer或network buffers等。并且参数分为集群和worker两种级别。超过任一参数的query都将被kill。
节点配置
query.max-memory-per-node 默认为堆内存*0.1
query.max-total-memory-per-node 默认为堆内存*0.3
memory.heap-headroom-per-node 默认为堆内存*0.3
experimental.reserved-pool-enabled 默认为true 是否禁用reserved pool
集群配置
query.max-memory 默认是20G
query.max-total-memory =2*20=40G
kill策略默认也是None
Memory Pool
- 实际每个worker都会划分内存池,分为general pool和reserved pool。
- 正常query都会从general中分配内存,只有当general pool的内存用满时,才会将集群中占用内存最多的query移动到reserved pool(默认禁用)去。
配置实践
现在有1master 4worker节点的presto集群
如是独占节点 可预留给系统20%内存 堆内存可配置为80%
假如节点内存(80%)为100G
headroom=0.3*Xmx=30G
query.max-memory-per-node=0.1*Xmx=10G
query.max-total-memory-per-node=0.3*Xmx=30G
此时如果启用reservedPool则=query.max-total-memory-per-node=30G
则generalPool=100-30-30=40G
query.max-memory可=4*10=40G
query.max-total-memory=2*40=80G
可以按实际需求微调 包括kill策略和是否禁用reservedPool。
获取内存池资源
可以通过rest api获取内存池大小
curl http://ip:port/v1/memory/$pool_id(reserved或general)