Flink内存模型

最新内存模型

flink1.10对内存使用进行了调整，模型划分更详细，但使初学者感觉更复杂了，从下图taskmanager内存模型可以看出一般。

 

flink内存按功能模块可分为taskmanager与jobmanger, 其中jobmanger不承担计算任务，所以相对简单无需过多讨论。

细分内存模型后，flink提供了大量参数来设置对应区块的大小，如下：

参数非常多，容易让人混乱，所以flink也提供了一个非常简单的内存设置方法，即只需设置进程总内存即可，进程总内存包括了flink在运行时需要的所有内存，包括堆内堆外内存等，例如当在k8s容器内运行时，该值就是容器申请到的内存大小，flink会按一定比例对总内存进行细分，当taskmanger,process.size=4G时，默认细分结果如下：

模型详细说明

通常情况下我们只需要设置进程总内存即可：taskmanager.memory.process.size/jobmanager.memory.process.size。

以taskmanager为例，进程总内存包括三部分：flink总内存（Total Flink Memory）+ 运行时JVM使用的内存（JVM Overhead + JVM metaspace）。

flink总内存包括flink使用到的堆内存（heap memory）与堆外内存(off-heap memory)。

flink使用到的堆内存包括flink框架本身用到的堆（framework memory）与flink任务使用到的堆(task memory).

flink使用到的堆外内存包括： 排序等用到的堆外内存（managed memory), 其它堆外内存（direct memory），其它堆外内存包括task、framework额外用到的堆外内存，以及network用到的堆外内存。

关注个人微信公众号：肌肉码农，回复“好友”讨论问题