CDH集群使用 Impala技术,在硬件层面上我们最需要关注的点就是: Impala处理的最大的表或者分区容量。因为 Impala要将数据全部读入内存才进行运算,我们必须要保证内存能够装载下所需要的表或者分区的数据。一般情况下,由于原有的集群是以基于磁盘的操作为主,需要为各数据节点计算机添加足够的内存
impala为什么这么吃内存,转载网上说法(不是我原创,如有侵权,通知我立马删除)
最新推荐文章于 2023-04-03 10:35:49 发布
CDH集群使用 Impala技术,在硬件层面上我们最需要关注的点就是: Impala处理的最大的表或者分区容量。因为 Impala要将数据全部读入内存才进行运算,我们必须要保证内存能够装载下所需要的表或者分区的数据。一般情况下,由于原有的集群是以基于磁盘的操作为主,需要为各数据节点计算机添加足够的内存