当Hive执行多表复杂查询时出现长时间卡顿，可能由于YARN物理内存配置不足。解决方案包括：增加`yarn.nodemanager.resource.memory-mb`配置至适当大小，确保单个容器最小和最大内存配置合理，并检查Hive与MapReduce连接，以及确保所有Hadoop进程（包括ResourceManager和NodeManager）正常运行。必要时修改`hive-env.sh`配置。
有时使用hive进行一般的查询操作时，执行的很快，但是一遇到多表复杂查询就会出一个问题，会发现程序一直卡着不动了，也不报错，开始以为是mapreduce计算的慢，所以程序执行有点卡断，可是过了好一会还是卡着不动，这就有点无语了，最后没办法只有强制kill.
查看日志没有报错.
查看mr状态发现一直在ACCEPTED状态.说明mr有问题,执行mr job ,果然卡死.
查询得知是因为yarn的物理内存过少,建议配置为自己的电脑运行内存大小或二倍运行内存大小.
这时时候就要到hadoop的安装目录下的/etc/hadoop去找配置文件yarn-site.xml添加配置信息，把yarn的物理内存加大。
cd /opt/soft/hadoop260/etc/hadoop
vi yarn-site.xml
<property>
4043
1万+
1374
1408
3676
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
