Impala实践之十四:一次Impala节点故障记录(不能启动)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zhaodedong/article/details/52317172

前言

Impala集群中有两台机器的Impala Daemon不能正常启动,记录一下整个过程和解决方式。

过程

阶段一

Impala集群的状态开始飘红,有两台节点不能正常使用。

这时候发现集群里面有十多个任务正在运行,任务执行时间很长,情况非常不正常。

看了一下sql的内容,有几个sql的确比较耗资源。

阶段二

此时,我先通知不要提交sql,给修复问题留点时间。

正在重启不健康的节点,群里面就有人继续提交了不合理的sql,还在问“为什么集群这么慢?”

此时集群的Hive Metastore Server服务也飘红了,重启过后几分钟继续变红。

Impala节点还重启失败

阶段三

此时我的心情其实是挺糟糕的,大早上闹这一出,而且还不配合。因此再次强调了一下不要提交sql。然后集群稍微好一点了。

两台机器仍然故障,但是我的权限还不够,不能看到linux层面的错误日志。

因此决定暂时停掉两台Impala节点的使用,并在负载均衡上将两台节点排除,这样机器虽然少了两台,但是集群仍能正常使用。

阶段四

现在主要的问题在于,为什么两台机器Impala节点不能启动,启动后可以再找错误原因。

然后开始排查错误,找运维要了一些权限,开始排查问题,发现再11点的时候cm的agent状况不正常,然后就不健康。那个时候正是有人反复提交几次一些耗时任务的阶段。

然后继续看日志,Impala服务已经不显示什么错误了。主要就在cm和系统层面上了。

猜测:

大致想了,有一种可能,就是agent的故障,很有可能是在某个时间点上cm和impala的内存使用过大,然后Linux系统为了维护系统自身,把Impala和cm agent干掉了,然后因为一些我不知道的原因,agent和Impala节点之间的通信出现了故障,导致我在界面提交了启动指令,但是一直启动失败。

解决:

重启一下agent,然后在启动Impala就行。

总结

没了。


2016-08-18 13:29:12 hzct

没有更多推荐了,返回首页