Hive server2慢启动问题排查与解决

最新推荐文章于 2023-12-25 14:25:39 发布

Deegue

最新推荐文章于 2023-12-25 14:25:39 发布

阅读量5.8k

点赞数 1

分类专栏： hive 文章标签： hive

本文链接：https://blog.csdn.net/zyzzxycj/article/details/106803712

版权

Hive server2在升级到2.3.6版本后启动时间长达15分钟。问题源于启动时连接metastore并缓存大量表元数据，导致超时。经过排查，发现在metastore连接300s超时时，仅完成了部分表的元数据加载。为解决这个问题，提出了调整参数限制启动时加载表的最大数量，以缩短启动时间。

摘要由CSDN通过智能技术生成

1、问题描述

在Hive升级到2.3.6版本后，启动Hive server2需要花费15分钟左右的时间，这对于平时调试和紧急重启影响很大。因此查看启动log，发现两处疑点：
在这里插入图片描述
发现主要耗时就在这两处，第一次6分多钟第二次刚好5分钟。

2、问题排查

不多不少的5分钟让我想到了配置metastore连接的超时时间（hive.metastore.client.socket.timeout）刚好也是300s，于是去看这部分代码，并增加了些日志来排查。
org/apache/hadoop/hive/metastore/RetryingMetaStoreClient.java
在这里插入图片描述
这两部分的作用是在启动Hive server2时，连接metastore按库缓存所有表的元数据信息，来给之后的query加速。
通过添加日志，计算出每缓存100张表的元数据信息大约需要花费1s。我们tmp库下至少有5万张表，也就是需要向metastore连接500s左右的时间，而在300s的时候，Hive server2向metastore的连接就中断了&#x