hive
ZuHg
这个作者很懒,什么都没留下…
展开
-
Hadoop集群小文件合并
Hadoop集群运行一段时间后小文件越来越多,namenode不堪重负,不仅GC越来越频繁,还会偶尔挂掉Hadoop集群大部分文件都来源于数仓,由于数仓未对相关配置进行优化,所以才会产生很多小文件为了解决小文件问题:优化hive参数 hive.merge.mapfiles=true hive.merge.mapredfiles=true(合并mr任务结果,开启后会新起一个mr任务用于合并文件) hive...原创 2021-03-30 11:28:23 · 685 阅读 · 0 评论 -
hive ArrayIndexOutOfBoundsException
环境:hive on mr异常:2021-03-09 10:12:36,807 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at org.apache.hado原创 2021-03-09 14:59:40 · 2003 阅读 · 0 评论