- 博客(5)
- 资源 (1)
- 收藏
- 关注
原创 Hadoop集群小文件合并
Hadoop集群运行一段时间后小文件越来越多,namenode不堪重负,不仅GC越来越频繁,还会偶尔挂掉Hadoop集群大部分文件都来源于数仓,由于数仓未对相关配置进行优化,所以才会产生很多小文件为了解决小文件问题:优化hive参数 hive.merge.mapfiles=true hive.merge.mapredfiles=true(合并mr任务结果,开启后会新起一个mr任务用于合并文件) hive...
2021-03-30 11:28:23
673
原创 hive ArrayIndexOutOfBoundsException
环境:hive on mr异常:2021-03-09 10:12:36,807 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at org.apache.hado
2021-03-09 14:59:40
1949
原创 cdh hadoop 源码地址
CDH hadoop 源码地址,包含所有版本git:https://github.com/cloudera/hadoop-common.git
2020-05-31 22:30:04
955
原创 cleadera hue 开发环境搭建(MacOs pycharm)
环境: 系统:macOs Catalina hue 版本:4.7.0安装步骤:1. 从github检出源码,(https://github.com/cloudera/hue.git)2.切换到branch-4.7.0 分支3.基础依赖安装:breaw install openldapbreaw install libressl4.修改文件:hue/desktop/core/ext-py/python-ldap-2.3.13/setup.cfg ...
2020-05-19 16:16:17
609
1
原创 Spring cloud config, RefreshScope 可能获取到旧配置问题
问题描述:Spring中,在EnvironmentChangeEvent 事件中使用RefreshScope的bean时,每次读到的都是上次的发布的配置原理:查看org.springframework.cloud.context.refresh.ContextRefresher源码: public synchronized Set<String> refresh()...
2020-04-29 16:03:03
311
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人