- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop集群小文件合并
Hadoop集群运行一段时间后小文件越来越多，namenode不堪重负，不仅GC越来越频繁，还会偶尔挂掉 Hadoop集群大部分文件都来源于数仓，由于数仓未对相关配置进行优化，所以才会产生很多小文件 为了解决小文件问题： 优化hive参数 hive.merge.mapfiles=true hive.merge.mapredfiles=true（合并mr任务结果，开启后会新起一个mr任务用于合并文件） hive...
2021-03-30 11:28:23
810
原创 hive ArrayIndexOutOfBoundsException
环境：hive on mr 异常： 2021-03-09 10:12:36,807 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at org.apache.hado
2021-03-09 14:59:40
2171
原创 cdh hadoop 源码地址
CDH hadoop 源码地址，包含所有版本 git:https://github.com/cloudera/hadoop-common.git
2020-05-31 22:30:04
1181
原创 cleadera hue 开发环境搭建（MacOs pycharm）
环境： 系统：macOs Catalina hue 版本：4.7.0 安装步骤： 1. 从github检出源码，（https://github.com/cloudera/hue.git） 2.切换到branch-4.7.0 分支 3.基础依赖安装： breaw install openldap breaw install libressl 4.修改文件: hue/desktop/core/ext-py/python-ldap-2.3.13/setup.cfg ...
2020-05-19 16:16:17
769
1
原创 Spring cloud config, RefreshScope 可能获取到旧配置问题
问题描述：Spring中，在EnvironmentChangeEvent 事件中使用RefreshScope的bean时，每次读到的都是上次的发布的配置 原理： 查看org.springframework.cloud.context.refresh.ContextRefresher源码： public synchronized Set<String> refresh()...
2020-04-29 16:03:03
439
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人