- 博客(7)
- 收藏
- 关注
原创 hive执行msck repair报错msck is missing partition columns under hdfs://表分区路径
排查:查看hiveserver日志报以下异常msck is missing partition columns under hdfs://表分区路径查看hdfs该表分区目录,存在分区=$%xxxx的分区名机制:在hive中执行msck repair table分区目录名必须为partition_name=partition_value结构因此正确的hdfs目录名称应该为day=XXXXX/hour=XXXX由于目前表目录格式为非标准格式,因此使用此命令无效解决办法:
2022-03-26 15:20:15 2421
原创 hadoop distcp超时失败
执行distcp任务失败,获取yarn任务日志查看task任务超时失败查看日志中超时异常Diagnostics report from attempt_1647496740778_1063_m_000019_3: AttemptID:attempt_1647496740778_1063_m_000019_3 task timeout set: 1800000s, taskTimedOut: false; task stuck timeout set: 1200s, taskStuck: true
2022-03-21 12:01:57 2109
原创 nodemanager进程故障报java.net.BindException:Cannot assign requested address
nodemanager启动日志里面打印java.net.BindException:Cannot assign requested address怀疑是端口占用或者端口数使用上限,查询端口数使用情况和端口占用情况都不存在ifconfig查询接口对应的ipeth0:xxxx.xxxx.xxxx.xxxx/etc/sysconfig/network-scripts/ifcfg-eth0中对应的IPADDR也是xxxx.xxxx.xxxx.xxxx但是主机hosts文件对应的ip不是网卡配置中
2022-03-06 09:35:00 937
原创 【hive on spark】hive on spark任务报错Connection to remote Spark driver was lost
hue执行不用引擎sql导致任务中断
2022-02-22 08:54:05 4112 1
原创 【hive】hive任务报错does not have enough number of replicas.
blk_xx does not have enough number of replicas
2022-02-21 18:45:28 3415
原创 【HDFS】hdfs执行balance均衡时间预估计算
hdfs执行balance均衡时间预估假设原有10个节点数据量347T;现扩容3节点3.7T数据大约要迁移170T数据出去假设带宽设置20M一直不变170*1024*1024=178257920M数据量/(带宽*节点数),节点数按照新老节点较小值计算数据迁移的时间为178257920M/20/3/60/60约等于825小时...
2022-02-17 19:26:32 686
原创 【kafka】Kafka broker进程实例异常,日志报错AuthFailed for /kafka
查看后台server.log报异常AuthFailed for /kafka【分析过程】1、kafka启动的时候要去zk写元数据,写数据之前kafka作为zk的客户端要去kerberos进行认证,如果zk客户端的时钟和kerberos服务端超过5分钟,就会认证失败。最后报AuthFailed for /kafka错误。2、经确认异常的broker节点确实和其他节点时钟不一致,并且超过了5分钟。【问题根因】集群内节点时钟不一致...
2022-02-17 16:04:12 1540
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人