- 博客(7)
- 收藏
- 关注
RSS订阅原创 hive执行msck repair报错msck is missing partition columns under hdfs：//表分区路径
排查：查看hiveserver日志报以下异常msck is missing partition columns under hdfs：//表分区路径查看hdfs该表分区目录，存在分区=$%xxxx的分区名机制：在hive中执行msck repair table分区目录名必须为partition_name=partition_value结构因此正确的hdfs目录名称应该为day=XXXXX/hour=XXXX由于目前表目录格式为非标准格式，因此使用此命令无效解决办法：
2022-03-26 15:20:15
2399
原创 hadoop distcp超时失败
执行distcp任务失败，获取yarn任务日志查看task任务超时失败查看日志中超时异常Diagnostics report from attempt_1647496740778_1063_m_000019_3: AttemptID:attempt_1647496740778_1063_m_000019_3 task timeout set: 1800000s, taskTimedOut: false; task stuck timeout set: 1200s, taskStuck: true
2022-03-21 12:01:57
2064
原创 nodemanager进程故障报java.net.BindException:Cannot assign requested address
nodemanager启动日志里面打印java.net.BindException:Cannot assign requested address怀疑是端口占用或者端口数使用上限，查询端口数使用情况和端口占用情况都不存在ifconfig查询接口对应的ipeth0:xxxx.xxxx.xxxx.xxxx/etc/sysconfig/network-scripts/ifcfg-eth0中对应的IPADDR也是xxxx.xxxx.xxxx.xxxx但是主机hosts文件对应的ip不是网卡配置中
2022-03-06 09:35:00
898
原创 【hive on spark】hive on spark任务报错Connection to remote Spark driver was lost
hue执行不用引擎sql导致任务中断
2022-02-22 08:54:05
4058
1
原创 【hive】hive任务报错does not have enough number of replicas.
blk_xx does not have enough number of replicas
2022-02-21 18:45:28
3311
原创 【HDFS】hdfs执行balance均衡时间预估计算
hdfs执行balance均衡时间预估假设原有10个节点数据量347T；现扩容3节点3.7T数据大约要迁移170T数据出去假设带宽设置20M一直不变170*1024*1024=178257920M数据量/（带宽*节点数），节点数按照新老节点较小值计算数据迁移的时间为178257920M/20/3/60/60约等于825小时...
2022-02-17 19:26:32
662
原创 【kafka】Kafka broker进程实例异常，日志报错AuthFailed for /kafka
查看后台server.log报异常AuthFailed for /kafka【分析过程】1、kafka启动的时候要去zk写元数据，写数据之前kafka作为zk的客户端要去kerberos进行认证，如果zk客户端的时钟和kerberos服务端超过5分钟，就会认证失败。最后报AuthFailed for /kafka错误。2、经确认异常的broker节点确实和其他节点时钟不一致，并且超过了5分钟。【问题根因】集群内节点时钟不一致...
2022-02-17 16:04:12
1511
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人