Hadoop 生态问题汇总

hadoop 集群

格式化

以下错误需要执行 command

hdfs namenode  -format 
hadoop namenode –format

错误信息

2021-10-22 12:07:38,769 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
2021-10-22 12:07:38,770 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.io.IOException: NameNode is not formatted.
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:239)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1099)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:716)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:635)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:697)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:940)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:913)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1646)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1713)
2021-10-22 12:07:38,772 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1: java.io.IOException: NameNode is not formatted.
2021-10-22 12:07:38,774 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:

解决方法

bash ./sbin/stop-all.sh
hdfs namenode  -format 
bash ./sbin/start-all.sh

创建Namenode 目录

错误信息

2021-10-22 10:55:03,436 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /mnt/DP_disk1/hadoop/data/nn is in an inconsistent state: storage directory does not exist or is not accessible.
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSImage.java:378)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:229)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1099)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:716)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:635)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:697)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:940)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:913)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1646)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1713)

####### 解决方法
需要执行

mkdir -p /mnt/DP_disk1/hadoop/data/nn

hadoop 生态

hive 问题

fs

该类问题，是由于应用程序没有感知到 fs.defaultFS
解决方法是，
在相关配置文件中增加

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://{ip}:{port}</value>
    </property>

或者上传 core-site.xml 到 classpath

yarn

出现这个，是应用程序默认使用的是旧版本的yarn。
因为会涉及很多配置，所以直接上传 yarn-site.xml 到 classpath