记录springboot整合hadoop过程中遇到的坑

今天在学习hadoop hdfs,要用springboot进行整合,结果遇到了一堆坑,浪费了一整天时间,特此记录

maven无法下载hadoop的相关依赖

对于图中这些依赖Maven全都下载不了,就算下载了也没有相关的Jar包

–原因:没有配置好manve的镜像,比如用的是阿里国内镜像,但是只配了Public镜像,没有配apach的镜像

解决办法:
打开maven的setting.xml文件,在mirrors中加入以下:

<mirror>

  <id>aliyunmaven-public</id>

  <mirrorOf>public</mirrorOf>

  <name>阿里云公共仓库</name>

  <url>https://maven.aliyun.com/repository/public</url>

</mirror>

<mirror>

  <id>aliyunmaven-spring</id>

  <mirrorOf>spring</mirrorOf>

  <name>阿里云spring仓库</name>

  <url>https://maven.aliyun.com/repository/spring</url>

</mirror>
<mirror>

  <id>aliyunmaven-apache</id>

  <mirrorOf>apache</mirrorOf>

  <name>阿里云apache仓库</name>

  <url>https://maven.aliyun.com/repository/apache-snapshots</url>

</mirror>
<mirror>

   <id>aliyunmaven-google</id>

   <mirrorOf>google</mirrorOf>

   <name>阿里云谷歌仓库</name>

   <url>https://maven.aliyun.com/repository/google</url>

</mirror>

打开idea,设置忽略https检查
输入:

-Dmaven.wagon.http.ssl.insecure=true -Dmaven.wagon.http.ssl.allowall=true

再去reimport一下,如果还是不行,那就打开项目所在文件的cmd,输入

mve clean install -Dmaven.wagon.http.ssl.insecure=true -Dmaven.wagon.http.ssl.allowall=true

启动后报错HADOOP_HOME and hadoop.home.dir are unset

意思是没有设置环境变量,详情请看这篇文章
HADOOP_HOME and hadoop.home.dir are unset

报错could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and 1 node(s) are excluded in this operation.

解决办法看这里!!!