Flink提交作业时报错Cannot support file system for ‘hdfs‘ via Hadoop

Flink整合HDFS提交作业时报错

分享一个Flink提交作业时的报错，由于我用的是1.12版本的Flink，对于Hadoop3.0新特性是没有支持的，我的Hadoop版本是3.3.1。然后flink-shaded-hadoop-3-uber jar包是没有的，需要手动添加。

报错

Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Cannot support file system for ‘hdfs’ via Hadoop, because Hadoop is not in the classpath, or some classes are missing from the classpath. at org.apache.flink.runtime.fs.hdfs.HadoopFsFactory.create(HadoopFsFactory.java:189) at org.apache.flink.core.fs.FileSystem.getUnguardedFileSystem(FileSystem.java:527) … 24 more Caused by: java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils -

解决方案

我也试过很多中解决方案

第一种

添加HADOOP_CLASSPATH环境变量，但是我试了没有效果

第二种

在你的项目中添加hadoop-client这个jar包，我也试过了，并没有很好解决，也给出下面的依赖。

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>${你的hadoop版本}</version>
</dependency>

第三种

在flink下面添加两个jar包，可以从Maven中心仓库中下载。

https://mvnrepository.com/artifact/org.apache.flink/flink-shaded-hadoop-3-uber/3.1.1.7.2.1.0-327-9.0

flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar
commons-cli-1.5.0.jar 

第三种我试过是可以提交作业成功的，然后自己提交的作业也可以运行。

参考链接

https://www.bilibili.com/read/cv11506216