flink启动报错，缺少Hadoop依赖jar包解决

最新推荐文章于 2024-09-02 16:33:30 发布

zhou_zhao_xu

最新推荐文章于 2024-09-02 16:33:30 发布

阅读量4.9k

点赞数 2

分类专栏：异常解决 Flink

本文链接：https://blog.csdn.net/zhou_zhao_xu/article/details/114324277

版权

异常解决同时被 2 个专栏收录

15 篇文章 1 订阅

订阅专栏

Flink

9 篇文章 0 订阅

订阅专栏

错误内容:flink启动时报错，错误信息是缺少hadoop相关依赖

在这里插入图片描述

解决办法:下载相关的jar包，放入到flink的里的lib目录下

下载地址:https://flink.apache.org/zh/downloads.html

该错误是flink中缺少hadoop的依赖jar包，下载相关jar（flink-shaded-hadoop-2-uber-2.8.3-10.0.jar），导入lib包下即可

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zhou_zhao_xu

关注关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【Flink实战系列】Flink各种报错汇总及解决方案(实时更新中)

JasonLee实时计算

01-25

3万+

这篇文章主要用来记录一下Flink中的常见的报错以及解决方案(以后会持续更新) 1,Table is not an append-only table. Use the toRetractStream() in order to handle add and retract messages. 这个是因为动态表不是append-only模式的,需要用toRetractStream(回撤流)处理...

flink-shaded-hadoop-2-uber-2.7.5-10.0.jar.zip

05-27

flink-shaded-hadoop-2-uber-2.7.5-10.0

1 条评论您还未登录，请先登录后发表或查看评论

Flink on yarn 启动报错：缺jar包（Error: A JNI error has occurred, please check your installation and try ag）

weixin_45131680的博客

10-27

424

若果不一致，可以去 /hadoop-XXX/lib/native （你的hadoop目录下）把里面的jar包（软连接）拷贝到flink的lib下。**注意：**我的flink版本是1.7.2，hadoop是2.7.2，scala是2.11，要注意你的版本是否和我一致！很久以前遇到的问题，突然回顾了，今天做下总结，供大家参考===============》未补充包和补充包前后对比图（图上）

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.shaded.javax.ws.rs.core.NoContentExce

最新发布

qq_37288262的博客

09-02

389

spark on yarn报错： Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.shaded.javax.ws.rs.core.NoContentException

hadoop集群上部署flink环境

weixin_40626699的博客

04-09

6316

搭建背景：目前已经在某个服务器上搭建好了hadoop集群，部署flink环境只需要通过xshell进行操作步骤： 1、打开xshell，连接hadoop集群所在服务器 2、查看hadoop版本,如图，可知版本是2.6.0 $ hadoop version 3、去官网下载相应的flink压缩包下载地址：https://flink.apache.org/downloads.html 找到对应...

flink-shaded-hadoop-2-uber-2.8.3-10.0.jar

04-14

当前的flink版本是一个纯净的版本，如果需要依赖其他系统（例如咱们当前flink的相关数据都存储到了hdfs），则需要添加相应的jar包 下载完成后上传到${FLINK_HOME}/lib/目录下

flink-shaded-hadoop-2-uber-2.8.3-7.0.jar

11-29

This repository contains a number of shaded dependencies for the Apache Flink project. The purpose of these dependencies is to provide a single instance of a shaded dependency in the Flink distribution, instead of each individual module shading the dependency. With the exception of flink-shaded-hadoop-2, shaded dependencies contained here do not expose any transitive dependencies. They may or may not be self-contained. When using these dependencies it is recommended to work directly against t

【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖

海鸥~

09-03

8708

从Flink 1.11开始，flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。如果想建立flink-shaded对供应商特定的Hadoop版本，您必须首先描述配置特定供应商的Maven仓库在本地Maven安装在这里。运行以下命令以flink-shaded针对所需的Hadoop版本（例如对于version 2.6.5-custom）进行构建和安装： mvn clean install -Dhadoop.version=2.6.5-custom 完成此步骤后，将f

flink on yarn 缺少依赖NoClassDefFoundError: com/sun/jersey

06-06

flink-hadoop-compatibility_2.12-1.7.1.jar javax.ws.rs-api-2.0.1.jar jersey-common-2.27.jar jersey-core-1.19.4.jar 解决 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig

FLink job提交依赖包问题解决

东城庞太师

09-08

1235

目录问题一：问题二：问题三：问题四：问题五：版本不兼容问题六：提交任务最后报错：不影响任务运行。问题一：运行flink jar包，提示少包： java.lang.ClassNotFoundException: org.apache.hadoop.hbase.client.TableDescriptor 添加包问题二： pom中配置的hbase的版本不一定要跟实际安装的版本一致！问题三：添加netty-all-4.0.23.Fin.

flink-shaded-hadoop-2-uber-3.0.0-cdh6.2.0-7.0.jar（jar包）.rar

03-07

Flink jar包，官网下载很慢，有需要的自行下载 Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。

flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey

01-22

当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163) at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) ... Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig

flink-shaded-hadoop-2-uber-2.7.5-10.0.jar

03-03

flink-shaded-hadoop-2-uber-2.7.5-10.0.jar

flink-shaded-hadoop-3下载

05-19

flink-shaded-hadoop-3下载

关于Flink访问HDFS出现 Hadoop is not in the classpath/dependencies 的问题

weixin_45052199的博客

03-20

5478

Could not find a file system implementation for scheme 'hdfs'的问题

Flink 操作 HDFS 报错 “hadoop is not in the classpath/dependencies“ 解决方法

2301_79366177的博客

09-15

999

当我们在使用 Flink 提交任务来操作 HDFS 时，如果配置不正确或者缺少必要的依赖，就会导致 “hadoop is not in the classpath/dependencies” 报错。缺少 Hadoop 依赖：Flink 在操作 HDFS 时需要依赖 Hadoop 相关的库，如果缺少相应的依赖包，就会导致此报错。首先，我们需要确认在 Flink 的配置中是否正确设置了 Hadoop 相关的依赖。重新启动 Flink 集群：在添加完依赖后，需要重启 Flink 集群，以使新的依赖生效。

flink 任务提交时之hadoop jar包冲突

Andrew_2018的博客

01-26

972

1. Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosTicket(Ljavax/security/auth/Subject;)Z at org.apache.hadoop.security.UserGroupInformation.<init>(UserGroupInformation

flink1.14.6版本 lib目录依赖jar包

01-18

flink1.14.6版本的lib目录是存放各种依赖jar包的地方。这些依赖jar包包括了flink运行和使用所需的各种功能模块，比如连接器、库函数、序列化器等等。在lib目录中，我们可以找到一些常见的依赖包，比如Apache Commons、Jaas、Netty、Hadoop、Kafka等等。这些依赖jar包是flink运行时所必需的，它们提供了flink核心功能所需的各种支持。此外，lib目录下还包括了一些扩展功能和第三方组件所需的依赖包。比如如果我们需要使用flink的扩展功能，比如图处理或者机器学习，那么对应的依赖包也会在lib目录中找到。同样地，如果我们使用了一些外部的连接器或者数据源，那么它们所需的依赖包也会在lib目录中存在。在实际使用中，我们可以根据自己的需求，向lib目录中添加或替换特定的依赖jar包，来满足我们自定义的功能需求。当然，我们需要注意版本的兼容性和依赖关系，以确保整个系统的稳定性和可靠性。通过合理管理lib目录中的依赖jar包，我们可以更好地使用flink提供的各种功能，并且扩展其应用范围，满足不同的业务需求。