yarn-session.sh 错误解决

最新推荐文章于 2023-06-08 23:46:45 发布
最新推荐文章于 2023-06-08 23:46:45 发布
阅读量1.8k 收藏
点赞数
分类专栏： hive 文章标签： windows java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaomengsen/article/details/121420086
版权

$FLINK_HOME/bin/yarn-session.sh -n 3 -s 2 -jm  2048 -tm 1024

执行这个命令 报错缺少jar报

flink1.2.1缺一个，flinK.1.2.5缺两个

flink-shaded-hadoop-2-uber-2.7.2-10.0.jar下载

如果不能用 自己编译代码。确实有点麻烦

第一个错误 缺少命令 

【问题与解决】Flink启动时报错：NoSuchMethodError: org.apache.commons.cli.Option.builder_momentni的博客-CSDN博客

去命令 下载 放到lib目录

https://mvnrepository.com/artifact/commons-cli/commons-cli/1.3.1

手把手教你学AI
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
flink on yarn的会话模式中yarn-session.sh 参数
JustinMars的博客
07-19 1170
是 Apache Flink 在 YARN（Hadoop 的资源管理系统）上启动 Flink 会话（Session）的脚本。通过这个脚本，你可以在 YARN 上提交 Flink 任务，并在一个长时间运行的会话中执行多个作业。: 指定要在 YARN 上启动的 TaskManager 容器数量，也就是执行 Flink 任务的资源数量。: 指定 JobManager 容器的内存大小，以MB为单位。: 指定每个 TaskManager 容器的内存大小，以MB为单位。: 启动作业时可以指定特定的应用程序选项。
Flink on Yarn实战
fancychuan的博客
10-31 1165
使用方式：flink的安装包解压之后，即可直接使用，而不需要额外的配置。 参考：flink部署说明文档 01 几点结论 1.yarn-session的方式，只能在运行了yarn-session.sh -d的机器上，才能通过命令行提交flink作业，因为flink run的时候需要根据/tmp/.yarn-properties-appuser这个文件的内容找到session 使用echo "stop" | ./bin/yarn-session.sh -id application_1...
yarn-session.sh启动报错的六种解决问题集合包括完全分布式和伪分布式
weixin_52810349的博客
06-08 751
VERSION里的datanodeUuid一致导致的冲突，这里是因为从节点和主节点用一样的datanodeUuid导致node块在yarn集群里冲突了。第二种hdfs的块坏了（yarn-session.sh其实是运行多次没有运行成功，发送过去坏了没有删除）第三种内存爆了，电脑满90%以上内存了，可以调调虚拟机内存配比。在 yarn-site.xml。在yarn-site.xml。在hdfs-site.xml。调成5个，设置为5就可以了。从节点的和主节点一致才能运行。第四种备份副本块的问题。
Flink 的yarn 两种提交方式
wudonglianga的专栏
03-30 3618
Flink 的yarn 两种提交方式 标题第一种 1.yarn-session.sh + flink run(提交任务) 命令： 优缺点： 特点：需要事先申请资源，启动JobManager和TaskManger 优点：不需要每次递交作业申请资源，而是使用已经申请好的资源，从而提高执行效率 缺点：作业执行完成以后，资源不会被释放，因此一直会占用系统资源 应用场景：适合作业递交比较频繁的场景，小作业比较多的场景 /opt/module/flink-1.12.0/bin/yarn-session.sh -n
flink yarn-session.sh启动任务指定的应用名和队列无效问题
云想慕尘的专栏
07-01 4816
问题背景 我有一个hadoop集群和一台机器A. 我在机器A上，使用命令: bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm fsql-cli > /dev/null 2>&1 & 启动了一个yarn-session，其中，指定了队列root.flink和应用名fsql-cli。 但是，在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致，如图： 启动后，应用名为：Flink sess
[Flink] Flink On Yarn（yarn-session.sh）启动错误
雨潇的专栏
06-05 2555
在Flink上启动 yarn-session.sh时出现 The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.错误
java.lang.NoClassDefFoundError错误解决办法
08-30
"java.lang.NoClassDefFoundError错误解决办法" java.lang.NoClassDefFoundError错误是一种常见的Java错误，它发生在Java虚拟机在编译时能找到合适的类，而在运行时不能找到合适的类导致的错误。下面是该错误的解决...
flink-1.13.1 cdh6.3.2
07-24
4. **启动Flink服务**：通过`flink-yarn-session.sh`或`flink-standalone.sh`命令启动Flink服务。 5. **提交作业**：使用`FLINK_ON_YARN-1.13.1.jar`提交你的Flink作业到YARN。 6. **监控和管理**：通过Flink的Web...
linux_flink-1.13.0.rar
11-17
./bin/yarn-session.sh -n <number_of_taskmanagers> -s ``` 这里的`<number_of_taskmanagers>`是你要启动的TaskManager实例数量，`<slots_per_taskmanager>`是每个TaskManager上的槽位数，表示并行度。 启动成功...
zookeeper-3.4.10.zip
08-09
Zookeeper 提供了zkCli.sh命令行工具，用于与Zookeeper服务器交互，执行如创建节点、读取数据、设置监听器等操作。 六、Zookeeper在实际应用中的案例 1. Hadoop：Hadoop中的HDFS和YARN利用Zookeeper进行集群管理，...
apache-zookeeper-3.5.8-bin.zip
06-30
- **会话（Session）**: 用户与ZooKeeper 服务器之间的连接称为会话，会话具有超时机制，提供了一定的健壮性。 - **Watcher**: ZooKeeper 支持事件监听机制，即Watcher，当ZNode的状态发生改变时，可以触发预先...
报错解决：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.yarn.exceptions.InvalidResourceRequestE
邵奈一的博客
11-02 2084
给NodeManager配置的内存是1024MB，而默认MapReduce作业所需的最小内存是1536。解决：设置任务的MapReduce作业所需的最小内存设置为1024M。
Flink 启动 yarn-session.sh
qq_40471761的博客
07-20 4575
1.内存不足 启动命令 bin/yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 解决办法：将 hadoop 的检查虚拟内存关闭掉 在yarn-site.xml 中添加 <property> <name>yarn.nodemanager.vmem-check-enabled</name> ...
以yarn-sessoin.sh -d参数启动的flink怎么关闭
qq_44387668的博客
04-03 1292
请注意，如果您使用了 -d 参数启动 Flink 集群，它将在后台运行，因此您需要通过以上命令显式停止它。如果您使用 yarn-session.sh 而不是 yarn-session.sh -d 启动 Flink 集群，则可以通过按下 Ctrl+C 或使用 yarn application -kill 命令来关闭它。您可以在 Flink Web UI 或 Flink 客户端日志中找到 Job ID。将 替换为您在第一步中找到的 Flink 应用程序的 Application ID。
yarn部署模式依赖预上传设置
weixin_38251332的博客
06-20 801
将运行所需的依赖包与上传到远程（如：hdfs系统），这将使作业提交变得非常轻量级，因为所需的Flink jar和应用程序jar将由指定的远程获取，而不是由客户端发送到集群。 NOTE： Session Mode on yarn 【yarn.provided.lib.dirs】参数解释NOTE： 如果自己指定 yarn.provided.lib.dirs，有以下注意事项：示例:............
Flink:Yarn-Session 启动
u012566690的专栏
08-29 2871
背景： 自己搭建了flink 单机版本时，到 flink on yarn 这一步卡住了，不能正常运行执行./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m 包括 GetClusterMetricsRequestProto cannot be cast to com.google.protobuf.Message 主要原因是未指定HADOOP_CONF_DIR环境变量，下面给出整个过程 ##1. 参照文档，下载&&编译flink 源码,这个时候，s
flink启动找不到yarn-session.sh命令
zggpdd的博客
08-11 581
这个错误其实很低级，主要就是我安装flink的时候，以为自己配置了环境变量，谁知其实并没有配置环境变量。 主要还是因为自己当初安装flink的几种模式时，是分开复制安装，导致自己以为配置了环境变量， 还有一个需要注意：yarn-sisson.sh是flink/bin/的命令，并不是hadoop的yarn的命令。 ...
Flink提交作业到yarn session集群main函数命令行参数传递
weixin_43525585的博客
12-18 3068
创建flink的yarn session集群 yarn-session.sh -n 3 -s 3 -nm flink-sessiontest -d -q yarn-session选项： -n,–container ：在yarn中启动container的个数，实质就是TaskManager的个数 -s,–slots ：每个TaskManager管理的Slot个数 -nm,–name :给当前的yarn-session(Flink集群)起一个名字 -d,–detached:后台独立模式启动，守护进程 -tm,
SS00006.flink——|Hadoop&Flink计算领域锋利的武器.v06|——|Flink.v03|Yarn模式部署|
yanqi_vip
04-17 189
一、Flink.Yarn模式部署 ### --- 启动一个YARN session(Start a long-running Flink cluster on YARN)； ~~~ 方式一：yarn session启动 ~~~ 方式二：per job方式启动 二、YARN Session方式：Flink.yarn环境部署 ##...
default_container_executor_session.sh是如何生成的
最新发布
06-10
default_container_executor_session.sh是由Apache Hadoop YARN框架的源代码生成的。在Hadoop YARN中，这个脚本是用于启动和管理容器的，容器是在YARN集群中运行的任务实例。这个脚本包含了所有必要的命令和参数来...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

手把手教你学AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值