sqoop抽取数据报错：Failed to submit application to YARN : Application rejected by queue placement policy

最新推荐文章于 2023-04-06 19:05:36 发布
最新推荐文章于 2023-04-06 19:05:36 发布
阅读量3.6k 收藏 2
点赞数 1
分类专栏： sqoop使用 大数据hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zixoa/article/details/104519337
版权

报错内容
cdh集群sqoop在抽取mysql时报错：

Failed to submit application_1582700194294_0010 to YARN : Application rejected by queue placement policy

解决办法

在CM界面修改动态资源配置
步骤
进入到动态资源配置按下图进到放置规则中修改配置，即可解决
配置

子小哥哥
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【大数据】hive-User test cannot submit applications to queue root.default
debimeng
04-08 6328
Hive---User test cannot submit applications to queue root.default 场景： hive：2.6 系统：CentOS6.8 直接在系统用户下执行hive进入hive环境执行语句 $ hive $ select id,name,phone,adree,lag(......) from tb_dept_sub limit 5; 报错信息如...
Failed to run job: Application rejected by queue placement policy问题解决方法hive
baidu_35062444的博客
05-20 9352
使用自己新建的用户，执行hive语句insert数据时，报错：job submission failed with excepiton 'java.io.IOException(Failed to run job: Application rejected by queue placement policy)'  FAILED:Excution Error, return code 1 from
导入海量数据到HBASE解决方案，使用importtsv工具通过BuckLoad批量导入，问题解决Permission denied，Application rejected by queue..
mathlpz126的博客
08-11 522
首先上终极解决方案： create_namespace 'recom_ns' create 'recom_ns:prefer_result','info', { NUMREGIONS => 10 , SPLITALGO => 'UniformSplit' } hdfs dfs -put hbase_test.data /tmp/ hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," \ -Dm
【root is not a leaf queue】 org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit appli..
weixin_43412762的博客
04-06 3000
【root is not a leaf queue】org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1680768899138_0002 to YARN : root is not a leaf queue
Failed to submit application_1662088449147_0004 to YARN : User sfapp cannot submit applications to q
cyh的博客
09-02 1715
提交MR任务，报无队列权限问题
使用sqoop抽取mysql数据
10-26
Sqoop 是一个用于在 Hadoop 和关系型数据库之间进行数据导入导出的工具，它使得在大数据处理场景下，能够方便地将结构化的数据从 MySQL 这样的 RDBMS（关系型数据库管理系统）转移到 Hadoop 的 HDFS（Hadoop 分布式...
java连接sqoop源码-sqoop-v2:sqoop支持多数据源导出
06-15
Java连接Sqoop源码分析——探索Sqoop V2对多数据源导出的支持 Sqoop是Apache Hadoop生态系统中的一个重要工具，它允许用户在Hadoop和传统关系型数据库管理系统（RDBMS）之间进行大规模数据迁移。随着大数据处理的...
Sqoop 导入数据异常处理
01-07
写在前面 我在直接下载https://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz 解压使用会出现几个bug，之前也是出现了，然后也没有来...这是因为sqoop缺少java-json.jar包 下载java-json.jar包： http
sqoop1: import to hive partitioned table
08-05
NULL 博文链接：https://ylzhj02.iteye.com/blog/2051729
java连接sqoop源码-hadoopdev:开发者
06-15
java连接sqoop源码Hadoop 开发人员示例 这是 Hadoop 开发人员 gridU 课程的最后一项任务。 1.部署CDH集群 部署快速入门 ClouderaVM。 检查您是否安装了所有这些服务： 高密度文件系统 蜂巢 水槽 Sqoop 纱 动物园管理...
Spark通过YARN提交任务不成功（包含YARN cluster和YARN client)
weixin_33770878的博客
03-30 523
       　　  　　无论用YARN cluster和YARN client来跑，均会出现如下问题。   [spark@master spark-1.6.1-bin-hadoop2.6]$ jps 2049 NameNode 2706 Jps 2372 ResourceManager 2660 Master 2203 SecondaryNameNode [spa...
Failed to submit application_1618751895029_0003 to YARN : root is not a leaf queue
qq_21480329的博客
04-18 4309
Failed to submit application_1618751895029_0003 to YARN : root is not a leaf queue ​ hive执行数据插入报错,执行sql如下： insert into table dw_weblog_detail partition(datestr='20181101') select c.valid,c.remote_addr,c.remote_user,c.time_local, substring(c.time_local,0,1
Mapreduce提交job到队列，报错Failed to submit application
大黑牛的博客
07-22 1万+
  需求：提交job到集群中的某个队列，此时我们把default 队列改为Flow ，order，然后会报下述的错： Exception in thread "main"  java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1532225489052...
使用sqoop从Oracle或mysql抽取数据到HDFS遇到的报错及解决
热门推荐
勤能补拙
12-15 1万+
一、参考文档： 1、https://www.rittmanmead.com/blog/2014/03/using-sqoop-for-loading-oracle-data-into-hadoop-on-the-bigdatalite-vm/ 2、http://www.cnblogs.com/bjtu-leefon/archive/2013/06/28/3160549.html 二、
Sqoop export 时报错Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject
muyingmiao的专栏
09-24 510
在用Sqoop从Hive向MySQL导入数据时，报如下错误 Note: /tmp/sqoop-hadoop/compile/a5cdff17210df0d301e93ae1041273e9/platform_stat.java uses or overrides a deprecated API. Note: Recompile with -Xlint:deprecation for deta...
spark提交作业到yarn队列报错：hadoop.yarn.exceptions.YarnException
07-08 3261
报错详情： Exception in thread "main" org.apache.hadoop.yarn.exceptions.YarnException: org.apache.hadoop.security.AccessControlException: User amrcloud does not have permission to submit application_1585639257391_0011 to queue default at org.apache.hadoop.ya
Failed to submit XXXX to YARN : Application XXXXX submitted by user XX to unknown queue: XX
taoist1997的博客
12-21 5354
最近做数仓的项目搭建到hive on spark 的时候，在给Yarn 配置多队列容量调度器，报了如下的错误： 可以看到很明显有是说队列名不存在了，反复检查了几次，配置的文件不会错，包括每个配置项代表什么意思都仔细研究了下。参考yarn队列配置 偶然看到一个命令却很少有人提及: yarn rmadmin -refreshQueues 很多人都是直接重启yarn就好了，但是我重启了很多次都没用直到我用了上面一段代码，对yarn队列刷新，才看到了令人开心的一幕： 所以小伙伴们，配置完之后，记得分发配置文件，
RejectedPolicy--DiscardPolicy
Cages的专栏
02-27 1645
package com.jerry.concurrency; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.ThreadPoolExecutor; import java.util.concurrent.TimeUnit; public class TestRejectedPolicy {
sqoop报错 ERROR manager.SqlManager: Error executing statement: java.sql.SQLSyntaxErro
summer089089的博客
06-22 2250
1.现象 sqoop导入oracle的数据报错 20/06/22 09:27:11 ERROR manager.SqlManager: Error executing statement: java.sql.SQLSyntaxErrorException: ORA-00936: missing expression java.sql.SQLSyntaxErrorException: ORA-00936: missing expression 2.原因 检查导入的sql错误 select * from e
sqoop报错：ERROR tool.ImportTool: Error during import: Import job failed
最新发布
06-08
这个错误信息比较笼统，可能由于多种原因引起。...7. 检查导入的数据是否过大，是否需要增加 sqoop 的参数来增加内存和调整批处理大小。 8. 检查 sqoop 的日志，查看更详细的错误信息。 希望这些方法能帮到你。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值