在hadoop HA集群跑mapreduce任务出错

最新推荐文章于 2024-04-26 23:23:36 发布
VIP文章 最新推荐文章于 2024-04-26 23:23:36 发布
阅读量745 收藏
点赞数
文章标签： hadoop zookeeper yarn ResourceManager
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zld_555/article/details/101292295
版权

环境
centos7.5
jdk=1.8
hadoop=3.1.2
zookeeper=3.4.14

用zookeeper来协调yarn,跑hadoop自带的示例wordcount任务出错,日志如下.

2019-09-24 15:56:59,482 INFO [IPC Server listener on 24576] org.apache.hadoop.ipc.Server: Stopping IPC Server listener on 24576
2019-09-24 15:56:59,482 INFO [TaskHeartbeatHandler PingChecker] org.apache.hadoop.mapreduce.v2.app.TaskHeartbeatHandler: TaskHeartbeatHandler thread interrupted
2019-09-24 15:56:59,482 INFO [Ping Checker] org.apache.hadoop.yarn.util.AbstractLivelinessMonitor: TaskAttemptFinishingMonitor thread interrupted
2019-09-24 15:56:59,483 ERROR [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.NullPointerException
	at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.register(RMCommunicator.java:178)
	at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.serviceStart(RMCommunicator.java:122)
最低0.47元/天 解锁文章
zld_555
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop集群信息
01-11
搭建高可用的Hadoop集群，基于NFS共享磁盘的namenode配置，使用zookeeper进行主节点推举
Hadoop MapReduce 任务执行流程源代码详细解析
RiverM的专栏
09-27 1万+
目录 1 引言  1.1 目的  1.2 读者范围 2 综述 3 代码详细分析  3.1 启动Hadoop集群  3.2 JobTracker启动以及Job的初始化  3.3 TaskTracker启动以及发送Heartbeat  3.4 JobTracker接
mapreduce源码分析之HeartBeat机制
roy的专栏
05-02 1218
<!-- @page {margin:2cm} p {margin-bottom:0.21cm} --> 三．再次回到JobTracker看看心跳机制是怎么回复的，哈哈。。。 当TaskTracker将heartbeat通过RPC发送到JobTracker时，会触发JobTracker的heartbeat()方法，具体见下面（我只是将流程分析了一下，其他的都是一些辅助
MapReduce介绍
热门推荐
qq_25409421的博客
08-17 1万+
MapReduce是一个用于大规模数据处理的分布式计算模型，最初由Google工程师设计并实现的，Google已经将完整的MapReduce论文公开发布了。其中的定义是，MapReduce是一个编程模型，是一个用于处理和生成大规模数据集的相关的实现。用户定义一个map函数来处理一个Key-Value对以生成一批中间的Key-Value对，再定义一个reduce函数将所有这些中间的有相同Key的Value合并起来。很多现实世界中的任务都可用这个模型来表达。
Yarn中map、reduce任务运行容器YarnChild分析
METON的博客
08-28 2023
在对Yarn上MRAppMaster组件详解以及任务资源申请、启动的源码分析的分析中可以知道，真正用于执行MapTask任务、ReduceTask任务的进程容器为YarnChild进程，接下来对该YarnChild进程运行Task任务进行对应的分析： TaskAttempt状态机 我们知道具体Map、Reduce任务在YarnChild进程中的调度触发是在TaskAttempt的状态机流转过程中触发实现的，在TaskAttempt的状态机流转过程中： New --&gt...
Hadoop v2(Yarn) 调度分析 (1) JobClient 的提交过程
那闯
03-06 4754
ResourceManager:     ApplicationManager:          负责为AppMaster申请Container （资源），并监控AppMaster的failed     ResourceScheduler:          负责多个application的资源分配，调度Container NodeManager:       负责启动和监控Cont
执行hadoop-3.3.0 wc 报错Container exited with a non-zero exit code 1. Error file: prelaunch.err.
top_explore的博客
01-27 7469
报错 Application application_1611732673035_0001 failed 2 times due to AM Container for appattempt_1611732673035_0001_000002 exited with exitCode: 1 Failing this attempt.Diagnostics: [2021-01-27 02:32:14.002]Exception from container-launch. Container id:
hive 在kettle 作业return code 2 的问题 Unexpected exception: Unexpected exception: Unexpected exception:
mingming20547的博客
12-26 1262
今天突然进去跑不了数据老是报错return code 2 .之前可以跑通的。 日志如下 矢量查询(Vectorized query) 每次处理数据时会将1024行数据组成一个batch进行处理，而不是一行一行进行处理，这样能够显著提高执行速度。 可以通过设置 set hive.vectorized.execution.enabled = true; 但是如果数据量很大，她的batch就会很多，...
在使用 sqoop 导出数据到 mysql 报出下面的错
weixin_42926783的博客
12-18 3944
在使用 sqoop 导出数据到 mysql 报出下面的错 [root@master sqoop]# /usr/local/sqoop/bin/sqoop-export --connect jdbc:mysql://master:3306/number_count --username root --table r_number_count --update-key 'number,day,hour...
HadoopHA集群部署、YARNHA测试Job教学课件.pptx
06-20
任务一 准备MapReduce输入文件 在master主节点，使用 root 用户登录，然后切换为 hadoop用户 [root@master ~]# su – hadoop --从root用户切换为hadoop身份 [hadoop@master ~]$ 创建新文件：wc.input 作为 MapReduce...
hadoopHA配置.txt
08-18
hadoop的ha配置过程，亲自搭建测试过，hdfs和yarn的HA都完美运行，mapreduce提交到集群中也运行成功。
hadoop2.x集群搭建.txt（hdfs和yarn貌似正常，但mapreduce 提交job执行失败，请看我的另一个资源，另一个搭建是成功的）
07-06
hadoop 搭建过程
大数据hadoop集群部署-最详细的部署-2.8.5.pdf
05-17
YARN框架下的MapReduce可以开启JobHistoryServer来记录历史任务信息，否则只能查看当前正在执行的任务信息。 Zookeeper的作用是负责HDFS中NameNode主备节点的选举，和YARN框架下ResourceManaer主备节点的选举。
【Hadoop】-Apache Hive使用语法与概念原理[15]
weixin_63106307的博客
04-24 512
使用location关键字，可以指定数据库在HDFS的存储路径。/user/hive/warehouse内。数据库本质上就是在HDFS之上的文件夹。
SpringCloud系列（17）--将服务消费者Consumer注册进Zookeeper
最新发布
m0_64284147的博客
04-26 716
在上一章节中我们把服务提供者Provider注册进了Zookeeper，而本章节则是关于如何将服务消费者Consumer注册进Zookeeper。
docker容器技术篇：集群管理实战mesos+zookeeper+marathon（二）
qq_39241682的博客
04-24 991
ZooKeeper是用来给集群服务维护配置信息，提供分布式同步和提供组服务。所有这些类型的服务都使用某种形式的分布式应用程序，本实验中使用zk与mesos结合实现为mesos的master提供配置维护、分布式同步、组服务等，并保证其单点故障问题。
服务注册与发现Eureka、Zookeeper、Consul 三个注册中心的异同点（CAP理论）
weixin_42795092的博客
04-21 493
Eureka是由Netflix开源的一个服务注册和发现组件，它主要用于构建高可用、分布式系统的基础设施中。Eureka的服务器端被称为Eureka Server，客户端则是那些需要注册的服务。Zookeeper是一个分布式协调服务，由Apache软件基金会开发。它可以用来维护配置信息、命名服务、分布式同步等，其中服务注册与发现是它的一个功能。Consul是由HashiCorp开发的一个开源工具，用于服务发现和配置，同时也支持健康的检查和故障转移。
docker容器技术篇：容器集群管理实战mesos+zookeeper+marathon（一）
qq_39241682的博客
04-23 971
Apache Mesos 是一个基于多资源调度的集群管理软件，提供了有效的、跨分布式应用或框架的资源隔离和共享，可以运行 Hadoop、Spark以及docker等。
搭建HA完全分布式的Hadoop集群
06-08
4. 启动Hadoop：启动Hadoop集群的所有守护进程，包括HDFS、YARN和MapReduce。 5. 测试Hadoop：测试Hadoop集群是否正常工作，例如使用Hadoop自带的示例程序运行WordCount。 以上是搭建完全分布式的Hadoop集群的基本...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值