Hadoop 2.8.0 全分布模式下遇见的坑

最新推荐文章于 2021-11-22 14:35:58 发布
最新推荐文章于 2021-11-22 14:35:58 发布
阅读量1.9k 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengshidao/article/details/75097680
版权
在全分布模式下部署Hadoop 2.8.0时遇到了多个问题，包括IOEF错误、datanode连接超时、配置文件中的localhost问题以及namenode ID不匹配等。解决方法包括正确格式化namenode、修改core-site.xml中的namenode URI为IP地址、清理/tmp目录并重新格式化、调整hosts文件以及解决ID不一致问题。通过这些步骤，最终成功运行Hadoop集群。
摘要由CSDN通过智能技术生成

我这里设置了三台机子： 全是Ubuntu 16.04

192.168.244.120 Master
192.168.244.128 Slave1.Hadoop
192.168.244.130 Slave2.Hadoop

备注：机子上已经全部安装了，JDK1.8，Hadoop-2.8.0 ，ssh 并且设置好无密码登录。
以下是我碰见的所有坑：

java.io.EOFException: End of File Exception between local host is: "Slave2.Hadoop/192.168.244.130"; destination host is: "Master":9001; : java.io.EOFException; For more details s     ee:  http:
最低0.47元/天 解锁文章
郑斯道
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop完全分布式
weixin_61959567的博客
12-06 1599
集群配置 注意：NameNode和SecondaryNameNode不要安装在同一台服务器 （2NN备份元数据的，如果放在一台机器上，机器宕机元数据就拿不到） 注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。 hadoop100 hadoop101 hadoop102 HDFS ...
Hadoop完全分布
zjy15737869372的博客
12-13 1815
一、核心文件配置 1、从Linux中获取jdk路径 echo $JAVA_HOME 配置hadoop-env.sh cd /opt/module/hadoop-3.1.3/etc/hadoop/ vi hadoop-env.sh 将配置文件修改如下保存并退出 配置core-site.xml vi core-site.xml 将下列命令粘贴进去 <?xml version="1.0" encoding="UTF-8"?> <?xml-styl...
Hadoop全分布模式操作
数据人
03-08 3610
摘要：介绍Hadoop全分布模式操作，实现真正意义上的集群架构。 关键词：Hadoop 全分布模式 文件配置
hadoop2.8.0 eclipse jb51
09-08
标题“hadoop2.8.0 eclipse jb51”表明我们讨论的是Hadoop 2.8.0版本与Eclipse的集成，可能是通过jb51插件来实现。jb51可能是指JBoss Community的某个版本，也可能是一个特定的Eclipse插件或库，用于支持Hadoop开发...
hadoop-2.8.0-RC3
09-04
hadoop-2.8.0-RC3 的winutils bin文件。 hadoop-2.8.0-RC3 的winutils bin文件。 hadoop-2.8.0-RC3 的winutils bin文件。
部署全分布模式Hadoop集群 实验报告
04-18
5. 熟练掌握在 Linux 环境下如何部署全分布模式 Hadoop 集群。 二、实验环境 本实验所需的软硬件环境包括 PC、VMware Workstation Pro、CentOS 安装包、Oracle JDK 安装包、Hadoop 安装包。 三、实验内容 1. 规划...
Linux下部署Hadoop伪分布模式
01-20
　第一步：配置ssh本地登录证书（虽然为伪分布模式，Hadoop依然会使用SSH进行通信）   [hadoop@promote ~]$ which ssh /usr/bin/ssh [hadoop@promote ~]$ which ssh-keygen /usr/bin/...
Eclipse的Hadoop2.8.0插件
09-05
Eclipse的Hadoop2.8.0插件。本人在Hadoop2.8.0上亲测可用。hadoop学习者必备。下载后拷贝到eclipse安装目录下的plugins文件夹下，重启eclipse即可。
Hadoop的完全分布式
06-10 694
完全分布式安装（以3台为例） 1.准备工作 1.1修改主机名称 ftj-node1 图一 ftj-node2 图二 ftj-node3 图三 1.2设置静态的IP的 ftj-node1 -> 192.168.134.46 图五 ftj-node2-> 192.168.134.47 图六 ftj-node3 -> 192.168.134.48 图七 1.3配置hosts文件(主机与IP的映射) 每台主机都要添加下面三条配置。 图八 图九 图10 1.4设置免密码登录（从一台
Hadoop 三大运行模式--＞本地运行模式
风口IT猪的成长录
09-04 734
Hadoop 运行模式-->本地运行模式Hadoop 运行模式本地运行模式 Hadoop 运行模式 1）Hadoop 官方网站：http://hadoop.apache.org/ 2）Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。 伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。 完全分布式模式：多台服务器组成分布式环境。生产
Hadoop——全分布搭建
2551的博客
05-05 493
操作系统：Centos7 JDK：1.8 Hadoop：2.7 全分布我们需要用到三台机器，三台机器配置均如上。 1、使用3台linux虚拟机，设置IP地址和主机名，使得虚拟机和主机互通 （1）编辑/etc/sysconfig/network-scripts/ifcfg-ens33文件，修改IP地址 我三台机器的IP地址分别为： 192.168.25.165 192.168.25.175 ...
HADOOP全分布部署
weixin_42376454的博客
11-28 361
1、克隆并启动虚拟机（集群为奇数台） 2、修改静态IP （1）vim /etc/udev/rules.d/70-persistent-net.rules 删除eth0行，将eth1修改为eth0，同时复制MAC地址 （2）vim /etc/sysconfig/network-scripts/ifcfg-eth0 修改IP、网关、DNS、BOOTPROTO=static、ONBOOT=yes （3）...
Hadoop全分布搭建
Fai_te的博客
07-25 318
本地模式的配置 参数文件 配置参数 参考值 hadoop-env.sh JAVA_HOME /root/training/jdk1.8.0_144 伪分布模式的配置 参数文件 配置参数 参考值 h...
Hadoop全分布（详细步骤，无ip配置）
Bigdata_jack的博客
10-11 409
虚拟机环境准备 准备三台虚拟机 关闭防火墙 [root@master ~]# systemctl stop firewalld [root@master ~]# systemctl disable firewalld 添加主机映射 [root@master ~]# vim /etc/hosts 分发映射 [root@master ~]# scp /etc/hosts slave1:/etc/hosts [root@master ~]# scp /etc/hosts slave2:/e
初学（14）——Hadoop-全分布模式
Zero-to-Hero的博客
09-20 249
准备工作 操作系统：Linux（以CentOS为例，一台master，三台slvae） JDK版本：jdk-1.8.1_212 Hadoop版本：hadoop-2.8.3 步骤（使用hadoop用户，各节点同时进行） 1.修改hadoop-env.sh配置文件 参考 hadoop-单机模式 2.设置Hadoop环境变量 sudo vim /etc/profile 添加如下配置 export HA...
hadoop全分布安装
yang_zzu的博客
08-24 835
hadoop 分布式安装： 官方压缩包下载地址：https://hadoop.apache.org/release/3.2.1.html 准备工作： A.安装jdk a.1. 下载jdk 的镜像文件 docker pull primetoninc/jdk.1.8 docker 下载的实在是太慢了，一直无法完全下载下来。 这里使用从官网下载的安装包进行安装，不使用docker镜像 https://www.oracle.com/java/technologies/javase/...
Hadoop全分布环境搭建
懵懂bigdata象
11-22 701
Hadoop全分布环境搭建一、准备工作二、开始安装配置 环境 Vmware+centos7+jdk8+hadoop-2.7.3 说明 hadoop全分布模式需要三台主机：ethan001,ethan002,ethan003 主机分布规划: 主节点：ethan001 从节点：ethan002 ethan003 一、准备工作 1、hadoop安装包，hadoop-2.7.3.tar 提码：1111 2、三台安装好jdk的虚拟机，jdk安装教程 3、所有主机都配置好主机名映射关系 vi /etc/host
Hadoop 2.8.0分布式集群安装与配置实战指南
"Hadoop-2.8.0分布式安装手册" 本文是一份详细的Hadoop 2.8.0分布式安装指南，旨在解决在安装过程中的问题，并解释可能遇到的错误。此版本的Hadoop改进了高可用性(HA)功能，如HDFS、YARN和HBase的单点故障解决方案...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值