一台机器安装多套hadoop环境 端口冲突的解决

最新推荐文章于 2022-11-30 18:56:27 发布
最新推荐文章于 2022-11-30 18:56:27 发布
阅读量3.1k 收藏 1
点赞数
分类专栏： hadoop分布式计算相关技术 分布式集群管理 文章标签： Hadoop 服务器 测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yu_fu/article/details/21551719
版权
在共享测试环境中，多套Hadoop安装可能导致端口冲突。本文主要讨论了三种常见的端口冲突问题，并提供了针对未明确配置的默认端口的解决方案，如dfs.datanode.http.address的配置调整。
摘要由CSDN通过智能技术生成

通常测试环境多人共享，多个版本共享，经常出现多套环境共用到情况，下面是三个主要到端口冲突；


对于明显配置的端口，可以修改，有些没有配置的默认端口，往往找不上头绪：

dfs.datanode.http.address  通常会配置

dfs.datanode.address 默认50010
dfs.datanode.ipc.address 默认50020
2014-01-08 15:09:18,582 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Registered FSDatasetStatusMBean
2014-01-08 15:09:18,726 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.BindException: Problem binding to /0.0.0.0: 50010 :
 Address al
最低0.47元/天 解锁文章
WentaoMa
关注
专栏目录
如何在同一台机器上搭建不同版本hadoop集群
qq_27302777的博客
08-02 905
1、背景：原有的hadoop集群搭建在三台虚拟机上，版本为3.1.1 2、失败过程：打算在同一套虚拟机上安装一套hadoop-3.2.2，配置好相关配置文件之后， 格式化namenode，终端打印信息询问是否要重新格式化namenode，对应的目录还是3.1.1版本的，这里我没注意看，选择了Y，导致原来hadoop-3.1.1的namenode目录（配置的是/opt/hdpdata/name）被格式化，原有hadoop集群数据被清空，且集群中datanode无法启动，原因是clusterID 不匹配了，.
基于Docker快速搭建多节点Hadoop集群
weixin_34292924的博客
03-30 463
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop2.8.4环境安装（单机安装多版本hadoop和JDK）
十月鱼的博客（本博客不再更新，作者迁移至：http://wiki.51centos.com）
06-29 1676
Hadoop源码包下载 http://mirror.bit.edu.cn/apache/hadoop/common 集群环境 192.168.205.60 master 192.168.205.65 slave1 192.168.205.66 slave2 下载安装包 #Master wget http://mirror.bit.edu.cn/apache/hadoop/common...
Hadoop集群 SSH不同端口问题
qq_42913729的博客
06-03 977
在云服务器上搭建Hadoop集群的过程中一般ssh默认端口22不会开发 这个时候. 如果集群之间通过ssh链接的过程中，就会出现22端口拒绝的问题，但是如果直接修改，配置打开22端口号会被恶意扫描到。 所以只能修改本地的ssh默认端口 遇到了非默认端口的配置 在/root/.ssh/下面做一个配置文件config 将服务器信息和端口都加入其中，实现了非默认端口的免密登录 #服务器1 Host xm-bigdata01 Hostname 192.168.0.5 Port 23 User root Identi
3台服务器搭建 hadoop
Trial & Error
01-15 563
两台服务器，分别是腾讯云和阿里云的，腾讯云的作为master、阿里云的作为slave1，通过 ssh 远程连接进行操作，这里强烈安利一下 ssh工具 FinalShell，很适合像我这样的 linux 新手 设置两台机器的 hostname 修改主机器和从机器的 hostname，分别为 master 和 slave1 # vim ~/.bashrc 修改完 hostname 之后 # bas...
hadoop完整安装流程
04-06
对于新手来说，安装过程中可能会遇到各种问题，如依赖库缺失、端口冲突、配置错误等，因此建议在安装时详细阅读官方文档，或者参考社区的教程和解决方案，以确保安装过程顺利。同时，安装完成后进行简单的测试，例如...
细细品味Hadoop（Hadoop安装及配置）.rar_hadoop_细细品味Hadoop
09-24
单机模式适合初学者快速入门，所有Hadoop进程运行在同一台机器上，不涉及网络通信。伪分布式模式则是模拟多节点环境，所有服务在一个节点上独立运行，但能体验到分布式系统的部分特性。完全分布式模式适用于生产环境...
hadoop 安装配置教程.md
最新发布
06-12
- **网络配置**: 配置所有节点处于同一局域网内，并确保每台机器的IP地址不冲突，以避免网络通讯错误。此外，还需要设置好DNS解析，使各个节点可以通过主机名互相访问。 #### 二、JDK安装 - 在所有节点上安装Java...
Windows本地安装Hadoop所需文件.zip
12-15
以上是Windows本地安装Hadoop的基本步骤和关键知识点，学习过程中可能会遇到各种问题，如权限错误、端口冲突等，都需要逐一排查解决。随着对Hadoop的深入理解，你还可以尝试在多台机器上构建真正的分布式集群，体验...
阿里云搭建hadoop集群ssh端口问题
weixin_41876523的博客
06-28 454
在一台机器上运行多个HDFS实例
Elephant in the Cloud
04-19 2869
HDFS设计为一台电脑上跑一个实例（一个Namenode或Datanode或SecondaryNamenode，在单机模式下可以同时运行三者），但默认不在一个电脑上运行同一角色的多个实例。 HDFS每个角色都占有一定端口和文件，如Namenode的IPC默认端口9000，以及文件镜像目录（默认在/tmp/hadoop-${user.name}/name）等。若直接启动第二个实例，必定会冲突，无法
搭建5个节点的hadoop集群环境（CDH5）
热门推荐
陌上花开
05-18 5万+
搭建一个分布式的hadoop集群环境，下面是详细步骤，使用cdh5 。提示：如果还不了解Hadoop的，可以下查看这篇文章Hadoop生态系统，通过这篇文章，我们可以首先大致了解Hadoop及Hadoop的生态系统中的工具的使用场景。 一、硬件准备 基本配置: 操作系统 64位 CPU (英特尔)Intel(R) I3处理器 内存 8.00 GB ( 1600 MHz) 硬盘剩余空间 50G 流畅配置: 操作系统 64位
Hadoop运行环境搭建（开发重点二）克隆虚拟机、利用模板机hadoop100，克隆三台虚拟机：hadoop102 hadoop103 hadoop104、修改克隆机IP和主机名称、网络配置
Redamancy06的博客
08-01 2535
在XShell和Xftp连接hadoop102、hadoop103和hadoop104、配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts、如何将hadoop104从磁盘删除、如何再将hadoop100添加回来、如果不小心将虚拟机hadoop100移除了、为什么不从hadoop101开始，因为一开始hadoop101留给了单台服务器操作使用，而用102,103,104搭建的是完全分布式，真正的生产集群。后面可以用101进行源码的编译...
java同时连接不同HDFS集群
零零七的博客
11-30 399
同时连接不同HDFS集群
DataNode起不来检查记录
oufuji的博客
12-17 2668
今天开机启动HDFS，发现一个DataNode在界面上是停止的，尝试手工再次重启，直接报错，但是界面上输出日志不明显。 然后看日志输出目录（有点忘了日志目录了，查查配置） putty去到目录：查看，发现50020端口被占用： 2015-12-17 10:25:45,261 FATAL org.apache.hadoop.hdfs.server.datano
hadoop启动错误：Problem binding to [0.0.0.0:50010] java.net.BindException: Address already in use: bind；
曹健的博客
11-07 1641
想用hive测试几个sql语句发现hadoop启动遇到问题，datanode起不来了，报错：Problem binding to [0.0.0.0:50010] java.net.BindException: Address already in use: bind; For more details see: http://wiki.apache.org/hadoop/BindException。 百度一下发现是端口被占用了，所以在配置文件hdfs-site.xml中修改端口号，增加如下内容： &l.
hadoop客户端配置识别两个高可用(ha)集群的逻辑名称访问
2020xyz的博客
07-02 3805
1.相关配置参数
Linux CentOS下Hadoop伪分布式安装全攻略
在伪分布式模式下，Hadoop的所有组件都在同一台机器上运行，但模拟了分布式环境的行为，这对于开发和测试环境非常有用。 首先，安装Hadoop前，我们需要确保系统已安装Java Development Kit (JDK)。在这个案例中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值