Hadoop在linux虚拟机上的伪分布式安装

已于 2023-02-28 11:04:28 修改
阅读量270 收藏
点赞数
文章标签： hadoop 大数据 Powered by 金山文档
于 2023-02-27 22:48:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zndeID_/article/details/129250484
版权
本文详细介绍了在Linux虚拟机上进行Hadoop的伪分布式安装步骤，包括修改主机名、配置免密登录、安装JDK、解压并配置Hadoop、设置环境变量、格式化NameNode、启动Hadoop服务以及检查防火墙状态。最后通过浏览器展示了Hadoop Web页面。
摘要由CSDN通过智能技术生成

  1. 修改主机名（将原来的主机名删除，添加自己设定的主机名）

vim /etc/hostname

  1. 主机名和IP映射（进入文件之后，添加当前主机的IP和主机名）

vim /etc/hosts（例：ip hadoop）

  1. 关闭SELINUX（将SELINUX属性的值改为disabled）

vim /etc/selinux/config

  1. 重启

reboot

  1. 配置免密登录

ssh-keygen

ssh-copy-id

  1. 在opt下创建soft目录，并将hadoop文件和jdk上传至soft下

mkdir /opt/soft

  1. 创建安装目录，并将hadoop文件解压到安装目录下

最低0.47元/天 解锁文章
zn呐.
关注
Linux操作系统安装hadoop（伪分布式）
weixin_47406709的博客
07-26 542
Linux安装hadoop（伪分布式） 一、准备 没有特殊说明操作都在在master主节点上进行 该项只需hadoop身份配置 创建软件包名，暂存上传的软件包（已经创建过的可以忽略此步骤） mkdir ~/software 上传hadoop压缩包 将压缩包放到根目录下，目的是为了方便操作 cp ~/software/hadoop-*.tar.gz ~/ 二、安装 解压安装包 cd ~ # 跳转到根目录 tar -xzvf hadoop-*.tar.gz # 解
hadoop集群在vm虚拟机Linux系统下的搭建单、伪、全分布式搭建参考
weixin_71429417的博客
08-08 1124
hadoop集群在vm虚拟机Linux系统下的搭建单、伪、全分布式搭建参考
基于Linux的Hadoop伪分布式安装
热门推荐
leoatliang的博客
10-04 1万+
【大数据技术2】：基于Linux的Hadoop伪分布式安装。主要内容包含：创建用户、安装ssh、安装vim、安装JDK并配置环境变量、安装Hadoop、hadoop伪分布式配置以及启动HDFS伪分布式模式。
linux下搭建hadoop伪分布式
一杯咖啡半杯糖的博客
08-13 1555
1、准备一台虚拟机，可参考我前面的博客，克隆虚拟机-https://blog.csdn.net/sinat_23225111/article/details/81209983 2、需要准备hadoop的tar包和java安装包，解压到如下路径下 3、解压tar包到指定的路径下 tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/ ...
Linux安装伪分布式Hadoop
m0_64416846的博客
03-23 2915
1，首先要安装jdk,这里就不介绍了
Linux环境搭建Hadoop伪分布模式
yang_mang的博客
10-16 1435
Hadoop有三种分布模式：单机模式、伪分布、全分布模式，相比于其他两种，伪分布是最适合初学者开发学习使用的，可以了解Hadoop的运行原理，是最好的选择。接下来，就开始部署环境。 首先要安装好Linux环境，可以是真机，也可以是虚拟机，我的环境是VMWare下安装的CentOS 6.3的虚拟机，如果你还没有安装好Linux环境，可以参考我的另一篇文章： window7环境下VMWare自定义安
Hadoop伪分布式搭建
yang320918的博客
05-07 471
Hadoop伪分布式搭建 目录Hadoop伪分布式搭建1、创建1台Linux虚拟机，并打开对应的网络连接(VMnet8)2、通过xshell正确连接Linux虚拟机3、在【/opt/】文件夹下上传【java】以及【hadoop】压缩包4、正确解压【java】以及【hadoop】的压缩文件5、修改【hadoop-2.7.3】以及【jdk1.8.0_112】文件夹名称为【hadoop】以及【jdk】6、在【/etc/profile.d/】编写【hadoop-eco.sh】脚本文件7、在【/opt/hadoop/
Linux虚拟机上Hadoop伪分布式安装方法及实例检测
09-28
在Linux虚拟机上安装Hadoop的伪分布式模式，是学习和测试Hadoop功能的理想方式，因为它可以在一台机器上模拟多节点集群的行为。下面将详细介绍在Ubuntu Linux系统上进行Hadoop伪分布式安装的步骤。 首先，确保你...
初识大数据Hadoop生态圈：搭建Hadoop伪分布式环境
weixin_73609140的博客
05-28 754
上一篇我搭建完成了Linux系统以及配置，本篇文章进行我的项目回顾和Hadoop环境准备什么是网站日志？网站，或者说web服务器在运行过程中如果有用户访问了我们的服务器，它会把信息以文本形式自动记录下来，这个文件通常以.log结尾，一般称为服务器日志。通过对网站日志的信息的统计分析，可以帮我们了解整个网站的运行情况，为公司后续的优化升级、公司营销策略等等提供依据。通常来说这个日志记录都会非常的大，特别是一些超大型的网站，有一个用户进行访问它就会记录下来，想象一下这个数据集会有多大？
linux虚拟机搭建hadoop伪分布式集群
04-26
在搭建Hadoop伪分布式集群的过程中，首先需要在Linux环境下配置VMware的NAT网络，确保虚拟机能够稳定地运行和通信。NAT网络允许虚拟机通过宿主机与外部网络进行通信，同时保持IP地址的固定性。具体操作包括取消DHCP...
linux下安装hadoop伪分布与完全分布式安装
06-01
在 LinuxLinuxLinuxLinuxLinux5.65.65.6企业版 企业版 下成功搭建 下成功搭建 下成功搭建 HadoopHadoopHadoopHadoopHadoopHadoop伪分布 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台服务 器上进行伪分布式搭建。 器上进行伪分布式搭建。 器上进行伪分布式搭建。 器上进行伪分布式搭建。 器上进行伪分布式搭建。 器上进行伪分布式搭建。 Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop 分布式， 分布式， 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop 本身 是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是在单机器上配置，数据节点和名字均一个。 是在单机器上配置，数据节点和名字均一个。 是在单机器上配置，数据节点和名字均一个。 是
Linux自动安装Hadoop集群（伪分布）（Shell脚本）
07-24
需要自己先安装jdk，也可以去这里https://download.csdn.net/download/weixin_44033210/12657718，这里有自动安装jdk的脚本
Linux安装Hadoop（伪分布）
《@书山有径%》的博客
09-04 398
Linux安装Hadoop（伪分布） ####下载Hadoop 华为源下载
linux虚拟机中Hadoop的伪分布安装（学习集群使用）
weixin_44257236的博客
08-08 486
liunx虚拟机中Hadoop的伪分布安装（至少3台虚拟机） （1）在/opt/目录下创建hadoopdata目录用于存放hadoop集群的数据，上传hadoop的压缩包，并解压到/opt/目录下。 （2）编辑hadoop-env.sh 配置自己jdk路径，如果JDK配置过JAVA_HOME 环境变量，此步可跳过。 （3）cd 进入目录 /opt/hadoop-2.7.2/etc/hadoop/ 编辑core-site.xml文件。此处配置默认ip地址、端口、读取文件缓冲大小。 添加xml块： &lt
linux 安装hadoop 的四大运行模式——伪分布模式（版本2.9.1）
weixin_39435629的博客
12-06 596
hadoop伪分布模式：hadoop的守护进程在同一台服务器上（具体定义请自行查询） 前提：请在阅读《linux 安装hadoop 的四大运行模式——本地模式》的基础上进行阅读 1、将本地模式的配置文件复制出来 建立软连接 ，便于后续方便使用 运行命令：$>cp -r  hadoop/ local   (-r 代表文件的递归复制) 删除hadoop文件   命令使用：$>...
linux配置hadoop伪分布,Ubuntu 14.04下安装Hadoop2.4.0 （伪分布模式）
weixin_35128544的博客
05-25 147
一、配置core-site.xml/usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop启动时的配置信息。编辑器中打开此文件sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml在该文件的之间增加如下内容：fs.default.namehdfs://localhost:9000保存、关闭编辑窗口。...
Linux部署hadoop伪分布式
最新发布
m0_61865077的博客
04-03 796
在Linux下安装部署hadoop伪分布式
Linux(CentOS)下伪分布模式安装Hadoop
旧书不厌百回读，熟读深思子自知
10-26 1063
一、下载  下载地址：http://apache.etoak.com/hadoop/common/  打开会发现不同版本，我这里选择的是：hadoop-1.0.3.tar.gz  下载位置到：/data/software  二、安装  利用命令tar解压缩安装，解压结果如下：  Shell代码  [root@SC-026 ~]# cd /data/so
linux安装hadoop伪分布,linux Mint20(Ubuntu)伪分布安装hadoop
weixin_42181319的博客
05-26 143
linux 伪分布安装hadoop前言系统环境安装版本安装步骤配置hadoop账户安装ssh-server配置SSH免密码登录安装，配置java环境安装hadoop修改hadoop相关配置文件编辑 core-site.xml 文件编辑 hdfs-site.xml 文件配置 MapReduce 相关配置前言系统环境Linux Mint20安装版本hadoop2.10.1安装步骤配置hadoop账户创...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值