Hadoop笔记（伪分布式部署）

最新推荐文章于 2024-08-14 14:25:28 发布
最新推荐文章于 2024-08-14 14:25:28 发布
阅读量1.1k 收藏
点赞数
文章标签： hadoop 分布式 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zxascsx/article/details/121900504
版权
本文详细介绍了如何配置和启动Hadoop伪分布式环境。首先，通过修改hadoop-env.sh，core-site.xml和hdfs-site.xml文件来配置集群环境。接着，执行namenode格式化及namenode和datanode的启动。然后，配置并启动yarn-site.xml和mapred-site.xml，启动resourcemanager和nodemanager。最后，通过jsp命令检查java进程确保Hadoop运行正常。
摘要由CSDN通过智能技术生成

一、配置集群环境

（1）修改第一个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下，设置hadoop-env.sh文件

命令：Vi hadoop-env.sh

命令模式下输入/搜索JAVA_HOME

修改：export JAVA_HOME=/opt/module/jdk1.8.0_212

（2）修改第二个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下，设置core-site.xml文件

命令：vi core-site.xml

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
最低0.47元/天 解锁文章
zxascsx
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Hadoop分布式高可用HA集群搭建笔记（含Hive之构建），java类加载过程面试题
m0_63174618的博客
11-04 200
[]( )1.2.4 修改主机名 修改三台机器的/etc/hosts文件 加入如下内容。为了等下能在物理主机上访问HDFS web管理工具。还需要在本地进行该映射。不过在Windows下，要修改的是C:\Windows\System32\drivers\etc\hosts 这个文件一般来讲是不能直接编辑的，需要修改权限。 右键属性->安全->编辑 添加 把登录用户名写进去 添加写入权限 []( )1.2.5 脚本准备 这是一个批处理脚本，转载自网友“子墨良言” 通过它可以方便地在一整
Hadoop伪分布式安装教程
cai_4的博客
05-29 1210
hivesever2的模拟用户功能，依赖于Hadoop提供的proxy user（代理用户功能），只有Hadoop中的代理用户才能模拟其他用户的身份访问Hadoop集群。因此，需要将hiveserver2的启动用户设置为Hadoop的代理用户，配置方式如下：修改配置文件。首先，在根目录下创建文件夹 Downloads 用来存放传输上来的文件，在 opt 目录下创建 module 文件用来存放使用解压出来的大数据软件，选择一个安全的，并确保记住它，因为后面需要用到这个密码。要测试它，请检查其状态。
Hadoop之伪分布式配置安装
weixin_44144773的博客
01-30 3737
Hadoop支持本地模式、伪分布式模式、完全分布式模式3种安装模式。本地模式，在系统中下载Hadoop,默认情况下，它会被配置为一个独立的模式， 用于运行Java程序;伪分布式模式，这是在单台机器上的分布式模拟，这种模式对开发非常有用:完全分布式模式，又叫集群安装，Hadoop 安装在最少两台计算机的集群中。 安装VMware并安装CentOS： CentOS下载https://www.centos.org/download/系统安装完成后需要进行如下配置 一、配置CentOS 1....
hadoop学习笔记（四、伪分布式部署）
Snake_LHY的博客
12-14 970
一、hadoop本地部署 （1）需要包含内容的文件（统计单词个数的文件）。 在/opt目录下创建test目录。 在/opt/test目录下分别创建input目录和output目录。 在/opt/test 目录下创建包含内容的文件。 （2）在hadoop中执行。 在/opt/module/hadoop-3.1.3/share/hadoop/mapreduce目录中执行文件。 命令： hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordc..
Hadoop单机伪分布式安装
03-20
Hadoop单机伪分布式安装 Hadoop 是一个开源的大数据处理框架，由 Apache 软件基金会开发和维护。Hadoop 的核心组件包括 HDFS（Hadoop Distributed File System）、MapReduce 和 YARN（Yet Another Resource ...
hadoop2.7.3伪分布式模式搭建 手把手教学.pdf
01-12
hadoop2.7.3伪分布式模式搭建，一个pdf文档，思路步骤清晰，按着步骤能得出结果，手把手教学。
Hadoop的伪分布式安装
02-26
PieTTY是在PuTTY基础上开发的，改进了Putty的用户界面，提供了多语种支持。Putty作为远程连接linux的工具，支持SSH和telnet。但是，我们使用的时候经常出现乱码。PieTTY可以很好地解决这个问题。...
hadoop的伪分布式模式配置与安装伪分布式模式
11-26
【标题】: "Hadoop伪分布式模式的配置与安装指南" 【内容】: Hadoop是一个开源的分布式计算框架，主要用于处理和存储大量数据。在学习和测试Hadoop时，我们通常会采用伪分布式模式，它在单个节点上模拟整个Hadoop...
大数据技术——Hadoop运行环境搭建
weixin_63106307的博客
08-08 1111
注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。使用linux上面的工具yum下载epel软件库中的软件的时候，默认访问的是国外的地址，所有最好修改为国内的仓库地址，下载速度会显著提升。④将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件。（2）查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8。
微服务实现-sleuth+zipkin分布式链路追踪和nacos配置中心
qq_59099003的博客
08-08 779
sleuth+zipkin实现分布式链路追踪、nacos配置中心
[log4cplus]: 快速搭建分布式日志系统
Mr.Sugarcane
08-14 580
快速搭建基于log4cplus的成熟分布式日志系统，支持日志过滤、分类，支持轮替和自定义日志格式
多云网络部署存在挑战，F5分布式云应用简化方案解读
hanniuniu13的博客
08-14 451
为了解决上述多云网络部署带来的挑战，F5以不增加复杂性，也不会失去颗粒化控制和关键可见性的方式，构建出一套不受云平台限制，且能够满足传统和现代应用需求的平台式服务，即F5分布式云服务。某电信运营商通过使用F5多云网络解决方案，提供统一的API集成更高更稳定的应用层的支持，白牌控制台的网络服务，跨分布式云环境的安全交付，最终实现服务从核心网络扩展到专有网络，能够轻松应对多云、数据中心和边缘的产品，统一管理应用和网络。对于高度敏捷企业中的开发团队而言，传统网络的沉重运维成本和低效率将会成为发展的障碍？
分布式版本控制概述
m0_74012211的博客
08-12 340
分布式版本控制概述
【独家首发】基于蜣螂优化算法DBO-GMDH的风电数据回归预测研究Matlab实现.rar
最新发布
08-14
【独家首发】基于蜣螂优化算法DBO-GMDH的风电数据回归预测研究Matlab实现.rar
深度探索：神经网络在图像识别中的革命性应用
08-14
神经网络是一种受人脑结构启发的数学模型，它由大量的节点（或称为“神经元”）相互连接构成。这些节点通常组织成层，包括输入层、隐藏层和输出层。每个神经元可以接收来自前一层的输入，通过某种激活函数处理这些输入，然后将结果传递给下一层的神经元。 神经网络能够通过学习大量的数据来识别模式和特征，这使得它们在图像识别、语音识别、自然语言处理等领域有着广泛的应用。它们也可以用于预测、分类和回归等任务。 训练神经网络通常涉及到一个称为“反向传播”的过程，通过这个过程，网络可以调整其内部参数（权重和偏置），以便更好地完成特定的任务。这个过程通常需要大量的计算资源，并且伴随着梯度下降或其他优化算法来最小化损失函数，从而提高模型的性能。 随着深度学习技术的发展，神经网络变得更加复杂和强大，出现了各种类型的网络结构，比如卷积神经网络（CNNs）用于图像处理，循环神经网络（RNNs）用于序列数据，以及长短期记忆网络（LSTMs）等。
基础会计教学课件第十一章财务会计报告.pptx
08-14
基础会计教学课件第十一章财务会计报告.pptx
基于Android网络聊天软件APP设计与实现.docx
08-14
基于Android网络聊天软件APP设计与实现.docx
基于Android音乐播放器设计与实现2.docx
08-14
基于Android音乐播放器设计与实现2.docx
CentOS6.4上Hadoop2.7.2伪分布式部署全攻略
"这篇教程详细介绍了如何在CentOS6.4 64位系统环境下，进行Hadoop2.7.2的伪分布部署。主要内容包括系统环境准备、创建Hadoop用户、配置SSH免密码登录以及Hadoop的详细配置步骤。教程适用于Hadoop2.x.y系列的版本，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zxascsx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值