Hadoop
文章平均质量分 94
Stitch .
Ohana means family,family means nobody gets left behind,or forgotten...
展开
-
Hadoop 3.1.3 分布式集群搭建(全面超详细的过程)——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项
Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台,用户可借助Hadoop存有基础环境的配置(虚拟机安装、Linux安装等),在之前Hadoop集群搭建,配置和测试学习的时候,碰到过很多次,因为安装集群遇到过各种稀奇古怪的问题,导致小北的兴趣大大降低。并且小北自身也有很多问题,在之前的学习过程中。所以这一次写一篇完整的安装教程,分享给友友们如何搭建~原创 2024-09-04 23:55:03 · 2209 阅读 · 0 评论 -
安装Hadoop:Hadoop的单机模式、伪分布式模式——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项
Hadoop单机模式:只在一台机器上运行,存储是采用本地文件系统,没有采用分布式文件系统HDFS;伪分布式模式:存储采用分布式文件系统HDFS,但是,HDFS的名称节点和数据节点都在同一台机器上;分布式模式:存储采用分布式文件系统HDFS,而且,HDFS的名称节点和数据节点位于不同机器上。这篇笔记适合于原生 Hadoop3.1.3,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。原创 2023-12-31 21:32:28 · 923 阅读 · 0 评论 -
Hadoop安装笔记2单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理
紧接着上一篇博客:Hadoop安装笔记1:Hadoop安装笔记1单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理-CSDN博客Shell 命令上面使用了解压缩命令tar,如果对Linux命令不熟悉,可以参考。Shell 命令可以看到,在/usr/lib/jvm目录下有个jdk1.8.0_162目录。Shell 命令上面命令使用vim编辑器(保存.bashrc文件并退出vim编辑器。Shell 命令。原创 2023-12-28 18:56:02 · 1793 阅读 · 0 评论 -
Hadoop安装笔记1单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理
这篇笔记适合于原生 Hadoop3.1.3,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。此外,小北希望友友们能多去了解一些 Linux 的知识,以后出现问题时才能自行解决。原创 2023-12-27 09:21:38 · 1653 阅读 · 0 评论 -
全国职业院校技能大赛“大数据应用开发”赛项说明
(1)赛项名称 全 国 职 业 院 校 技 能 大 赛 “大数据应用开发” 赛 项大赛组织机构介绍全国职业院校技能大赛(以下简称大赛)是教育部发起并牵头,联合国务院其他有关部门以及有关行业组织、人民团体、学术团体和地方共同举办的一项公益性、全国性职业院校师生综合技能竞赛活动。大赛设立组织委员会(简称大赛组委会),是大赛的最高领导决策机构,由联办单位有关负责人组成。大赛组委会设秘书处,负责大赛组委会日常事务;秘书处设在教育部职业教育与成人教育司。原创 2023-12-16 21:55:06 · 7265 阅读 · 8 评论