![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
全国职业院校技能大赛“大数据应用开发”赛项
文章平均质量分 92
Stitch .
Ohana means family,family means nobody gets left behind,or forgotten...
展开
-
Hadoop 3.1.3 分布式集群搭建(全面超详细的过程)——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项
Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台,用户可借助Hadoop存有基础环境的配置(虚拟机安装、Linux安装等),在之前Hadoop集群搭建,配置和测试学习的时候,碰到过很多次,因为安装集群遇到过各种稀奇古怪的问题,导致小北的兴趣大大降低。并且小北自身也有很多问题,在之前的学习过程中。所以这一次写一篇完整的安装教程,分享给友友们如何搭建~原创 2024-09-04 23:55:03 · 1524 阅读 · 0 评论 -
安装Hadoop:Hadoop的单机模式、伪分布式模式——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项
Hadoop单机模式:只在一台机器上运行,存储是采用本地文件系统,没有采用分布式文件系统HDFS;伪分布式模式:存储采用分布式文件系统HDFS,但是,HDFS的名称节点和数据节点都在同一台机器上;分布式模式:存储采用分布式文件系统HDFS,而且,HDFS的名称节点和数据节点位于不同机器上。这篇笔记适合于原生 Hadoop3.1.3,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。原创 2023-12-31 21:32:28 · 819 阅读 · 0 评论 -
VitulBox中Ubuntu虚拟机安装JAVA环境——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项
在进行之后操作是请下载好JDK,之后的内容是以Ubuntu虚拟机中安装java环境续写。提示:以下操作是在虚拟机hadoop用户下操作的,并为安装java环境作准备以上就是今天要讲的内容,本文仅仅简单介绍了更新APT,安装SSH和安装JAVA环境,但是做好这些可以更好为后hadoop伪分布式做准备。原创 2023-12-31 19:11:46 · 1187 阅读 · 0 评论 -
Oracle VirtualBox中Linux系统基本使用方法——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项
小北的这篇博客介绍的是关于用VirtualBox中下载好的ubuntu系统中,为搭建Hadoop平台所做的命令操作准备,希望能帮助不会的人有指引作用。没有安装好VirtualBox中的ubuntu系统的请参考小北之前的两篇博客:ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理_failed to open image 'd:\programdata\master\ubuntu-CSDN博客。原创 2023-12-29 12:32:49 · 1053 阅读 · 0 评论 -
Hadoop安装笔记2单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理
紧接着上一篇博客:Hadoop安装笔记1:Hadoop安装笔记1单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理-CSDN博客Shell 命令上面使用了解压缩命令tar,如果对Linux命令不熟悉,可以参考。Shell 命令可以看到,在/usr/lib/jvm目录下有个jdk1.8.0_162目录。Shell 命令上面命令使用vim编辑器(保存.bashrc文件并退出vim编辑器。Shell 命令。原创 2023-12-28 18:56:02 · 1743 阅读 · 0 评论 -
Hadoop安装笔记1单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理
这篇笔记适合于原生 Hadoop3.1.3,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。此外,小北希望友友们能多去了解一些 Linux 的知识,以后出现问题时才能自行解决。原创 2023-12-27 09:21:38 · 1584 阅读 · 0 评论 -
在Windows中使用VirtualBox安装Ubuntu虚拟机Oracle VM VirtualBox——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项
如下图,点击virtualbox的菜单“设备”选项,选择“安装增强功能”,系统便会自动安装好增强的功能,如果需要提示需要确认,输入return即可。(1)在安装VirtualBox虚拟机时,可能会弹出一些窗口询问是否要安装某些软件,一定要点击同意安装,否则,虚拟机不能正常运行。(3)如果直接在文件夹中删除了虚拟机,导致虚拟机无法运行,建议下载“Everything”,彻底清理注册表后,再次安装。(2)卸载虚拟机时,切不可直接在文件夹里删除,应该点击安装包,通过安装程序的“卸载”功能完成卸载。原创 2023-12-26 16:24:29 · 1400 阅读 · 0 评论 -
Hive安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理
JDBC驱动: mysql-connector-java-5.1.37.jar。集成开发工具:IDEA 2022 社区版。18.04 64 位。1)Hive官网地址。原创 2023-12-26 14:45:56 · 1136 阅读 · 0 评论 -
Oracle VM VirtualBox初次安装及登入,异常退出及修改用——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理
具有丰富的特色和卓越的性能,它简单易用,支持多种虚拟化技术,包括VT-x和EPT。支持加密和安全访问控制,可以保护虚拟机中的数据安全。它还支持快照和恢复功能,可以保存和恢复虚拟机的状态,方便用户进行系统和软件更新。在以上页面往下滚动,找到ro recovery nomodeset”的位置(有些版本内容可能不太一样,但位置都是一致的)输入passwd 【空格】“用户名”(我的是:osboxes),即可重置密码,安装完了,本着怕折腾的态度,虚拟机了居然忘了密码,仍然在硬扛,不想重新安装😂。原创 2023-12-18 21:45:59 · 4696 阅读 · 8 评论 -
ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理
进入VirtuakBox官网,网址链接:Oracle VM VirtualBoxhttps://www.virtualbox.org/ 网页连接:Ubuntu Virtual Machine Images for VirtualBox and VMwarehttps://www.osboxes.org/ubuntu/软件名称版本ubuntu18.04 64 位Hadoop:hadoop-3.1.3.tar.gz3.1.3Jdk:jdk-8u212-linux-x64.tar.gz1.8Spark:sp原创 2023-12-18 20:06:21 · 1709 阅读 · 2 评论 -
MySQL安装——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理
备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理原创 2023-12-17 17:16:32 · 1593 阅读 · 2 评论 -
全国职业院校技能大赛“大数据应用开发”赛项说明
(1)赛项名称 全 国 职 业 院 校 技 能 大 赛 “大数据应用开发” 赛 项大赛组织机构介绍全国职业院校技能大赛(以下简称大赛)是教育部发起并牵头,联合国务院其他有关部门以及有关行业组织、人民团体、学术团体和地方共同举办的一项公益性、全国性职业院校师生综合技能竞赛活动。大赛设立组织委员会(简称大赛组委会),是大赛的最高领导决策机构,由联办单位有关负责人组成。大赛组委会设秘书处,负责大赛组委会日常事务;秘书处设在教育部职业教育与成人教育司。原创 2023-12-16 21:55:06 · 5075 阅读 · 2 评论