慕铭yikm-CSDN博客

原创统信UOS扩展屏幕只显示鼠标无画面解决方案

2022-05-24 18:31:38 2648 1

原创 2022全国职业技能大赛大数据技术与应用赛项赛题环境准备

前言根据2022全国职业技能大赛大数据技术与应用赛项赛题进行整理，如果有错误指出请提出改正，谢谢！资料赛程文件链接：https://pan.baidu.com/s/1TAygWqDkYOW9TDn-3HnHzA提取码：yikmubantu镜像链接：https://pan.baidu.com/s/14A2gsG857p8PO3NpiOcEnQ提取码：yikm平台搭建组件包链接：https://pan.baidu.com/s/1vNBF0JTKo2g5IpweyyM9...

2022-04-06 17:36:09 21164 14

原创全国职业院校技能大赛2022年大数据技术与应用平台搭建

根据全国职业院校技能大赛2022年大数据技术与应用规程整理大数据平台搭建部分，如果有错误指出请提出改正，谢谢

2022-03-24 16:58:06 14024 21

原创 Hive第二代客户端远程连接

目录hive第二代客户端两种模式解读启动相关配置文件：前提：启动hadoop集群初始化元数据库启动metastore启动hiveserver2远程连接hive第二代客户端hive经过发展，推出了第二代客户端beeline，但是beeline客户端不是直接访问metastore服务的，而是需要单独启动hiveserver2服务。两种模式解读启动二代在一代远程模式上修改，前面基础配置参考博文构建数据仓库赛题解析进行配置...

2021-11-09 11:22:53 3350

原创 HA高可用+hive+hbase+sqoop+kafka+flume+spark安装部署

资料链接：https://pan.baidu.com/s/162xqYRVSJMy_cKVlWT4wjQ提取码：yikm

2021-11-08 21:19:24 1964 1

原创 hadoop动态增删节点

hadoop动态增删节点前提条件已经在虚拟机配置好三个hadoop集群，本次集群是根据以下博客配置，大家可以参考一下2021年全国行业职业技能竞赛暨第四届全国大学生大数据技能竞赛——职教学生组线上选拔赛资料链接链接：https://pan.baidu.com/s/1Q2Z-roUoGSMkXNf1I4dThA提取码：yikm主一从二增添节点新建虚拟机并配置好初始化环境时区同步和ntp同步：操作环境：slave3tzselec..

2021-11-08 12:05:20 2109 2

原创 2021年全国行业职业技能竞赛暨第四届全国大学生大数据技能竞赛——职教学生组线上选拔赛

2021年全国行业职业技能竞赛暨第四届全国大学生大数据技能竞赛——职教学生组线上选拔赛资料题目一、基础配置1.比赛框架本次比赛为分布式集群搭建，共三台节点，其中master作为主节点，slave1、slave2为从节点；2.比赛内容基础配置：修改主机名、主机映射、时区修改、时间同步、定时任务、免密访问； JDK安装：环境变量； Zookeeper部署：环境变量、配置文件zoo.cfg、myid； Hadoop部署：环境变量、配置文件修改、设置节点文件、格式化、开启集群； Hi

2021-11-07 19:46:32 10405

原创一键启动zookeeper、hadoop、hbase、hive、spark集群（shell脚本）

前言继一键启动zookeeper、hadoop、hbase集群（shell脚本）增添hive，spark组件一键启动文件名： start-cluster.shvim start-cluster.sh插入以下内容：#! /bin/bash echo -e "\033[31m ————————————————hadoop生态圈启动中————————————————\033[0m"sleep 1echo -e "\033[34m ————————————————启动zook.

2021-11-03 15:09:53 743

原创 HA高可用搭建

目录HA高可用搭建资料链接前提HA基础配置创建存储文件夹hadoop-env.shcore-site.xmlhdfs-site.xmlyarn-env.shyarn-site.xmlmapred-site.xml节点文件设置启动查看启动yarn测试成功！关闭进程基本原理1、namenode高可用2、resourcemanager高可用HA高可用搭建资料链接链接：https://pan.baidu.com/..

2021-11-01 16:31:04 660

原创 spark安装

目录spark安装前言资料链接安装scala创建scala工作目录配置环境变量（三台机器）查看是否安装成功分发到节点验证安装spark创建spark工作目录编辑spark-env.sh配置spark从节点配置环境变量（三台机器）分发到节点测试运行环境（只在master节点执行）访问spark web界面开启spark-shell输入pyspark测试python环境spark交互模式spark安装Ap...

2021-10-18 12:13:11 1517

原创 HBASE安装

HBASE安装前言在“红亚杯”-大数据环境搭建与数据采集技能线上专题赛中没有hbase安装这一环节，在此单独发文记录一下hbase安装过程资料链接链接：https://pan.baidu.com/s/1ytGL3cLGQxGltl5bHrSBQQ提取码：yikm...

2021-10-18 10:48:23 322

原创构建数据仓库赛题解析

目录构建数据仓库赛题解析安装数据库（5 / 5分）Hive基础环境配置（8 / 8分）配置HIVE元数据至MySQL（9 / 9分）配置HIVE客户端（3 / 3分）启动Hive（5 / 5分）构建数据仓库赛题解析安装数据库（5 / 5分）前提说明相关安装包已经存放至环境/usr/package/中对应ntp和mysql已安装，可直接对其进行操作和配置1.环境中已经安装mysql-community-server，注意mysql5.7默认安装后为root用户随机

2021-10-18 10:06:01 2365

原创 “红亚杯”-大数据环境搭建与数据采集技能线上专题赛赛题

集群安装搭建（70 / 70分）1.比赛框架本次比赛为分布式集群搭建，共三台节点，其中master作为主节点，slave1、salve2为从节点；2.比赛内容基础配置：修改主机名、主机映射、时区修改、时间同步、定时任务、免密访问； JDK安装：环境变量； Zookeeper部署：环境变量、配置文件zoo.cfg、myid； Hadoop部署：环境变量、配置文件修改、设置节点文件、格式化、开启集群； Hive部署：Mysql数据库配置、服务器端配置、客户端配置。3.版本说明内置安.

2021-10-18 00:08:44 2842 6

原创集群安装搭建赛题解析

目录集群安装搭建赛题解析基础环境配置（20 / 20分）Zookeeper集群环境搭建（20 / 20分）Hadoop完全分布式集群搭建（30 / 30分）集群安装搭建赛题解析基础环境配置（20 / 20分）前提说明相关安装包已经存放至环境/usr/package/中对应ntp和mysql已安装，可直接对其进行操作和配置1.修改主机名，便于识别节点；2.工具包已保存在环境中；3.修改hosts文件，添加集群节点映射，按照给出的节点IP和对应的主机名进行设置；.

2021-10-18 00:01:11 6390

原创一键启动zookeeper、hadoop、hbase集群（shell脚本）

1.启动集群文件名： start-cluster.sh#! /bin/bashecho "------正在启动集群------"echo "------正在启动Zookeeper------"/usr/zk/zookeeper-3.4.6/bin/zkServer.sh startssh root@slave1 "source /etc/profile;/usr/zk/zookeeper-3.4.6/bin/zkServer.sh start"ssh root@slave2

2021-10-08 17:30:23 1313 1

慕铭yikm