- 博客(15)
- 收藏
- 关注
原创 统信UOS扩展屏幕只显示鼠标无画面解决方案
1、切换root用户sudo su2、查看显卡lspci -k |grep -EA3 "3D|VGA|Display"3、查看建议安装的驱动程序nvidia-detect4、安装推荐的驱动程序apt install nvidia-driver5、获取设备BusID ,如下例子 01:00.00 填写PCI:1:0:0lspci | egrep 'VGA|3D'6、编辑 /etc/X11/xorg.confvim /etc/X11/xorg.co..
2022-05-24 18:31:38
2792
1
原创 2022全国职业技能大赛大数据技术与应用赛项赛题环境准备
前言根据2022全国职业技能大赛大数据技术与应用赛项赛题进行整理,如果有错误指出请提出改正,谢谢!资料赛程文件链接:https://pan.baidu.com/s/1TAygWqDkYOW9TDn-3HnHzA提取码:yikmubantu镜像链接:https://pan.baidu.com/s/14A2gsG857p8PO3NpiOcEnQ提取码:yikm平台搭建组件包链接:https://pan.baidu.com/s/1vNBF0JTKo2g5IpweyyM9...
2022-04-06 17:36:09
21373
14
原创 全国职业院校技能大赛2022年大数据技术与应用平台搭建
根据全国职业院校技能大赛2022年大数据技术与应用规程整理大数据平台搭建部分,如果有错误指出请提出改正,谢谢
2022-03-24 16:58:06
14172
21
原创 Hive第二代客户端远程连接
目录hive第二代客户端两种模式解读启动相关配置文件:前提:启动hadoop集群初始化元数据库启动metastore启动hiveserver2远程连接hive第二代客户端hive经过发展,推出了第二代客户端beeline,但是beeline客户端不是直接访问metastore服务的,而是需要单独启动hiveserver2服务。两种模式解读启动二代在一代远程模式上修改,前面基础配置参考博文构建数据仓库赛题解析进行配置...
2021-11-09 11:22:53
3379
原创 HA高可用+hive+hbase+sqoop+kafka+flume+spark安装部署
资料链接:https://pan.baidu.com/s/162xqYRVSJMy_cKVlWT4wjQ提取码:yikm
2021-11-08 21:19:24
2014
1
原创 hadoop动态增删节点
hadoop动态增删节点前提条件已经在虚拟机配置好三个hadoop集群,本次集群是根据以下博客配置,大家可以参考一下2021年全国行业职业技能竞赛暨第四届全国大学生大数据技能竞赛——职教学生组线上选拔赛资料链接链接:https://pan.baidu.com/s/1Q2Z-roUoGSMkXNf1I4dThA提取码:yikm主一从二增添节点新建虚拟机并配置好初始化环境时区同步和ntp同步:操作环境:slave3tzselec..
2021-11-08 12:05:20
2153
2
原创 2021年全国行业职业技能竞赛暨第四届全国大学生大数据技能竞赛——职教学生组线上选拔赛
2021年全国行业职业技能竞赛暨第四届全国大学生大数据技能竞赛——职教学生组线上选拔赛资料题目一、基础配置1.比赛框架本次比赛为分布式集群搭建,共三台节点,其中master作为主节点,slave1、slave2为从节点;2.比赛内容基础配置:修改主机名、主机映射、时区修改、时间同步、定时任务、免密访问; JDK安装:环境变量; Zookeeper部署:环境变量、配置文件zoo.cfg、myid; Hadoop部署:环境变量、配置文件修改、设置节点文件、格式化、开启集群; Hi
2021-11-07 19:46:32
10606
原创 一键启动zookeeper、hadoop、hbase、hive、spark集群(shell脚本)
前言继一键启动zookeeper、hadoop、hbase集群(shell脚本)增添hive,spark组件一键启动文件名: start-cluster.shvim start-cluster.sh插入以下内容:#! /bin/bash echo -e "\033[31m ————————————————hadoop生态圈启动中————————————————\033[0m"sleep 1echo -e "\033[34m ————————————————启动zook.
2021-11-03 15:09:53
763
原创 HA高可用搭建
目录HA高可用搭建资料链接前提HA基础配置创建存储文件夹hadoop-env.shcore-site.xmlhdfs-site.xmlyarn-env.shyarn-site.xmlmapred-site.xml节点文件设置启动查看启动yarn测试成功!关闭进程基本原理1、namenode高可用2、resourcemanager高可用HA高可用搭建资料链接链接:https://pan.baidu.com/..
2021-11-01 16:31:04
674
原创 spark安装
目录spark安装前言资料链接安装scala创建scala工作目录配置环境变量(三台机器)查看是否安装成功分发到节点验证安装spark创建spark工作目录编辑spark-env.sh配置spark从节点配置环境变量(三台机器)分发到节点测试运行环境(只在master节点执行)访问spark web界面开启spark-shell输入pyspark测试python环境spark交互模式spark安装Ap...
2021-10-18 12:13:11
1541
原创 HBASE安装
HBASE安装前言在“红亚杯”-大数据环境搭建与数据采集技能线上专题赛中没有hbase安装这一环节,在此单独发文记录一下hbase安装过程资料链接链接:https://pan.baidu.com/s/1ytGL3cLGQxGltl5bHrSBQQ提取码:yikm...
2021-10-18 10:48:23
334
原创 构建数据仓库赛题解析
目录构建数据仓库赛题解析安装数据库(5 / 5分)Hive基础环境配置(8 / 8分)配置HIVE元数据至MySQL(9 / 9分)配置HIVE客户端(3 / 3分)启动Hive(5 / 5分)构建数据仓库赛题解析安装数据库(5 / 5分)前提说明相关安装包已经存放至环境/usr/package/中 对应ntp和mysql已安装,可直接对其进行操作和配置1.环境中已经安装mysql-community-server,注意mysql5.7默认安装后为root用户随机
2021-10-18 10:06:01
2397
原创 “红亚杯”-大数据环境搭建与数据采集技能线上专题赛赛题
集群安装搭建(70 / 70分)1.比赛框架本次比赛为分布式集群搭建,共三台节点,其中master作为主节点,slave1、salve2为从节点;2.比赛内容基础配置:修改主机名、主机映射、时区修改、时间同步、定时任务、免密访问; JDK安装:环境变量; Zookeeper部署:环境变量、配置文件zoo.cfg、myid; Hadoop部署:环境变量、配置文件修改、设置节点文件、格式化、开启集群; Hive部署:Mysql数据库配置、服务器端配置、客户端配置。3.版本说明内置安.
2021-10-18 00:08:44
2899
6
原创 集群安装搭建赛题解析
目录集群安装搭建赛题解析基础环境配置(20 / 20分)Zookeeper集群环境搭建(20 / 20分)Hadoop完全分布式集群搭建(30 / 30分)集群安装搭建赛题解析基础环境配置(20 / 20分)前提说明相关安装包已经存放至环境/usr/package/中 对应ntp和mysql已安装,可直接对其进行操作和配置1.修改主机名,便于识别节点;2.工具包已保存在环境中;3.修改hosts文件,添加集群节点映射,按照给出的节点IP和对应的主机名进行设置;.
2021-10-18 00:01:11
6537
原创 一键启动zookeeper、hadoop、hbase集群(shell脚本)
1.启动集群文件名: start-cluster.sh#! /bin/bashecho "------正在启动集群------"echo "------正在启动Zookeeper------"/usr/zk/zookeeper-3.4.6/bin/zkServer.sh startssh root@slave1 "source /etc/profile;/usr/zk/zookeeper-3.4.6/bin/zkServer.sh start"ssh root@slave2
2021-10-08 17:30:23
1340
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人