hadoop
文章平均质量分 81
hadoop学习
慕铭yikm
凡事过往皆为序章,所有将来皆为可盼
展开
-
HA高可用+hive+hbase+sqoop+kafka+flume+spark安装部署
资料链接:https://pan.baidu.com/s/162xqYRVSJMy_cKVlWT4wjQ提取码:yikm原创 2021-11-08 21:19:24 · 1972 阅读 · 1 评论 -
hadoop动态增删节点
hadoop动态增删节点前提条件已经在虚拟机配置好三个hadoop集群,本次集群是根据以下博客配置,大家可以参考一下2021年全国行业职业技能竞赛暨第四届全国大学生大数据技能竞赛——职教学生组线上选拔赛资料链接链接:https://pan.baidu.com/s/1Q2Z-roUoGSMkXNf1I4dThA提取码:yikm主一从二增添节点新建虚拟机并配置好初始化环境时区同步和ntp同步:操作环境:slave3tzselec..原创 2021-11-08 12:05:20 · 2138 阅读 · 2 评论 -
2021年全国行业职业技能竞赛暨第四届全国大学生大数据技能竞赛——职教学生组线上选拔赛
2021年全国行业职业技能竞赛暨第四届全国大学生大数据技能竞赛——职教学生组线上选拔赛资料题目一、基础配置1.比赛框架本次比赛为分布式集群搭建,共三台节点,其中master作为主节点,slave1、slave2为从节点;2.比赛内容基础配置:修改主机名、主机映射、时区修改、时间同步、定时任务、免密访问; JDK安装:环境变量; Zookeeper部署:环境变量、配置文件zoo.cfg、myid; Hadoop部署:环境变量、配置文件修改、设置节点文件、格式化、开启集群; Hi原创 2021-11-07 19:46:32 · 10433 阅读 · 0 评论 -
一键启动zookeeper、hadoop、hbase、hive、spark集群(shell脚本)
前言继一键启动zookeeper、hadoop、hbase集群(shell脚本)增添hive,spark组件一键启动文件名: start-cluster.shvim start-cluster.sh插入以下内容:#! /bin/bash echo -e "\033[31m ————————————————hadoop生态圈启动中————————————————\033[0m"sleep 1echo -e "\033[34m ————————————————启动zook.原创 2021-11-03 15:09:53 · 747 阅读 · 0 评论 -
HA高可用搭建
目录HA高可用搭建资料链接前提HA基础配置创建存储文件夹hadoop-env.shcore-site.xmlhdfs-site.xmlyarn-env.shyarn-site.xmlmapred-site.xml节点文件设置启动查看启动yarn测试成功!关闭进程基本原理1、namenode高可用2、resourcemanager高可用HA高可用搭建资料链接链接:https://pan.baidu.com/..原创 2021-11-01 16:31:04 · 661 阅读 · 0 评论 -
spark安装
目录spark安装前言资料链接安装scala创建scala工作目录配置环境变量(三台机器)查看是否安装成功分发到节点验证安装spark创建spark工作目录编辑spark-env.sh配置spark从节点配置环境变量(三台机器)分发到节点测试运行环境(只在master节点执行)访问spark web界面开启spark-shell输入pyspark测试python环境spark交互模式spark安装Ap...原创 2021-10-18 12:13:11 · 1519 阅读 · 0 评论 -
HBASE安装
HBASE安装前言在“红亚杯”-大数据环境搭建与数据采集技能线上专题赛中没有hbase安装这一环节,在此单独发文记录一下hbase安装过程资料链接链接:https://pan.baidu.com/s/1ytGL3cLGQxGltl5bHrSBQQ提取码:yikm...原创 2021-10-18 10:48:23 · 323 阅读 · 0 评论 -
构建数据仓库赛题解析
目录构建数据仓库赛题解析安装数据库(5 / 5分)Hive基础环境配置(8 / 8分)配置HIVE元数据至MySQL(9 / 9分)配置HIVE客户端(3 / 3分)启动Hive(5 / 5分)构建数据仓库赛题解析安装数据库(5 / 5分)前提说明相关安装包已经存放至环境/usr/package/中 对应ntp和mysql已安装,可直接对其进行操作和配置1.环境中已经安装mysql-community-server,注意mysql5.7默认安装后为root用户随机原创 2021-10-18 10:06:01 · 2373 阅读 · 0 评论 -
集群安装搭建赛题解析
目录集群安装搭建赛题解析基础环境配置(20 / 20分)Zookeeper集群环境搭建(20 / 20分)Hadoop完全分布式集群搭建(30 / 30分)集群安装搭建赛题解析基础环境配置(20 / 20分)前提说明相关安装包已经存放至环境/usr/package/中 对应ntp和mysql已安装,可直接对其进行操作和配置1.修改主机名,便于识别节点;2.工具包已保存在环境中;3.修改hosts文件,添加集群节点映射,按照给出的节点IP和对应的主机名进行设置;.原创 2021-10-18 00:01:11 · 6502 阅读 · 0 评论 -
“红亚杯”-大数据环境搭建与数据采集技能线上专题赛赛题
集群安装搭建(70 / 70分)1.比赛框架本次比赛为分布式集群搭建,共三台节点,其中master作为主节点,slave1、salve2为从节点;2.比赛内容基础配置:修改主机名、主机映射、时区修改、时间同步、定时任务、免密访问; JDK安装:环境变量; Zookeeper部署:环境变量、配置文件zoo.cfg、myid; Hadoop部署:环境变量、配置文件修改、设置节点文件、格式化、开启集群; Hive部署:Mysql数据库配置、服务器端配置、客户端配置。3.版本说明内置安.原创 2021-10-18 00:08:44 · 2855 阅读 · 6 评论 -
一键启动zookeeper、hadoop、hbase集群(shell脚本)
1.启动集群文件名: start-cluster.sh#! /bin/bashecho "------正在启动集群------"echo "------正在启动Zookeeper------"/usr/zk/zookeeper-3.4.6/bin/zkServer.sh startssh root@slave1 "source /etc/profile;/usr/zk/zookeeper-3.4.6/bin/zkServer.sh start"ssh root@slave2原创 2021-10-08 17:30:23 · 1319 阅读 · 1 评论