“红亚杯”-大数据环境搭建与数据采集技能线上专题赛
文章平均质量分 94
“红亚杯”-大数据环境搭建与数据采集技能线上专题赛
慕铭yikm
凡事过往皆为序章,所有将来皆为可盼
展开
-
“红亚杯”-大数据环境搭建与数据采集技能线上专题赛赛题
集群安装搭建(70 / 70分)1.比赛框架本次比赛为分布式集群搭建,共三台节点,其中master作为主节点,slave1、salve2为从节点;2.比赛内容基础配置:修改主机名、主机映射、时区修改、时间同步、定时任务、免密访问; JDK安装:环境变量; Zookeeper部署:环境变量、配置文件zoo.cfg、myid; Hadoop部署:环境变量、配置文件修改、设置节点文件、格式化、开启集群; Hive部署:Mysql数据库配置、服务器端配置、客户端配置。3.版本说明内置安.原创 2021-10-18 00:08:44 · 2855 阅读 · 6 评论 -
构建数据仓库赛题解析
目录构建数据仓库赛题解析安装数据库(5 / 5分)Hive基础环境配置(8 / 8分)配置HIVE元数据至MySQL(9 / 9分)配置HIVE客户端(3 / 3分)启动Hive(5 / 5分)构建数据仓库赛题解析安装数据库(5 / 5分)前提说明相关安装包已经存放至环境/usr/package/中 对应ntp和mysql已安装,可直接对其进行操作和配置1.环境中已经安装mysql-community-server,注意mysql5.7默认安装后为root用户随机原创 2021-10-18 10:06:01 · 2373 阅读 · 0 评论 -
集群安装搭建赛题解析
目录集群安装搭建赛题解析基础环境配置(20 / 20分)Zookeeper集群环境搭建(20 / 20分)Hadoop完全分布式集群搭建(30 / 30分)集群安装搭建赛题解析基础环境配置(20 / 20分)前提说明相关安装包已经存放至环境/usr/package/中 对应ntp和mysql已安装,可直接对其进行操作和配置1.修改主机名,便于识别节点;2.工具包已保存在环境中;3.修改hosts文件,添加集群节点映射,按照给出的节点IP和对应的主机名进行设置;.原创 2021-10-18 00:01:11 · 6502 阅读 · 0 评论