spark
文章平均质量分 75
spark学习
慕铭yikm
凡事过往皆为序章,所有将来皆为可盼
展开
-
2021年全国行业职业技能竞赛暨第四届全国大学生大数据技能竞赛——职教学生组线上选拔赛
2021年全国行业职业技能竞赛暨第四届全国大学生大数据技能竞赛——职教学生组线上选拔赛资料题目一、基础配置1.比赛框架本次比赛为分布式集群搭建,共三台节点,其中master作为主节点,slave1、slave2为从节点;2.比赛内容基础配置:修改主机名、主机映射、时区修改、时间同步、定时任务、免密访问; JDK安装:环境变量; Zookeeper部署:环境变量、配置文件zoo.cfg、myid; Hadoop部署:环境变量、配置文件修改、设置节点文件、格式化、开启集群; Hi原创 2021-11-07 19:46:32 · 10433 阅读 · 0 评论 -
一键启动zookeeper、hadoop、hbase、hive、spark集群(shell脚本)
前言继一键启动zookeeper、hadoop、hbase集群(shell脚本)增添hive,spark组件一键启动文件名: start-cluster.shvim start-cluster.sh插入以下内容:#! /bin/bash echo -e "\033[31m ————————————————hadoop生态圈启动中————————————————\033[0m"sleep 1echo -e "\033[34m ————————————————启动zook.原创 2021-11-03 15:09:53 · 747 阅读 · 0 评论 -
spark安装
目录spark安装前言资料链接安装scala创建scala工作目录配置环境变量(三台机器)查看是否安装成功分发到节点验证安装spark创建spark工作目录编辑spark-env.sh配置spark从节点配置环境变量(三台机器)分发到节点测试运行环境(只在master节点执行)访问spark web界面开启spark-shell输入pyspark测试python环境spark交互模式spark安装Ap...原创 2021-10-18 12:13:11 · 1519 阅读 · 0 评论