![](https://img-blog.csdnimg.cn/38457cec566a45ff9d5a8a0cb9bc6b34.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 97
大数据实验作业
zyw2002
Github: https://github.com/zyw-stu
Talent hits a target no one else can hit; Genius hits a target no one else can see;
展开
-
⼤数据采集和可视化系统实现
前言本篇博客用来记录 2022年春季大数据课程结课大作业(大三下,前8周,小组作业)非常感谢小组同学的付出和积极配合!文章目录1. 实验目的2. 实验环境3. 实验要求4. 实验内容4.1 准备工作4.2 数据的采集和发送4.2.1 流程介绍4.2.2 实验过程4.2.3 源码解析4.3 数据的消费和处理4.3.1 流程介绍4.3.2 实验过程4.3.3 源码解析4.3.4 程序集成4.4 数据的存储4.4.1 Hbase存储4.4.2 Hive存储4.4.3 Hdfs存储4.4.4 Mysql存.原创 2022-05-06 09:59:03 · 2675 阅读 · 3 评论 -
Spark + HBase 数据处理和存储实验
文章目录实验三: Spark + HBase 数据处理和存储实验1. 实验目的2. 实验环境3. 实验内容3.1 Spark3.1.0 Spark简介3.1.1 功能实现3.1.1.1 创建RDD3.1.1.2 持久化操作3.1.1.3 数据读取与保存3.1.2 WordCount实验3.1.3 累加器和广播变量3.1.3.1 累加器3.1.3.2 广播变量3.2 HBase3.2.1 创建表格3.2.2 插入数据3.2.3 成绩统计3.2.4 API编程3.2.4.1 功能一3.2.4.2 功能二原创 2022-05-06 09:23:40 · 3374 阅读 · 3 评论 -
HDFS+ MapReduce 数据处理与存储实验
文章目录实验二 :HDFS+ MapReduce 数据处理与存储实验1. 实验目的2. 实验环境3. 实验内容3.1 HDFS部分3.1.1 上传文件3.1.2 下载文件3.1.3 显示文件信息3.1.4 显示目录信息3.1.5 删除文件3.1.6 移动文件3.2 MapReduce 部分3.2.0 Mapreduce 原理3.2.1 合并和去重3.2.1.1 编写Merge.java代码3.2.1.2 编译执行3.2.2 文件的排序3.2.2.1 编写Sort.java 代码3.2.2.2 编译执行原创 2022-04-27 21:19:00 · 5167 阅读 · 3 评论 -
大数据平台安装实验: ZooKeeper、Kafka、Hadoop、Hbase、Hive、Scala、Spark、Storm
文章目录实验1:Hadoop大数据平台安装实验1. 实验目的2. 实验环境3. 实验过程3.1 虚拟机的搭建3.1.1 安装虚拟机3.1.2 基本linux命令3.2 准备工作3.2.1 关闭Selinux3.2.2 安装软件3.3.3 检查网卡是否开机自启3.3.4 修改hosts3.3.5 检查网络是否正常3.3.6 新建hadoop用户3.3.7生成ssh密钥并分发3.3.8 安装NTP服务3.3 安装MySQL3.3.1 安装3.3.2 测试3.4 安装JDK3.4.1 安装3.4.2 测试3.5原创 2022-03-26 08:29:42 · 2866 阅读 · 4 评论 -
Ubuntu 20.04 搭建hadoop 集群
文章目录1. 虚拟机的安装1.1 下载VMware Workstation1.2 下载ubantu20.041.3 安装一台虚拟机1.4 安装Vmware Tools2. 网络配置2.1 添加权限2.2 DHCP动态分配IP地址2.3 配置静态IP地址2.4 主机名和IP地址映射3. 安装必要工具3.1 安装SSH3.2 安装JDK3.3 安装Mysql3.4 安装ZooKeeper3.6 安装Hadoop4. 配置相关文件4.1 修改hadoop 的配置文件4.1.1 core-site.xml4.1.原创 2022-03-14 19:21:40 · 13929 阅读 · 19 评论