企业级数据仓库-数仓实战

最新推荐文章于 2024-05-11 02:54:06 发布
最新推荐文章于 2024-05-11 02:54:06 发布
阅读量559 收藏 1
点赞数
分类专栏： 数据仓库 文章标签： 数据仓库 数据库 hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuimeng_by/article/details/132924010
版权

数仓实战

安装包大小

在这里插入图片描述

安装清单

在这里插入图片描述

环境搭建

在这里插入图片描述

一、环境搭建01（机器准备）

准备好三台虚拟机，并进行修改hostname、在hosts文件增加ip地址和主机名映射 。

1、设置每个虚拟机的hostname
vi /etc/sysconfig/network 
修改HOSTNAME=node02

修改hostname
hostnamectl set-hostname node02
2、设置每个虚拟机的ip地址和主机名映射

cat >>/etc/hosts<<EOF
192.168.77.130   node01
EOF

cat >>/etc/hosts<<EOF
192.168.77.131   node02
EOF

cat >>/etc/hosts<<EOF
192.168.77.132   node03
EOF

检查结果 
ping `cat /etc/hostname`

在这里插入图片描述

二、环境搭建02（脚本准备）
在node01上操作：
mkdir -p /home/hadoop
unzip  automaticDeploy.zip -d /home/hadoop/

cd /home/hadoop/automaticDeploy/
vi host_ip.txt
vi frames.txt
上传frame.zip
unzip frames.zip  -d /home/hadoop/automaticDeploy/

chmod +x /home/hadoop/automaticDeploy/hadoop/*  /home/hadoop/automaticDeploy/systems/*

ssh root@192.168.77.131 "mkdir -p /home/hadoop"
ssh root@192.168.77.132 "mkdir -p /home/hadoop"

scp -r /home/hadoop/automaticDeploy/ root@192.168.77.131:/home/hadoop/
scp -r /home/hadoop/automaticDeploy/ root@192.168.77.132:/home/hadoop/
三、环境搭建03（集群安装）
在三台节点中执行
cd /home/hadoop/automaticDeploy/systems/
./batchOperate.sh 

安装Hadoop集群
在三台节点中执行
/home/hadoop/automaticDeploy/hadoop/installHadoop.sh 
source /etc/profile

安装下载失败的两个包
scp -r /home/software/*.rpm root@192.168.77.131:/home/software/
scp -r /home/software/*.rpm root@192.168.77.132:/home/software/
rpm -ivh *.rpm

三台都执行
ssh-copy-id node01
ssh-copy-id node02
ssh-copy-id node03

在node01上操作：初始化节点
hadoop namenode -format
#启动hadoop
start-all.sh

检查node01、node02、node03的jps（具体jps见下面截图）
在node01上操作：
curl http://node01:50070
curl http://192.168.77.130:50070/

在node02上执行
/home/hadoop/automaticDeploy/hadoop/installMysql.sh
测试MySQL
mysql -uroot -p
DBa2020*
show databases;

在node03执行
/home/hadoop/automaticDeploy/hadoop/installHive.sh 

/home/hadoop/automaticDeploy/hadoop/installSqoop.sh 
source /etc/profile

在三台节点中执行
/home/hadoop/automaticDeploy/hadoop/installPresto.sh 

在node03执行
/home/hadoop/automaticDeploy/hadoop/installYanagishima.sh 
 
所有节点都执行:
source /etc/profile

Hadoop log位置： /opt/app/hadoop-2.7.7/logs/

在这里插入图片描述

四、项目流程&数据生成
Node02上执行：
export MYSQL_PWD=DBa2020*
mysql -uroot -e "create database mall;"

mkdir -p /opt/app/scripts
cd /opt/app/scripts/

上传\数据生成脚本\*.sql到 /opt/app/scripts
mysql -uroot mall <1建表脚本.sql 
mysql -uroot mall <2商品分类数据插入脚本.sql 
mysql -uroot mall <3函数脚本.sql 
mysql -uroot mall <4存储过程脚本.sql 

检查MySQL以上脚本执行结果：
mysql

use mall;
#存储过程
CALL init_data('2023-06-28',300,200,300,FALSE);
select count(1) from user_info;
show tables;

在这里插入图片描述

在这里插入图片描述

五、ETL数据导入
node03上操作：
mkdir -p  /home/warehouse/shell
#文件路径：E:\1.后端培训\部署脚本\WarehouseScript
vi /home/warehouse/shell/sqoop_import.sh
cd /home/warehouse/shell
chmod +x sqoop_import.sh
#如果导入数据有问题，可以执行start-all.sh重启下hadoop集群重试
./sqoop_import.sh  all 2023-06-28

在这里插入图片描述

删除HDFS中文件夹
hadoop fs -rm -r -skipTrash /origin_data/mall

六、ODS层创建&数据接入
node03上操作：
hive --service hiveserver2  &
hive --service metastore &
在Hive中创建表
mkdir -p  /home/warehouse/sql
cd /home/warehouse/sql
vi ods_ddl.sql
hive -f  /home/warehouse/sql/ods_ddl.sql
Hive如果有问题：jps找runjar kill -9 进程
执行成功后从hive查看结果：
hive
show databases;
use mall;
show tables;
cd /home/warehouse/shell
chmod +x ods_db.sh 
./ods_db.sh  2023-06-28

执行成功后到Hive查看结果：
hive
use mall;
select count(1) from ods_user_info;
结果为200条记录

在这里插入图片描述
在这里插入图片描述

七、DWD层创建&数据接入
在Hive中创建表
vi /home/warehouse/sql/dwd_ddl.sql

hive -f  /home/warehouse/sql/dwd_ddl.sql 

将数据导入到Hive
cd /home/warehouse/shell
chmod +x dwd_db.sh
./dwd_db.sh  2023-06-28

执行成功后到Hive查看结果：
hive
use mall;
select * from dwd_sku_info where dt='2023-06-28' limit 2;

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

八、DWS层创建&数据接入
在Hive中创建表(node03操作)
vi /home/warehouse/sql/dws_ddl.sql 
hive -f  /home/warehouse/sql/dws_ddl.sql 
cd /home/warehouse/shell
chmod +x dws_db.sh
./dws_db.sh  2023-06-28
执行成功后到Hive查看结果
hive
use mall;
select * from dws_user_action where dt='2023-06-28' limit 2;
执行结果:
1       1       189     1       189     2023-06-28
100     1       85      1       85      2023-06-28

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

九、ADS层复购率统计
在Hive中创建表(node03操作)
vi /home/warehouse/sql/ads_sale_ddl.sql
hive -f  /home/warehouse/sql/ads_sale_ddl.sql

cd /home/warehouse/shell
chmod +x ads_sale.sh
./ads_sale.sh  2023-06-28
执行成功后到Hive查看结果
hive
use mall;
select * from ads_sale_tm_category1_stat_mn limit 2;
执行结果：
NULL    NULL    NULL    152     140     0.92    100     0.78    2023-06 2023-06-28

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

十、ADS层数据导出
node02上执行操作：
mkdir -p /home/warehouse/sql
cd /home/warehouse/sql

export MYSQL_PWD=DBa2020*
mysql -uroot mall </home/warehouse/sql/mysql_sale_ddl.sql

node03上执行操作：
cd /home/warehouse/shell
chmod +x sqoop_export.sh
./sqoop_export.sh  all

到mysql查看执行结果（node02上执行操作）：
export MYSQL_PWD=DBa2020*
mysql
use mall;
select * from ads_sale_tm_category1_stat_mn;

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

十一、Azkaban自动化调度
在三台节点中执行
/home/hadoop/automaticDeploy/hadoop/installAzkaban.sh
source /etc/profile

node02上执行操作：
mysql
use mall;
CALL init_data('2023-09-09',300,300,300,FALSE);
select count(1) from user_info WHERE create_time >= '2023-09-09' AND create_time < '2023-09-10';

在三台节点中执行
azkaban-executor-start.sh  &

Node03上执行
azkaban-web-start.sh  &
使用Node03的IP地址
在浏览器地址栏输入：https://192.168.77.132:8443
用户名、密码都是：admin

Flow Property Override
dt  2023-09-09
useExecutor  node03

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

重起集群
需要先启动三台的hadoop

#1、启动hadoop
start-all.sh
#2、启动hive
node03上操作：
hive --service hiveserver2  &
hive --service metastore &
#3、启动azkaban
在三台节点中执行
azkaban-executor-start.sh  &
Node03上执行
azkaban-web-start.sh  &
beyond_champion
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据Hive数仓开发精讲到企业级实战应用
04-10
│ │ 02--数据仓库基础理论--场景互动：数仓为何而来.avi │ │ 04--数据仓库基础理论--OLTP、OLAP系统.avi │ │ 05--数据仓库基础理论--数据仓库、数据库区别.avi │ │ 06--数据仓库基础理论--数据仓库...
本地数据仓库项目(一) —— 本地数仓搭建详细流程
不以物喜的博客
01-02 3314
搭建离线数仓，并实现数据采集到简单数据分析过程
一文教你如何搭建数据仓库
派可数据的博客
08-13 3083
数仓全景图镇楼 建设过程 数仓建模的过程分为业务建模、领域建模、逻辑建模和物理建模，但是这 些步骤比较抽象。为了便于落地，我根据自己的经验，总结出上面的七个步骤：梳理业务流程、垂直切分、指标体系梳理、实体关系调研、维度梳理、数仓分层以及物理模型建立。每个步骤不说理论，直接放工具、模板和案例。 业务流程 找到公司核心业务流程，找到谁，在什么环节，做什么关键动作，得到什么结果。 梳理每个业务节点的客户及关注重点，找到数据在哪。 分域/主题 决定数仓的建设..
【数仓环境搭建】超详细大数据常用框架集群搭建合集 附带详细安装过程_搭建大数据处理框架 教程
最新发布
2401_84183033的博客
05-11 137
【代码】【数仓环境搭建】超详细大数据常用框架集群搭建合集 附带详细安装过程_搭建大数据处理框架 教程。
数仓建设教程
爱是与世界平行
11-25 5136
需要针对不同需求的用户开发不同的产品，所以公司内部有很多条业务线，但是对于数据部门来说，所有业务线的数据都是数据源。对数据的划分不只是根据业务进行，而是结合数据的属性。一张图总结下数据仓库的构建整体流程：数据中台本文以电商业务为例，展示实时数仓的数据处理流程。另外，本文旨在说明实时数仓的构建流程，所以不会涉及复杂的数据计算。为了保证案例的可操作性和完整性，本文会给出详细的操作步骤。为了方便演示，本文的所有操作都是在Flink SQL Cli中完成。要想真正解决数据质量问题，就要。
【数仓环境搭建】超详细大数据常用框架集群搭建合集 | 附带详细安装过程
大数据小禅的博客
05-30 2796
很多小伙伴在学习大数据的时候应该都遇到过集群环境搭建的问题，需要考虑到各个框架之间的兼容性，搭建起来也比较麻烦。本篇文章汇总了大数据开发中的常用组件集群搭建过程，附带了详细的搭建过程截图，提供了对应版本的安装包确保环境兼容。 主要包括Hadoop，HDFS，YARN，Spark，Hive，MySQL，HBase.
尚硅谷离线数仓6.0实战学习笔记第一篇：环境搭建
PRC0412的博客
01-09 1331
这篇学习笔记依托于尚硅谷课程资源，详细记录了尚硅谷离线数仓6.0从搭建、采集到数仓的整套流程，并且按照自己的理解调整了某些章节的顺序，尤其在数仓建模部分增添了个人认为极其必要的注解，以期行文更具有逻辑连贯性。大数据组件之间配合紧密，在搭建的过程中踩坑之处一一列出，希望能对大家起到帮助。本文涉及全套资料请猛戳↓↓↓尚硅谷电商离线数仓6.0教程B站直达：https://www.bilibili.com/video/BV1UN411j79o。
全新大数据企业电商数据仓库项目实战教程
06-14
一、课程简介数据仓库（Data Warehouse，可简写为DW或DWH），是面向分析的集成化数据环境，为企业决策制定过程，提供系统数据支持的战略集合，是国内外各大公司正在重点投入的战略级技术领域。 二、课程内容...
2021年企业级大数据项目之数据仓库（专业完整版）.pdf
10-19
数据仓库（Data Warehouse）是指一个专门设计用来存储和管理企业级数据的系统，旨在支持商业智能应用，如数据分析、报表生成和数据 mining 等。数据仓库通常来自于各种来源，如数据库、文件、应用程序等，经过数据...
大数据企业级项目实战--Titan大型数据运营系统项目课程
06-20
本课程项目涵盖数据采集与预处理、数据仓库体系建设、用户画像系统建设、数据治理（元数据管理、数据质量管理）、任务调度系统、数据服务层建设、OLAP即席分析系统建设等大量模块，力求原汁原味重现一个完备的企业级...
数仓02-从0到1设计和搭建
DCHAO的博客
02-02 4352
数仓的知识
数仓建设步骤
少年阿宏
10-09 972
– 数仓建设步骤 – 1、系统分析，确立主题 – 操作频率 – 存储时长 – 查询方式 – 响应时长 – 2、技术选型 – 对整个系统的认知 – 根据流程选择合适的工具 – 整体的方案性的设计 – 3、逻辑模型 ER图 – 4、物理模型 – 派生字段、时间主键、汇总数据 – 5、模型优化 – 合并不同的表 – 增加汇总表、宽表 dws – 通过冗余字段减少表的连接数量 join的表不超过5张 – 主键：Id – 对数据表进行分区、分桶 – 抽样、join – 6、ETL过
搭建数据仓库的基本步骤
Jmayday
10-21 6004
一、主要步骤 1、确定主题 确定数据分析的主题.eg:分析某年某月某地区的各种啤酒销售情况. 主题要体现出某一方面的各个分析维度和统计量度之间的关系.2、确定度量 度量是分析的技术指标,一般为数值型数据.eg:某地区某派出某粒度所发生的警情积分值3、确定分析粒度 采用”最小粒度原则”来满足度量的不同聚合程度.eg:将时间粒度精确到秒可以满足小时,天,周….等不同粒度的度量值4、...
数据仓库搭建流程
热门推荐
Smileaway_的博客
07-05 1万+
基于Oracle数据库的传统数仓 一、数仓的概念 （一）业务系统—>ODS层 （二）ODS—>DW层 （三）DW—>DM层 二、涉及知识点 （一）ODS层搭建 1. Kettle 2. Datastage （二）DW层搭建 （三）DM层搭建 （四）核心SQL—>Oracle 1. oracle基本语法 三、 ...
大数据数仓之Hive入门《一》
Forever_ck的博客
11-29 590
一 、Hive 基本概念 1.1 什么是 Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。它是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质就是：将HQL 转化成 MapReduce 程序 1）Hive 处理的数据存储在 HDFS 2）Hive 分析数据底层的实现是 MapReduce 3）执行程序运...
数仓构建步骤
沧海一粟的博客
03-23 8072
数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。 数据仓库系统的原始需求不明确，且不断变化与增加，开发者最初不能确切了解到用户的明确而详细的需求，用户所能提供的无非是需求的大的方向以及部分需求， 更不能较准确地预见到以后的需求。因此，采用原型法来进行数据仓库的开发是比较合适的，因为原型法的思想是从...
数仓建设保姆级教程，离线和实时一网打尽(理论+实战) （转载）
qq_37312857的博客
03-07 1648
一、数仓基本概念 1.数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。 这里参考此定义，把数据仓库架构理解成构成数据仓库的组件及其之间的关系，画出下面的数仓架构图： 数仓架构 上图中显示的整个数据仓库环境包括操作型系统和数据仓库系统两大部...
数据仓库搭建全过程解析--通俗易懂
pengjunlee的博客
03-02 4518
经过多年来企业信息化建设，大部分企业都拥有了自己的财务，OA，CRM 等软件。这些系统都有自己的独立数据库，记录着企业运行情况某个方面的数据。但是单独看这些系统的报表，并不一定能对企业运行情况有全面客观的了解。就像只凭身高不能判断一个人是否健康，所以体检的时候我们需要化验许多指标，做各种检测，就是为了对身体情况有更全面的了解，作出更准确的判断。 同样对一个企业，不能仅根据出勤率就判断一个人...
"五分钟学大数据-数仓建设保姆级教程：架构、概念与区别
数据仓库是一个专门用来存储和管理各种数据的系统，它是企业对海量数据进行整合和分析的重要工具。数据仓库的架构包括物理架构、逻辑架构和集成架构，其中物理架构是数据仓库的基本组成，逻辑架构是数据仓库的数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值