数据仓库的概念介绍

最新推荐文章于 2024-04-24 19:52:40 发布
最新推荐文章于 2024-04-24 19:52:40 发布
阅读量893 收藏 2
点赞数
分类专栏： 离线数仓 文章标签： 数据仓库 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zmzdmx/article/details/109058410
版权

文章目录

1. 数仓概念

1.1 为什么学习数据仓库

  • 数据不兼容, 很难被整合
  • 战略决策需要数据的分析
  • 推荐系统

1.2 什么是数据仓库

数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合。

image-20201013183609915

1.2.1 面向主题

  • 主题（Subject）是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念
  • 每一个主题基本对应一个宏观的分析领域
  • 在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象

例如“销售分析”就是一个分析领域，因此这个数据仓库应用的主题就是“销售分析”

一个面向事务处理的“商场”数据库系统，其数据模式如下：

  • 采购子系统：
    订单（订单号，供应商号，总金额，日期）
    订单细则（订单号，商品号，类别，单价，数量）
    供应商（供应商号，供应商名，地址，电话）

  • 销售子系统：
    顾客（顾客号，姓名，性别，年龄，文化程度，地址，电话）
    销售（员工号，顾客号，商品号，数量，单价，日期）

  • 库存管理子系统：
    领料单（领料单号，领料人，商品号，数量，日期）
    进料单（进料单号，订单号，进料人，收料人，日期）
    库存（商品号，库房号，库存量，日期）
    库房（库房号，仓库管理员，地点，库存商品描述）

  • 人事管理子系统：
    员工（员工号，姓名，性别，年龄，文化程度，部门号）
    部门（部门号，部门名称，部门主管，电话）

1.2.2 集成

  • 集成性是指数据仓库中数据必须是一致的
    • 数据仓库的数据是从原有的分散的多个数据库、数据文件和数据段中抽取来的
    • 数据来源可能既有内部数据又有外部数据
      • 例如F/M，0/1，A/B
  • 集成方法
    • 统一：消除不一致的现象
    • 综合：对原有数据进行综合和计算

1.2.3 非易失

  • 数据仓库中的数据是经过抽取而形成的分析型数据
    • 不具有原始性
    • 主要供企业决策分析之用
    • 执行的主要是‘查询’操作，一般情况下不执行‘更新’操作
    • 一个稳定的数据环境也有利于数据分析操作和决策的制订

1.2.4 随时间变化

  • 数据仓库以维的形式对数据进行组织，时间维是数据仓库中很重要的一个维度
    • 不断增加新的数据内容
    • 不断删去旧的数据内容
    • 更新与时间有关的综合数据

1.3 数据仓库和数据库的区别

  • 数据库是为捕获和存储数据而设计
  • 数据仓库是为分析数据而设计
** **数据库数据仓库
本质数据的集合数据的集合
定位事务处理OLTP数据分析OLAP
面向群体前端用户管理人员
操作增删改查查询
数据粒度事件记录维度
表结构3NF星型、雪花

1.4 OLTP和OLAP的区别

  • 联机事务处理OLTP
    On-Line Transaction Processing
    OLTP是传统的关系型数据库的主要应用
对比属性OLTPOLAP
读特性每次查询只返回少量记录对大量记录进行汇总
写特性随机、低延时写入用户的输入批量导入
使用场景用户，Java EE项目内部分析师，为决策提供支持
数据表征最新数据状态随时间变化的历史状态
数据规模GBTB到PB

2. 数据仓库的架构

2.1 Inmon架构

image-20201013185328183

2.2 Kimball架构

image-20201013185352100

2.3 混合型架构

image-20201013185411143

3. 数据仓库的解决方案

  • 数据采集
    Flume，Sqoop，Logstash，Datax
  • 数据存储
    MySQL，HDFS，HBase，Redis，MongoDB
  • 数据计算
    Hive，Tez，Spark，Flink，Storm，Impala
  • 数据可视化
    Tableau，Echarts，Superset，QuickBI，DataV
  • 任务调度
    Oozie，Azkaban，Crontab

4. 数据ETL

  • 抽取（Extract）
    从操作型数据源获取数据
  • 转换（Transform）
    转换数据，使之转变为适用于查询和分析的形式和结构
  • 装载（Load）
    将转换后的数据导入到最终的目标数据仓库

ETL工具

  • Oracle
    OWB和ODI
  • 微软
    SQL Server Integration Services
  • SAP
    Data Integrator
  • IBM
    InfoSphere DataStage、Informatica
  • Pentaho
    Kettle

5. 数据仓库的建模

5.1 选择业务流程

  • 确认哪些业务处理流程是数据仓库应该覆盖的
    例如：了解和分析一个零售店的销售情况
  • 记录方式
    使用纯文本
    使用业务流程建模标注（BPMN）方法
    使用同一建模语言（UML）

5.2 声明粒度

  • 用于确定事实中表示的是什么
    例如：一个零售店的顾客在购物小票上的一个购买条目
  • 选择维度和事实前必须声明粒度
  • 建议从原始粒度数据开始设计
    • 原始记录能够满足无法预期的用户查询
  • 不同的事实可以有不同的粒度

5.3 确认维度

  • 说明了事实表的数据是从哪里采集来的
  • 典型的维度都是名词
    例如：日期、商店、库存等
  • 维度表存储了某一维度的所有相关数据
    例如：日期维度应该包括年、季度、月、周、日等数据

5.4 确认事实

  • 识别数字化的度量，构成事实表的记录
  • 和系统的业务用户密切相关
  • 大部分事实表的度量都是数字类型的
    可累加，可计算
    例如：成本、数量、金额

5.5 星型模型

5.5.1星型模型特点

  • 由事实表和维度表组成
  • 一个星型模式中可以有一个或多个事实表，每个事实表引用任意数量的维度表
  • 星型模式将业务流程分为事实和维度
    • 事实包含业务的度量，是定量的数据
      如销售价格、销售数量、距离、速度、重量等是事实
    • 维度是对事实数据属性的描述
      如日期、产品、客户、地理位置等是维度

image-20201013190410648

5.5.2 优点

  • 简化查询
  • 简化业务报表逻辑
  • 获得查询性能
  • 快速聚合
  • 便于向立方体提供数据

5.5.3 缺点

  • 不能保证数据完整性
  • 对于分析需求来说不够灵活

5.6 雪花模型

5.6.1 雪花模型特点

  • 一种多维模型中表的逻辑布局
  • 由事实表和维度表所组成
  • 将星型模式中的维度表进行规范化处理
  • ​ 把低基数的属性从维度表中移除并形成单独的表
  • 一个维度被规范化成多个关联的表

image-20201013190714473

5.6.2 优点

  • 一些OLAP多维数据库建模工具专为雪花模型进行了优化
  • 规范化的维度属性节省存储空间

5.6.3 缺点

  • 维度属性规范化增加了查询的连接操作和复杂度
  • 不确保数据完整性

6. 数仓分层

6.1 数仓分层

image-20201013201106693

ODS层：原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。

DWD层：对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、维度退化、脱敏等

DWS：以DWD为基础，按天进行轻度汇总。

DWT：以DWS为基础，按主题进行汇总。

ADS层：为各种统计报表提供数据

6.2 数据仓库为什么要分层

1）把复杂问题简单化。将复杂的任务分解成多层来完成，每一层只处理简单的任务，方便定位问题。

2）减少重复开发。规范数据分层，通过的中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。

3）隔离原始数据。不论是数据的异常还是数据的敏感性，使真实数据与统计数据解耦开。

子清.
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据仓库基础（通俗易懂，好文）数仓概念
Remix_xy的博客
07-10 4万+
作为程序员要必须知道的数仓知识，建议看看，通俗易懂，简单明了。 什么是维度表，事实表，数仓模型？
＜Zhuuu_ZZ＞数据仓库
Zhuuu_ZZ的博客
10-08 475
数据仓库一 Why二 What三 面向主题提取主题四 集成五 非易失六 随时间变化七 项目-基于物联网的物流数仓系统 一 Why 数据不兼容, 很难被整合 战略决策需要数据的分析 推荐系统 二 What 数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合 三 面向主题 主题（Subject）是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念 每一个主题基本对应一个宏观的分析领域 在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象 例如“销售分析”
新手小白如何正确区分数据仓库和数据库！！！
最新发布
m0_73677262的博客
04-24 1976
在当今数据驱动的商业环境中，数据仓库和数据库的区别对于企业实现有效的数据管理至关重要。本文旨在探讨这两种技术的核心区别以及它们如何支持不同类型的数据操作。通过详细分析OLTP（在线事务处理）和OLAP（在线分析处理）的特点，本文将解释为何数据仓库和数据库在功能和设计上有着根本的不同。我们还将深入了解数据仓库的分层架构和数据处理流程，包括ETL和ELT的实际应用。无论您是数据科学领域的新手还是有经验的专业人士，本文都将提供有价值的见解，帮助您更好地理解这些关键技术如何在不同场景下发挥作用。
用户画像 各维度表的结构图
あずにゃん梓喵的博客
03-12 9784
个人论坛：日萌社 用户画像 总文章 ======================================== 数据仓库分层： BDM 层（源数据层）：缓冲数据，源数据的直接映射 FDM 层（对 BDM 源数据层的数据进行清洗和预处理）：基础数据层，数据拉链处理、分区处理 GDM 层（对 FDM 层数据 进行统计一些指...
面经-数仓-头条
u014035403的博客
03-14 207
1.sql4种以上去重 2.sql行转列，不用explode 3sql抽样不用sample，按照type字段，每个type抽样5% 4.python，有序数组，平方去重后的长度[-1,0,1,2]，不用set 5.字典排序，按照value排序 {a:16,z:2,c:4}—>{a:16,c:4,z:2} 6.[[1,2],[2.3],[3,4.5]]—>[1,2,3,4,5] 时间空间复杂度 7.多线程 ...
sklearn 之 数据预处理与特征工程
weixin_50730517的博客
03-07 1195
模块总览 模块preprocessing：几乎包含数据预处理的所有内容 模块Impute：填补缺失值专用 模块feature_selection：包含特征选择的各种方法的实践 模块decomposition：包含降维算法 数据预处理 数据的无量纲化 preprocessing preprocessing.MinMaxScaler （数据归一化：Normalization，又称Min-Max Scaling） x∗=x−min(x)max(x)−min(x) x^*=\frac{x-min(x)}{max
Python -- Sklearn：MinMaxScaler（将数据预处理为(0,1)上的数）
math_gao的博客
11-16 1万+
方法一：自定义处理 # 将数据scale为(0,1)间数据 scaled_df = (df - df.min()) / (df.max()-df.min()) # 将(0,1)间数据scale回原来的范围 scaled_df * (df.max() - df.min()) + df.min() 方法二：MinMaxscaler from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler(feature_range=(0,
数据仓库概念介绍
06-28
适合初学者了解数据仓库
数据仓库介绍PPT文档
02-25
数据仓库的概念由Bill Inmon提出，它强调数据的不可更新性，主要用于查询和分析，而不是事务处理。与传统的数据库相比，数据仓库是面向主题的，去除无关细节，允许一定程度的冗余，以优化查询性能和数据分析。 数据...
数据仓库基本概念-思维导图
03-31
数据仓库是专为支持企业或组织决策分析而构建的大规模数据存储和管理系统。它集中存储了来自不同数据源的数据，经过清洗...数据仓库的建设需要经过需求分析、概念设计、逻辑设计和物理设计等多个阶段，以确保其能够满足
数据仓库的概念
02-14
数据仓库的概念
python 实现ETL处理 架构
09-28
python 实现ETL 处理 架构 1.可以处理数据装载的过程 2.实现SQL执行的函数封装 3.实现数据加工的模板
1-数据仓库介绍.pptx
06-30
数据仓库的概念始于20世纪80年代末，由比尔·恩门（Bill Inmon）首次提出并广泛推广。其核心目标是为企业提供一个集中化、一致性的信息平台，以便于高层管理人员进行战略决策。 数据仓库的特点主要包括以下几个方面...
三、Scikit-learn机器学习框架
热门推荐
小石小石摩西摩西
07-22 3万+
三、Scikit-learn机器学习框架 3.1 Scikit-learn介绍 Scikit-learn介绍 对Python语言有所了解的科研人员可能都知道SciPy——一个开源的基于Python的科学计算工具包。 基于SciPy，目前开发者们针对不同的应用领域已经发展出了为数众多的分支版本，它们被统一称为Scikits，即SciPy工具包的意思。 而在这些分支版本中，最有名，也是专门面向机器学习的一个就是Scikit-learn。 Scikit-learn项目最早由数据科学家 David Cournape
利用Sklearn框架实现简单线性回归，用于预测房价
薛定谔的猫
03-19 2118
它提供了丰富的机器学习算法和工具，可以帮助开发人员快速实现机器学习任务，例如分类、回归、聚类和降维等。同时，scikit-learn还提供了模型选择和评估、数据预处理和特征工程等功能，可以使机器学习的开发更加高效和方便。需要注意的是，与其他机器学习框架相比，scikit-learn也存在一些限制和缺点，例如对大规模数据集的处理能力较弱，缺乏深度学习算法的支持等。scikit-learn提供了大量的机器学习算法，包括监督学习、无监督学习和强化学习等多种类型，涵盖了各种不同的机器学习任务。
数据分析入门之使用scikit-learn构建模型
阿优乐扬的博客
01-24 3562
1、使用sklearn转换器处理数据 2、构建并评价聚类模型 3、构建并评价分类模型 4、构建并评价回归模型 将数据集划分为训练集和测试集，使用sklearn转换器进行数据预处理与降维，使用sklearn估计器构建聚类模型，cluster提供的聚类算法及其适用范围，sklearn库常用回归算法函数
ETL学习笔记之一：ETL是什么？
石头记
01-14 3万+
    对于数据仓库以及ETL的知识，我基本上是个门外汉。一切都得从头开始，记个笔记，方便自已了解学习进度。        首先，我们来了解最基本的定义：    嗯，也有人将ETL简单称为数据抽取。至少在未学习之前，领导告诉我的是，你需要做一个数据抽取的工具。    其实呢，抽取是ETL中的关键环节，顾名思义，也就将数据从不同的数据源中抓取(复制)出来。    太简单了！    上面的解释无首无尾
大数据ETL实践探索（5）---- 大数据ETL利器之 pandas
shiter编写程序的艺术
02-03 2555
文章大纲文件加载一些参数的解释索引的那些坑杂项jupyter notebook 显示所有行和列 文件加载 path = r'./data/ren_pd.csv' df_pifu = pd.read_csv(path,low_memory=False,dtype={'MBR_NO':np.str}) 一些参数的解释 索引的那些坑 杂项 jupyter notebook 显示所有行和列 pd.s...
ETL_tools工具总结
Binbinhb的博客
06-09 1866
1、cache文件可以控制增量导入的时间段，如果该时间段无数据则无文件到处（exporter) 2、process-n.conf，n代表多线程处理数据导入 PS：对应的log对应n的数字 3、下一步执行前，脚本才会进行备份 4、apache版本的sqoop可以和华为自研的大数据平台配合使用 5、数据泵导oracle表到oracle表可以很方便。 ...
数据仓库基础与概念解析
这份精选的PPT详细介绍了数据仓库的基础知识，包括其定义、特征、系统结构以及与之相关的技术如ETL、元数据、维数据仓库和OLAP工具。 首先，数据仓库被定义为一个集中的、非易失性的存储系统，旨在支持决策制定，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值