＜Zhuuu_ZZ＞数据仓库

最新推荐文章于 2024-05-10 00:24:33 发布
最新推荐文章于 2024-05-10 00:24:33 发布
阅读量834 收藏
点赞数
文章标签： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuuu_zz/article/details/108965808
版权

数据仓库

一 Why

  • 数据不兼容, 很难被整合
  • 战略决策需要数据的分析
  • 推荐系统

二 What

  • 数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合
    在这里插入图片描述

面向主题

  • 主题（Subject）是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念
  • 每一个主题基本对应一个宏观的分析领域
  • 在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象
    • 例如“销售分析”就是一个分析领域，因此这个数据仓库应用的主题就是“销售分析”

提取主题

  • 一个面向事务处理的“商场”数据库系统，其数据模式如下
    • 采购子系统：
      • 订单（订单号，供应商号，总金额，日期）
      • 订单细则（订单号，商品号，类别，单价，数量）
      • 供应商（供应商号，供应商名，地址，电话）
    • 销售子系统：
      • 顾客（顾客号，姓名，性别，年龄，文化程度，地址，电话）
      • 销售（员工号，顾客号，商品号，数量，单价，日期）
    • 库存管理子系统：
      • 领料单（领料单号，领料人，商品号，数量，日期）
      • 进料单（进料单号，订单号，进料人，收料人，日期）
      • 库存（商品号，库房号，库存量，日期）
      • 库房（库房号，仓库管理员，地点，库存商品描述）
    • 人事管理子系统：
      • 员工（员工号，姓名，性别，年龄，文化程度，部门号）
      • 部门（部门号，部门名称，部门主管，电话）

集成

  • 集成性是指数据仓库中数据必须是一致的
    • 数据仓库的数据是从原有的分散的多个数据库、数据文件和数据段中抽取来的
    • 数据来源可能既有内部数据又有外部数据
      • 例如F/M，0/1，A/B
  • 集成方法
    • 统一：消除不一致的现象
    • 综合：对原有数据进行综合和计算

非易失

  • 数据仓库中的数据是经过抽取而形成的分析型数据
    • 不具有原始性
    • 主要供企业决策分析之用
    • 执行的主要是‘查询’操作，一般情况下不执行‘更新’操作
    • 一个稳定的数据环境也有利于数据分析操作和决策的制订

随时间变化

  • 数据仓库以维的形式对数据进行组织，时间维是数据仓库中很重要的一个维度
    • 不断增加新的数据内容
    • 不断删去旧的数据内容
    • 更新与时间有关的综合数据

三 数据仓库和数据库的区别

  • 数据库是为捕获和存储数据而设计
  • 数据仓库是为分析数据而设计
    在这里插入图片描述

四 OLTP和OLAP的区别

  • 联机事务处理OLTP
    • On-Line Transaction Processing
    • OLTP是传统的关系型数据库的主要应用
  • 联机分析处理OLAP
    • On-Line Analytical Processing
    • OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果
      在这里插入图片描述

练习：OLAP和OLTP

  • 关于OLAP和OLTP的区别描述, 不正确的是( C )
    A. OLAP主要是关于如何理解聚集的大量不同的数据. 它与OTAP应用程序不同
    B. 与OLAP应用程序不同,OLTP应用程序包含大量相对简单的事务
    C. OLAP的特点在于事务量大, 但事务内容比较简单且重复率高
    D. OLAP是以数据仓库为基础的, 但其最终数据来源与OLTP一样均来自底层的数

五 数据仓库的架构

Inmon架构

在这里插入图片描述

Kimball架构

在这里插入图片描述

混合型架构

在这里插入图片描述

六 数据仓库的解决方案

  • 数据采集
    • Flume，Sqoop，Logstash，Datax
  • 数据存储
    • MySQL，HDFS，HBase，Redis，MongoDB
  • 数据计算
    • Hive，Tez，Spark，Flink，Storm，Impala
  • 数据可视化
    • Tableau，Echarts，Superset，QuickBI，DataV
  • 任务调度
    • Oozie，Azkaban，Crontab

七 数据ETL

  • 抽取（Extract）
    • 从操作型数据源获取数据
  • 转换（Transform）
    • 转换数据，使之转变为适用于查询和分析的形式和结构
  • 装载（Load）
    • 将转换后的数据导入到最终的目标数据仓库

八 数据仓库的建模

选择业务流程

  • 确认哪些业务处理流程是数据仓库应该覆盖的
    • 例如：了解和分析一个零售店的销售情况
  • 记录方式
    • 使用纯文本
    • 使用业务流程建模标注（BPMN）方法
    • 使用同一建模语言（UML）

声明粒度

  • 用于确定事实中表示的是什么
    • 例如：一个零售店的顾客在购物小票上的一个购买条目
  • 选择维度和事实前必须声明粒度
  • 建议从原始粒度数据开始设计
    • 原始记录能够满足无法预期的用户查询
  • 不同的事实可以有不同的粒度

确认维度

  • 说明了事实表的数据是从哪里采集来的
  • 典型的维度都是名词
    • 例如：日期、商店、库存等
  • 维度表存储了某一维度的所有相关数据
    • 例如：日期维度应该包括年、季度、月、周、日等数据

确认事实

  • 识别数字化的度量，构成事实表的记录
  • 和系统的业务用户密切相关
  • 大部分事实表的度量都是数字类型的
    • 可累加，可计算
    • 例如：成本、数量、金额

九 星型模型和雪花模型

星型模型特点

  • 由事实表和维度表组成
  • 一个星型模式中可以有一个或多个事实表，每个事实表引用任意数量的维度表
  • 星型模式将业务流程分为事实和维度
    • 事实包含业务的度量，是定量的数据
      • 如销售价格、销售数量、距离、速度、重量等是事实
    • 维度是对事实数据属性的描述
      • 如日期、产品、客户、地理位置等是维度
        在这里插入图片描述

星型模型优缺点

  • 优点
    • 简化查询
    • 简化业务报表逻辑
    • 获得查询性能
    • 快速聚合
    • 便于向立方体提供数据
  • 缺点
    • 不能保证数据完整性
    • 对于分析需求来说不够灵活

雪花模型特点

  • 一种多维模型中表的逻辑布局
  • 由事实表和维度表所组成
  • 将星型模式中的维度表进行规范化处理
    • 把低基数的属性从维度表中移除并形成单独的表
  • 一个维度被规范化成多个关联的表
    在这里插入图片描述

雪花模型优缺点

  • 优点
    • 一些OLAP多维数据库建模工具专为雪花模型进行了优化
    • 规范化的维度属性节省存储空间
  • 缺点
    • 维度属性规范化增加了查询的连接操作和复杂度
    • 不确保数据完整性
Zhuuu_ZZ
关注
＜Zhuuu_ZZ＞HIVE(六)数据导入导出
Zhuuu_ZZ的博客
09-19 192
Hive数据导入导出一 Load移动数据二 Insert表插入数据三 Hive数据插入文件四 IMPORT/EXPORT（copy元数据和数据） 一 Load移动数据 LOAD用于在Hive中移动数据 在hdfs原始数据被移动到目标表/分区，不再存在于原始位置 在本地是copy，在hdfs是mv LOCAL：指定文件位于本地文件系统 OVERWRITE表示覆盖现有数据 LOAD DATA LOCAL INPATH '/home/dayongd/Downloads/employee.txt' O
＜Zhuuu_ZZ＞HIVE(九)窗口函数
Zhuuu_ZZ的博客
09-21 4159
Hive窗口函数总览一 数据准备二 over开窗二 partition by子句三 order by 子句四 window 子句五 序列函数 ntile六 lag和lead函数七 first_value和last_value 总览 窗口函数是一组特殊函数 扫描多个输入行来计算每个输出值，为每行数据生成一行结果 可以通过窗口函数来实现复杂的计算和聚合 语法 Function (arg1,..., arg n) OVER ([PARTITION BY <...>] [ORDER BY &
数据仓库的概念
02-14
数据仓库的概念
机器学习 | Sklearn框架
RichardsZ_的博客
10-11 982
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、sklearn五大基本函数二、使用步骤1.引入库总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参
数据仓库概念
m0_55674689的博客
03-24 2862
数仓概念 1.数据仓库（英语：Data Warehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。 2.数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（Decision Support） 数仓专注分析 1.数据仓库本身并不“生产”任何数据，其数据来源于不同外部系统； 2.同时数据仓库自身也不需要“消费”任何的数据，其结果开放给各个外部应用使用； 3.这也是为什么叫“仓库”，而不叫“工厂”的原因...
数据仓库相关概念
mixiaolemy的博客
10-15 214
1、 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企 业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储， 出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改 进 监视时间 成本 质量以及控制进、监视时间、成本、质量以及控制。 2、 OLTP：On-Line Transaction Processing联机事务处理过程(OLTP)，也称为面向交 易的处理过程，其基本特征是前台接收的用
＜Zhuuu_ZZ＞Hadoop阶段考试
Zhuuu_ZZ的博客
09-15 976
Hadoop问题总结1.下面那个程序负责HDFS数据存储（C）2.关于SecondaryNameNode哪项是正确的（C）3.下列哪个程序通常与NameNode 在一个节点启动(D)4.Client端上传文件的时候下列哪项是正确（B）5.以下描述错误的是（D）6.Hadoop分布式文件系统（HDFS）具有（ACD）的特性。7.Zookeeper的角色有哪些(ABD)8.下面那些选项正确描述了HBase的特性（ABCD）9.Hadoop是由何种语言编写的（C）10.以下哪个不是Hadoop运行的模式（B）.1
＜Zhuuu_ZZ＞Apache Kafka原理&操作大全
Zhuuu_ZZ的博客
12-09 5299
Kafka一 Kafka配置下载配置二 测试启动创建topic创建多个分区数的topic查看topic列表具体描述topic创建多个副本数的topic删除topic生产消费实现通信创建生产者信息另开一个窗口创建消费者信息查看kafka的信息储存位置 一 Kafka配置 下载 链接: kafka download. 配置 解压 tar -zxvf ..... 重命名为kafka 进入cd /opt/kafka/config目录后，修改配置文件vi ./server.properties //21行,ka
＜Zhuuu_ZZ＞实时流之Apache Flink
Zhuuu_ZZ的博客
01-06 1万+
Apache Flink
数据仓库概念一览
tianlianchao1982的专栏
12-16 1546
浅析冰山查询――iceberg query　 在数据仓库领域有一个概念叫Iceberg query，中文一般翻译为“冰山查询”。冰山查询在一个属性或属性集上计算一个聚集函数，以找出大于某个指定阈值的聚集值。 以销售数据为例，你想产生这样的一个顾客－商品对的列表，这些顾客购买商品的数量达到3件或更多。这可以用下面的冰山查询表示： Select        P.cust_ID, P
机器学习框架 - sklearn 快速上手
Plus Ultra !!!
08-23 1362
1. sklearn简介 2 sklearn的使用流程 3 sklearn覆盖的机器学习问题 4 Estinator评估器, Transformer转换器 Pipeline管道 典型的机器学习流程: 5 Pipeline使用实例 泰坦尼克号案例 1. sklearn简介 Python语言的编程工具 基于Numpy,Scipy和matplotlib构建 开源,BS...
05_sklearn机器学习框架
lsqzedu的博客
08-19 354
文章目录sklearn库简介加载数据区分测试集训练集 sklearn库简介 Scikit learn 也简称 sklearn, 是机器学习领域当中最知名的 python 模块之一 Classification 分类 Regression 回归 Clustering 非监督分类 Dimensionality reduction 数据降维 Model Selection 模型选择 Prepro...
MongoDB入门
Jak的博客
07-13 387
一、数据库(Database) 1.1 数据简介 数据库是按照数据结构来组织、存储和管理数据的仓库。 我们的程序都是在内存中运行的，一旦程序运行结束或者计算机断电，程序运行中的数据都会丢失。 所以我们就需要将一些程序运行的数据持久化到硬盘之中，以确保数据的安全性。而数据库就是数据持久化的最佳选择。说白了，数据库就是存储数据的仓库。 1.2 数据库分类 数据库主要分成两种： 1.2.1 关系型数据库(RDBMS) MySQL、Oracle、DB2、SQL Server... 关系数据库中全都是
机器学习sklearn
qq_41716680的博客
05-22 468
MNIST数据集   -成功导入方法2018Sklearn 与 TensorFlow 机器学习实用指南，这本书对于学习机器学习，确实是一本不错的入门级的好书，对于分类的讲解章节中，用到MNIST数据集的导入。     如下是书中的原始代码，多次导入不能成功，提示 could not read bytes错误&gt;&gt;&gt; from sklearn.datasets import fetc...
sklearn框架结构
shanshuyue的博客
10-25 258
pip install sklearn 新建一个文件夹 在这个文件底下再建六个文件
sklearn框架介绍
最新发布
ye_yumo的博客
05-10 1070
sklearn是一款07年至今的机器学习开源项目，基于NumPy和SciPy，提供了很多用于数据挖掘和分析的工具和接口sklearn主打一个只做机器学习，不轻易支持新的算法，他的好处就是非常稳定我们可以用几行代码就完成机器学习的七个步骤。
数据仓库建模
sheshiman的博客
04-06 362
数据仓库维度建模简介 维度建模简介 数据仓库建模方法、指导方针、专业术语
三、Scikit-learn机器学习框架
热门推荐
小石小石摩西摩西
07-22 3万+
三、Scikit-learn机器学习框架 3.1 Scikit-learn介绍 Scikit-learn介绍 对Python语言有所了解的科研人员可能都知道SciPy——一个开源的基于Python的科学计算工具包。 基于SciPy，目前开发者们针对不同的应用领域已经发展出了为数众多的分支版本，它们被统一称为Scikits，即SciPy工具包的意思。 而在这些分支版本中，最有名，也是专门面向机器学习的一个就是Scikit-learn。 Scikit-learn项目最早由数据科学家 David Cournape
vector< vector<int> >怎么设置初值
02-13
vector<vector<int>> 可以通过两种方法设置初值: 1. 使用花括号初始化: ``` vector<vector<int>> v = {{1, 2, 3}, {4, 5, 6}, {7, 8, 9}}; ``` 2. 使用循环进行初始化: ``` vector<vector<int>> v(3, vector<int...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值