0037-数据集市,Inmon架构及Kimball架构

已于 2023-07-30 15:15:53 修改
阅读量683 收藏 2
点赞数
分类专栏： 数据仓库 文章标签： etl 数据仓库 大数据
于 2021-09-12 13:26:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zuochang_liu/article/details/120096540
版权


在数据仓库持续演进的过程中，逐渐产生了不少的架构方法，主要有Inmon架构，Kimball架构，数据集市架构及混合架构等。

一 数据集市

先说说数据集市吧，数据集市也不是之前单独按照每个部门去搭建的，都是出自搭建好的企业级数据仓库。属于从属数据集市，可以有效消除各部门数据不一致的情况。

早期数据集市：

从属数据集市：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据私房菜
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Kimball维度模型之数据仓库分层架构
道可道非常道
03-01 1141
Kimball维度数据仓库按照经典分层理论，可以划分为3层，底层为ODS层，中间DW层，上层应用层。比较全面的数仓架构图如下所示，下面笔者针对架构图中的各个部分分别介绍。
概述-数据集市是什么？
钱锋的数据仓库经验与思考
10-16 3622
数据集市是什么？ 我基于自己的经验和理解，我个人觉得数据集市是 为满足某一类数据需求特殊的要求提供的一整套临时解决方案产出的表的合集。 我觉得数据集市是相对数仓中间层才有的一个概念。 数仓中间层是数据仓库最有价值，最能提高数据复用度和使用效率的一层。但因为要考虑复用度和开发维护成本，数据对某些具体需求的支持就不够。比如不会有某些使用较少的特殊维度的统计数据，口径经常变化的指标也不会有。 而数据集市，就是为了在不影响数据仓库中间层的复用度和稳定性的情况下，为了某些重要的需求提供的专门的数据支持。 数据集市最优
Kimball架构与Inmon架构
ooeeerrtt的博客
02-10 685
Inmon架构的思想在于自上而下的构建数据模型。以数据源头开始，数据以瀑布流式的向下流动，更加注重数据清洗。其核心思想在于数仓分层。（换言之就是，尽量将某一主题域的所有数据都考虑到数据建模中。这样设计的数据模型的覆盖面会更广，但是数据模型的设计会困难） Kimball架构的思想在于自下而上的构建数据模型。以具体业务诉求为出发点，设计数据模型。其核心思想在于维度建模。（即根据业务需求找到关注的数据指标，基于关注的数据指标设计数据模型。这样设计的数据模型会更加的独立，但可能会导...
数据集市的概念
qq_41081716的博客
08-07 2852
数据仓库
数据治理创新路：建设数据集市，强化数据报送一致性新实践
最新发布
vx15302782362的博客
06-19 321
数据集市是一种轻量级的数据仓库，它允许用户根据特定的业务需求，快速构建和部署数据模型，实现数据的快速查询和分析。在数据集市的建设过程中，企业需要加强对数据的访问控制和权限管理，防止数据泄露和滥用。企业需要建立严格的数据质量管理制度，包括数据清洗、校验、转换等流程，确保数据的准确性和一致性。企业可以设立专门的数据报送审核岗位或团队，负责对各部门报送的数据进行审核和校验，确保数据的准确性和一致性。企业需要制定一套明确的数据标准和规范，明确数据的定义、格式、命名规则等，为各部门提供统一的数据报送依据。
数据仓库——数据集市
weixin_46010244的博客
07-20 1170
这里我们先回忆一下数据仓库的定义， 数据仓库(Data Warehouse) 是一个面向主题的(Subject Oriented) 、集成的( Integrate ) 、相对稳定的(Non -Volatile ) 、反映历史变化( Time Variant) 的数据集合用于支持管理决策。今天我们介绍一个在数仓中非常常见的概念——数据集市，数仓定义中的五个特性都值得一一仔细品味，随着你对数仓的理解加深，你对这个五个特性的理解也会更加全面。
数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS
热门推荐
weixin_42526326的博客
11-30 1万+
@TOC 数据流向 应用示例 何为数仓DW Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。 数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。目前行业比较流行的有：AWS Redshift，Greenplum，Hive等。 数据仓库并不是数据的最终目的地
一文讲清数据集市、数据湖、数据网格、数据编织
u013643074的博客
07-14 703
本文介绍数据仓库、数据集市、数据湖、数据网格和数据编织相关概念和使用案例，帮助你选择并利用好数据的力量来完成明智的决策。
数据集市(Data Mart)
weixin_41100967的博客
01-19 600
数据集市 (Data Mart)是一个针对某个主题、某个部门或者某些特殊用户而进行分类的数据集合，也称为“小数据仓库”或“部门级的数据仓库“。首先建立企业级的数据仓库，然后从企业级的数据仓库中为各个部门抽取必要的数据建立部门级的数据集市。1、从数据集市入手，就某一个特定的主题，先做独立数据集市，当数据集市达到一定规模，再从各个数据集市进行数据的整合建立企业级的数据仓库。缺点：可能会导致信息孤岛的存在，不能以全局的视角去分析数据、可能会存在大量冗余数据。2、数据集市包含了能够从数据源获取的全部的明细数据。
数据仓库中的Inmon与Kimball架构之争
02-25
对于数据仓库体系结构的最佳问题，始终存在许多不同的看法，甚至有人把Inmon和Kimball之争称之为数据仓库界的“宗教战争”，那么本文就通过对两位提倡的数据仓库体系和市场流行的另一种体系做简单描述和比较，不是...
数据集市建设、数据质量及数据管理方法.ppt
08-25
数据分层架构是数据集市设计的关键，它通常包括EDW（企业数据仓库）/ODS（操作数据存储）层、数据集市层和数据展现层。以针对性营销数据集市为例，它基于EDW/ODS进行数据汇总，提供营销分析数据和营销事务数据。营销...
数仓建模方法和数仓分层架构详解.pdf
09-28
Inmon架构提倡企业数据协调与集成，认为要利用规范化的EDW承担这个责任，而Kimball架构强调具有 一致性维度的企业总线的重要作用。在Inmon架构中，数据仓库通常以部门为中心（而不是围绕业务过程来组织），而且包含...
数据集市的详细建设方案！
dream317
04-28 1359
数据集市是处理单一事务的数据仓库的子集。它们通常由单个业务部门构建和管理。由于它们是面向主题的，因此通常仅从少数来源获取数据，这些来源可能是内部操作系统，数据湖，一个集中的数据存储库，或外部来源。它们通常比数据仓库更精简、更简单，这使得它们更容易构建和维护。
数据集市的数据源与整合
禅与计算机程序设计艺术
12-27 377
1.背景介绍 数据集市(Data Market)是一种基于互联网的平台，通过数据集市，数据提供方可以将其数据作为商品进行出售，而数据需求方可以通过数据集市购买所需的数据。数据集市为企业、政府、研究机构等不同类型的用户提供数据服务，帮助用户更好地利用数据资源，提高数据的利用效率和价值。 数据集市的发展与大数据时代的兴起有密切关系。随着互联网、人工智能、大数据等技术的发展，数据变得越来越重要，成为...
数据仓库模式之详解 Inmon 和 Kimball
醉酒的戈多的专栏
11-21 5517
数据仓库 数据仓库模式 Inmon Kimball
什么是数据集市
轻轻草原
11-06 2403
数据集市也叫数据市场，是一个从操作的数据和其他的为某个特殊的专业人员团体服务的数据源中收集数据的仓库。从范围上来说，数据是从企业范围的数据库、数据仓库，或者是更加专业的数据仓库中抽取出来的。 数据中心的重点就在于它迎合了专业用户群体的特殊需求，在分析、内容、表现，以及易用方面。数据中心的用户希望数据是由他们熟悉的术语表现的。 数据仓库是一个集成的、面向主题的数据集合，设计的目的...
数仓基本概念：数据集市及分层
c05180的博客
09-02 1084
*问：**还是不太明白 ods 和 dwd 层的区别，有了 ods 层后感觉 dwd 没有什么用了。**答：**嗯，我是这样理解的，站在一个理想的角度来讲，如果 ods 层的数据就非常规整，基本能满足我们绝大部分的需求，这当然是好的，这时候 dwd 层其实也没太大必要。但是现实中接触的情况是 ods 层的数据很难保证质量，毕竟数据的来源多种多样，推送方也会有自己的推送逻辑，在这种情况下，我们就需要通过额外的一层 dwd 来屏蔽一些底层的差异。
数据集市是什么？数据集市和数据仓库有什么区别
Shockang的博客
04-16 1264
本文解释了数据集市和数据仓库的概念，并列举了它们的区别，如设计目的、覆盖范围、数据量、数据源、数据结构、灵活性、使用者、实现难度和成本等方面。
数据仓库和数据集市
jx的博客
11-28 1655
Data warehouse数据仓库，是在数据库大量存在的情况下，一整套包括etl、调度、建模在内的完整理论体系。 建设目的：支持复杂的分析操作，侧重决策支持，提供直观的查询结果。 数据仓库不是数据的目的地，而是为数据的目的地做准备，包含：清洗，转义，分类，重组，统计，拆分等
企业数据仓库构建详解：概念、发展历程与关键架构
数据仓库体系架构包括Inmon模型和Kimball模型等多种设计，前者强调从顶层数据源到数据仓库的集中式设计，后者则倾向于基于数据集市的分布式架构。此外，文档还涉及政务共享平台、政务大数据平台、集团统一客户数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据私房菜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值