【转】数据仓库ODS、DW和DM概念区分

今天看了一些专业的解释,还是对ODS、DW和DM认识不深刻,下班后花时间分别查了查它们的概念。

ODS——操作性数据

DW——数据仓库

DM——数据集市

1.数据中心整体架构

 

 
数据中心整体架构

数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。

2.数据仓库的ODS、DW和DM概念

 
ods、dw、dm区分

3.ODS、DW、DM协作层次图

 

 
协作层次

4.通过一个简单例子看这几层的协作关系

 

 
例子

5.ODS到DW的集成示例

 

 
集成例子

小结

数据中心是一个全新的领域,要进这个门还需要正确理解数据中心领域所设计的专业词汇。

 


作者:悟成
链接:https://www.jianshu.com/p/72e395d8cb33
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。
### 数据仓库中的ODSDWADS概念及其区别 #### ODS(操作数据存储) ODS层作为最接近源系统的层次,主要用于实时或近实时地保存来自各个业务系统的原始交易数据。这一层的数据保留时间较短,并且通常不会进行复杂的历史数据分析处理。其核心功能在于提供一个缓冲区来接收并暂时储存未经加工的业务数据,在此阶段可以执行一些简单的清洗工作以及初步的质量控制措施[^1]。 ```sql INSERT INTO ods_sales_data (transaction_id, product_code, sale_date, amount) SELECT transaction_id, product_code, sale_date, amount FROM source_system.sales; ``` #### DW数据仓库) 相比之下,数据仓库(DW)是一个面向主题的、集成化的、相对稳定的、反映历史变化的数据集合。它通过ETL过程抽取不同源头的操作型数据到中央库中,经过一系列换逻辑形成统一视图供后续分析使用。具体来说: - **集成性**:整合多个异构系统的信息; - **稳定性**:保持结构不变以便长期查询; - **历史性**:记录随时间演变的趋势信息[^2]。 ```sql CREATE TABLE dw_fact_sales ( sales_key INT PRIMARY KEY, date_key DATE REFERENCES dim_dates(date_key), store_key VARCHAR(50) REFERENCES dim_stores(store_key), item_key VARCHAR(50) REFERENCES dim_items(item_key), quantity_sold DECIMAL(18, 4), total_price DECIMAL(19, 4) ); ``` #### ADS(应用数据服务) 最后提到的应用数据服务(ADS),则是基于上层构建的具体应用场景下的轻量级数据集。这类数据往往已经过高度聚合或是特定场景定制化裁剪后的成果物,旨在支持快速响应前端报表展示需求或者直接服务于某些BI工具/平台。因此,这里的重点是从实际业务角度出发设计易于理解使用的指标体系[^3]。 ```sql WITH aggregated_sales AS ( SELECT EXTRACT(YEAR FROM s.sale_date) AS year, SUM(s.total_price) as yearly_revenue FROM dw_fact_sales s GROUP BY EXTRACT(YEAR FROM s.sale_date) ) SELECT * FROM aggregated_sales WHERE yearly_revenue > 1000000; ``` 综上所述,这三个组件各自扮演着不可或缺的角色——从最初的即时捕获直至最终呈现给用户的决策依据,构成了完整的数据流链条。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值