工作数据仓库设计要点201805

        数据仓库层级一般可分为：

1. ods层：称为接口层或近源数据层，表结构与源系统表结构高度相似，通常在ods层主要会做字段的筛选，枚举值转换，编码统一，异常&缺失数据处理等操作。
2. dw层：称为中间层，按主题建模（域->主题）的明细数据层，数据粒度与ods层一致。
3. dm层：称为数据集市层，集市层是按照业务主题、分主题构建出来的、面向特定部门或人员的数据集合。

 

        设计的时候要注意一下：

        1.汇总层表的字段，不应该根据报表的需要来建立，应该根据不同维度和不同粒度的数据和不同时间点的数据进行区分。    

        2.表设计的时候：(1).为什么需要这样设计，(2).作用是什么，(3).在整个数据仓库中是模块的数据，什么样的优先级，来源库是那个。这张表为什么不能够跟同样维度的表合并。（如果是因为业务需要看不同跑数据的时间点，也是可以的。）

        3.清单数据中间层，这个事在同一个主题中可重复使用，加工得到不同粒度和维度的汇总层表的。

        4.要知道什么是基础指标，什么是可加和指标和不可加和指标。

        5.开发的时候主要要有数据测试的方法。验证指标需要在同一份源头的数据写一个口径sql得出指标和，最终的rpt表的指标进行比较。

        6.开发主要进行，维度补充，去重，工作日处理，维度关联，agg合并，到处rpt等得到rpt层。