数仓建设，数据分层

概述

粗放型的数据接入，对数据使用不利。
作用：屏蔽原始数据的异常，便于血缘追踪，清晰数据结构，减少重复开发，复杂问题简单化，屏蔽业务影响。

分层参考，实际情况实际分析：

1/ 数据源—ODS
数据源包括日志/Oracle等/其他hive库

日志—hive,jar解析
oracle—sqoop导入
其他hive—走程序申请权限，接入

数据先接入到临时表，然后处理处理：规范年月日时间长度，规范null值等；

2/ODS—DW层
根据： 维度—事实—指标–粒度，数据具体情况存储

如果数据量大，就分区表接入；
如果数据量小，就全表覆盖；

3/DW–APP层
根据具体业务需求，从DW层取到数据，然后重组为宽表。
最后，存储到hive的具体属组里面，或者是druid.

参考：
http://www.sohu.com/a/316183580_411876