数据集市的作用:
是提供面向业务条线的基础数据,通过集成开发环境、调度系统、京东分析师等工具提供数据服务,主要包括以下几类:资源独享,各个业务线资源独立;应用层app表加工,用以支持报表服务;临时、周期性数据提取,包括明细和汇总级数据;数据推送服务,用以支持线上系统数据计算;大数据应用、数据挖掘类需求;特殊类型的ETL计算,如实时库存查询
就是为了能够更好的为各条线提供数据应用服务。
为了让数据操作人员能集中处理自己关注范围内的数据,大数据平台将JDW的数据进行抽取和加工,分主题建立多个数据集市,提供给负责各主题的业务和研发人员使用。
数据集市是面向部门与个人的数据环境,数据囊括不同粒度的汇总和部分明细数据,跨领域应用成本较低。数据集市是面向业务体系主题,规划和 定制的数据的集市,以满足业务线对业务数据的查询、订阅、统计报表、业务分析、数据挖掘等应用。
为更好的提供数据服务,在总体设计方面,采用建设统一的数据集市的模型,基本涵盖各条线的固定统计报表及分析的需求。用统一建模,统一管理、标准化开发、 开放的数据平台、以及资源独享等机制,满足不同部门的更多个性化的数据需求。