数据架构
文章平均质量分 91
zhulangfly
民航信息化从业者,学习、记录、分享大数据、行业技术、工作与生活感悟。
展开
-
【数据架构系列-06】一文搞懂数据模型的3种类型——概念模型、逻辑模型、物理模型
从现实世界发展到智慧世界,要数经历**现实世界、信息世界、计算机世界、数据世界、智慧世界**五个不同的世界,我们天生具有从混沌的世界抽象信息变为信息世界的能力,但是到另外几个世界需要我们懂得计算机知识,懂得如何更好地把数据保存并应用到计算机中,这种能力就是数据建模能力,具体来说就是要搞懂数据模型,以及数据模型的三种境界——概念模型、逻辑模型、物理模型,接下来一起聊聊...原创 2023-04-28 18:19:47 · 4928 阅读 · 0 评论 -
【数据架构系列-04】趁着国家数据局来了,一起聊聊政府数据开放,未来道阻且长
这几天朋友圈、订阅号、新闻推送频繁出来的消息是国家要成立数据局,“3月7日下午,根据国务院关于提请审议国务院机构改革方案的议案,组建国家数据局,一个全新的机构即将诞生”。可见国家是多么的重视数据建设,也庆幸自己的工作也在这个领域,这两天也在看相关报道,大部分都是宏观的,专家解读也很到位,感觉未来形势一片大好。赶着热点,根据个人的认识,也聊聊政府数据开放,请不要盲目乐观,未来道阻且长......原创 2023-03-13 21:00:00 · 631 阅读 · 0 评论 -
【数据架构系列-03】数据仓库、大数据平台、数据中台... 我不太认同《DataFun数据智能知识地图》中的定义
2022年底DataFun发布《DataFun数据智能知识地图》,一看就做得很用心,内容涵盖数据采集与治理、数据架构、数据能力、数据应用等四大领域、15大数据模块,拆解了数据流转全流程。其中,就包含数据仓库、大数据平台、数据中台的定义,但是我确实不太认同,乍一看就感觉不太对,怎么成了“洋葱模型”,大数据平台成了最里层。难道我们几年前称呼的大数据平台就没有了数据应用服务,也没有了面向主题的数据集合。我们还是找几篇以前的论文看看,看看那个时代我们对这些名词是怎样的认知......原创 2023-03-07 19:30:00 · 2425 阅读 · 2 评论 -
【数据架构系列-02】从《数据中台能力成熟度模型》的发布,聊聊火了的中台
2023年1月4日,信通院发布了《数据中台能力成熟度模型》框架,不由让我浮想联翩,之后是不是还会出现业务中台、技术中台、AI 中台、算法中台的能力成熟度模型呢。不知道为什么,按理应该同时公开发布的文档截止到1月30日在网上也没有找到,只是查到发布会的部分PPT,大致浏览了一下,依然是熟悉的套路,基于能力成熟度模型(CMM)思想,划分为5个等级,6个域,每个域又划分为若干个子域,每个子域中有若干个能力项,每个能力项有若干个分级要求,根据这些具体的能力要求,对企业现状打分,就能得出企业当前数据中台能力状况。原创 2023-01-31 20:00:00 · 1950 阅读 · 0 评论 -
【数据架构系列-01】数据架构之数据血缘:数据从哪里来,到哪里去
从上述两个图可以直观的感受数据血缘的本质是什么,数据血缘(Data Lineage)即数据的来龙去脉,记录数据如何转化而来,流向何方,用可视化技术细粒度的刻画了数据从源流向终端用户的路径,帮助数据科学家洞察数据,发现数据错误的根源。数据血缘和数据起源(Data Provenance)含义相似,主要区别在于数据起源是面向业务人员,在数据更高层级揭示了数据的产生,而数据血缘更加细粒度,在业务层级和技术层级提供了一个更细粒度的视角。数据血缘号称数据的GPS,在数据治理中隶属于元数据管理的范畴。粒度级别说明。原创 2023-01-06 13:37:14 · 4342 阅读 · 0 评论