- 博客(36)
- 收藏
- 关注
RSS订阅原创 第二十五章：数据治理之数据生命周期：数据生命周期的七个阶段
数据生命周期管理，也是常常听到的词，但是当说起数据生命周期管理的时候，数据都分哪些生命周期？我们又在管理数据生命周期的什么？本章就说一下个人的看法。
2025-05-28 07:57:49
414
原创 第二十四章：数据治理之主数据：明确主数据和数据治理的关系
上面的介绍，不知道是否说清楚，主数据和数据治理的关系了。我们最开始的问题：数据治理的工具能否适用于主数据？是不是也已经有自己的一个答案了。如果是一个相对强势的数据中台，那么主数据的管理可以放在数据中台，是锦上添花的。如果是一个相对弱势的数据中台，还是不要介入主数据了。专心做好OLAP场景下的数据分析就可以了。另外两个角度，一个是一般主数据也都是偏为公司的机密数据的。独立的主数据系统，似乎也能更好的进行数据分开存放，保证数据安全性。
2025-05-28 07:54:51
943
原创 第二十三章：数据治理之数据文化：数据文化的建立
数据文化，这个软实力，却能够在数据治理中起到大作用。如何能够建立数据文化，也是数据治理过程中需要思考的一个问题。可能不会有实际的产出，但是对于整个数据治理的过程绝对是一个强力的助力。
2025-05-28 07:53:46
555
原创 第二十二章：数据治理之数据价值：数据价值知多少
做数据的人，确不能通过数据量化出来数据的价值。隐隐的有一个被嘲讽到的感觉。不过相信随着数据入表等一系列的活动，对于数据价值一定会有一个更加公允，被认可的方式呈现出来。
2025-05-27 21:13:58
1414
原创 第二十一章：数据治理之数据安全：数据安全的驱动因素以及常见的数据安全举措
对于数据安全的重视，是随着对数据的重视而越来越多的被提起。随着各种数据安全法的出台，对于数据安全会越来越重视。同时，这又是一个相对即新又老的模块。说它老，是因为，随着数据的产生，数据安全就是一直被提及的。说它新，是因为很多刚刚出台的法律，需要如何做调整，都是不明确的，而且隐私计算、区块链在数据安全上承担的定位在哪里，也是需要不断探索的。安全线就是生命线，保护好了数据安全，就是保护好我们自身。
2025-05-27 21:08:39
791
原创 数据的六个特性以及由于独特性产生的一些有趣的想法
本章的番外随想，主要说了一些个人对于数据的一些想法，个人觉得还挺有意思的。就像在科幻中有“仿生人会梦见电子羊吗？”这一隐喻，引发对人与仿生人界限的哲学思考。这里也提一个自己的问题：“数字苹果”能够被吃掉吗？希望能够启发你的思考。
2025-05-26 22:09:42
871
原创 第二十章：数据治理之数据指标（二）：数据指标和数据指标体系
在【数据架构】篇中我们说过“数据是由业务产生。在业务的运行过程产生的数据，被记录到数据库不同的表中，此时的数据已经相当于被打散了再进行的记录，不能直观的反应出数据对应的业务了。数据架构就需要将已经被打散的数据，重新进行划分、组合来反映业务情况。而本章要讲的数据指标，在这一过程中，充当了血肉填充的作用。将业务产生的数据，升级为数据指标，从而通过数据指标，来实现对业务的准确度量。
2025-05-26 22:09:03
1374
原创 第十九章：数据治理之数据指标（一）：数据指标工具之【指标口径管理系统】与【指标数据查询系统】
本章主要介绍了数据指标的相关工具，指出了数据指标工具，有两种形式，一种是面向开发的指标口径管理系统，一种是面向数据应用的指标数据管理系统，或者称为指标平台。这两种形式的工具区别是什么？在什么场景下使用，等等问题。希望通过这一章能够对数据指标工具有一个新的认识。不管哪种工具，保存的都是已经梳理清晰的数据指标体系下的指标。下一章我们介绍【数据指标的体系化建设】，来看看数据指标的梳理的过程。
2025-05-25 21:05:52
1027
原创 第十八章：数据治理之数据质量：“数据质量”不仅仅和“数据质量”有关
数据质量一直是数据平台的一件大事，他是数据的一个生命线，数据质量对了一切就都对了，数据质量不对，做再多似乎也没有什么用。数据质量模块承担着监控、提升平台的数据质量的任务，但是有不能仅仅依赖数据质量模块，要系统性的来看这件事情。上面所说的数据质量模块的内容，又是一个理想情况下。在实际上如果面对的是几千个任务，上万张表时，往往会出现类似于一种量变引起质变，让人无从下手的感觉。这个也是体现的数据治理本身是一件脏活、累活的一点了。
2025-05-25 21:05:14
878
原创 第十六章：数据治理之数据架构：数据模型和数据流转关系
要说数据架构，先说说什么是架构，怎么定义架构这个词？架构的本质是对复杂系统的解耦与重组。“把一个整体（完成人类生存的所有工作）切分成不同的部分（分工），由不同角色来完成这些分工，并通过建立不同部分相互沟通的机制，使得这些部分能够有机的结合为一个整体，并完成这个整体所需要的目标，这就是架构。提炼关键词有三个：切分成不同的部分、不同部分之间相互沟通、完成整体所需的目标。
2025-05-24 21:52:57
690
原创 第十五章：数据治理之数据目录：摸清家底，建立三大数据目录
在数据治理十大模块中没有元数据这个模块，多多少少在数据目录部分替代了。通过三个目录的建立，基本上能够理清楚一个公司现在的数据家底了。现在数据作为一种生产要素，越来越受到重视，数据入表的呼声也越来越高，这时候能够清除的知道自己的数据家底就显的尤为重要了。不管想干什么，知道手里有什么是第一步。希望能够通过这个数据家底，迈出数据治理坚实的一步。企业级数据目录实战：从组织、方法、流程到平台。
2025-05-24 21:52:19
853
原创 数据资源到数据资产的华丽转身 ——从“沉睡的石油”到“流动的黄金”
在介绍数据资产之前，我们先看看什么是资产，给出一个关于资产的定义。根据《国际财务报告准则》（IFRS），资产被定义为“由企业控制的、由过去事项形成的、预期能带来未来经济利益的资源”。这一概念包含三个核心要素：控制权（企业能支配）、收益性（产生经济利益）、可计量性（可量化评估）。举个例子来说，一家工厂的机器设备是资产，因为企业拥有所有权，设备能持续生产商品创造收益，且采购成本、折旧价值均可量化。但是，如空气、阳光虽然也具有使用价值，但因无法被企业独占控制，所以不被视为资产。
2025-05-24 21:51:48
883
原创 第十四章：数据治理之数据源：数据源的数据接入、业务属性梳理及监控
数据源作为数据中台中数据接入的起点。如果能够对数据源进行更好的把控，那么会解决掉很多问题。一个好的数据源的管理，能够起到把控源头的作用。同时，能够为数据资源目录的梳理，打下一个好的基础。甚至，数据的业务自主入湖，也是可以依赖数据源，而完成业务的自动入湖。虽然数据源很重要，但是不得不说这一部分却一直被忽视，可能是因为这个和最终的价值产出是最远的。这不仅仅是数据源的问题，这也是整个数据治理面临的问题。所以一定要找到自己的【“天时”、“地利”、“人和”以及“利其器”】，确定自己的【启动的契机】。
2025-05-24 21:48:37
804
原创 第十三章：数据治理5大维度，带你玩转数据治理
按照【第七章：数据治理中的“天时、地利、人和”以及“利其器”】最后，提到的“总-分-总”的形式，本章结束，就是“分”的阶段的第一部分，即5大维度部分的最后一章。如果你还没有看，建议先把前五篇，快速的过一下，分别是组织【组织即权力】，政策【政策的制定、监控和奖惩】，工具【工欲善其事，必先利其器】，业务【最熟悉的“陌生人”】，数据【业务生数据，数据生“万物”】。本来想给5大维度的重要性一个打分的，画一个雷达图的，比如，组织：5分，规范：4分，工具：4分，业务：3分，数据：3分，来体现不同维度的重要性。
2025-05-24 21:47:35
248
原创 第十二章：数据治理5大维度之数据：业务生数据，数据生“万物”
对于数据的理解在一定程度上可以抽象为对于表的理解。具体要了解到什么程度。这让我想起了刚工作时，当时把业务系统的相关的表的表结构，关联关系梳理清楚之后，都记在笔记本上，每天上下班坐车地铁上都去了解熟悉。哪些表是关键表，表与表之间的关系是什么，发生的什么业务大概去哪些表里面去找相应的数据。就像上面说的这是一个需要花时间，没有捷径的工作。这个过程中，你对数据了解越深入，就越了解业务。你对业务越了解，就更清楚数据。业务和数据相辅相成，在数据治理的路上为后续的各个模块提供助力。
2025-05-23 21:54:21
249
原创 第十一章：数据治理5大维度之业务：最熟悉的“陌生人”
一个良好的业务合作关系，是一切的基础。有良好合作关系的前提是双方目标一致。双方目标一致的前提是领导制定的KPI一致。这就又回到“数据治理是一把手工程”了。数据治理团队，不可能比业务还要了解业务，只有在一个统一目标的前提下，让业务能够意识到，数据治理不是数据团队的事情，而也是自身工作职责之一（虽然这很难），只有这样，双方才能更好的配合，完成企业内的数据治理。业务本身是复杂的，可以从多个角度去看。了解业务的方法也是多样的，本文只是个人的一些总结，仅供参考。
2025-05-23 21:53:38
713
原创 第十章：数据治理5大维度之工具：工欲善其事，必先利其器
针对于数据治理5的维度之工具，差不多也就这些了。作为一个产品经理。其实很喜欢设计产品的时候的感觉。增加新的功能，扩展新的能力。但是也渐渐感觉到有时间新增功能容易，但是下线功能就难了。有时候一个功能上线，可能也会将产品引向一个并不是特别好的方向。克制，有的时候很重要。工具产品的最终实现，本身也是一个妥协的结果，不会完全按照产品的设计来最终实现。和需求业务方妥协：有些功能明明知道不合适，业务就是要用。和技术妥协：一个功能如何设计，有的时候也和开发技术能否实现，或者想不想实现有关。
2025-05-22 22:33:24
869
原创 第九章：数据治理5大维度之政策：政策的制定、监控和奖惩
作为数据治理5的维度中的第二个维度：政策。上面基本介绍完了。没有介绍不同政策模版是什么样的，每个政策的框架是什么。（个人确实也没有。）这些内容可能咨询公司会有一些通用的模版。个人认为可以参考这些模块提供思路，但不能拘泥于模版，只需要把想要表达的写清楚，将“总则-规范-操作手册”写的明确、易懂就可以了。规范的落地、监控中多次提到工具，可见工具和规范的一个紧密关系。下一章我们说说工具。“工欲善其事，必先利其器”。
2025-05-22 22:14:34
670
原创 第八章：数据治理5大维度之组织：组织即权力
采用联邦式的三层组织架构设置，是较为通用的一种做法。但是组织设置完成之后，是不是能够发挥出来应有的效果。确又是不同公司效果不一的，影响因素有很多：可能和决策层的决心有关，可能和管理层的推动能力有关，可能和执行层的执行力有关，可能和发布的规范合理性有关，可能和有没有落地规范的工具有关，可能和管理层和执行层关系是否密切有关。现实从来都是复杂的，人又是其中最大的变量。当落到具体场景，就要具体场景具体分析，在执行过程中见招拆招了。组织设立之后，都会有一个自我生存，自我扩张的自驱力。
2025-05-22 22:12:53
787
原创 数据治理没有第一，数据技术没有第二
虽然说数据治理方案，千差万别，各不相同。虽然说每个人的理解可以不一致。但是，每一个人，或者说一个要实施数据治理的组织，还是需要找出自己的“唯一”的一个数据治理方案的。不管这个“唯一”是好的、还是坏的，是全面的、还是片面的，是一个无奈的妥协的结果、还是个人坚持的胜利，是自己满意的、还是强行推进的，都需要总结出来一个，能够表达清楚的，有步骤，可落地的唯一的数据治理。只有总结出来，才能改进，才能提升。
2025-05-21 22:08:35
1426
原创 第七章：数据治理中的“天时、地利、人和”以及“利其器”
有了“天时、地利、人和”，以及"利其器"就一定能够成功吗？答案恐怕也不是绝对的。对于成功的定义权在谁手里？怎么算是成功那？这是一方面。组织架构是否能够将这些能力顺利的发挥出来，也是各家各部相同的。另一方面是，你不可能拿着一个地图，在所有环境下去找路。现实环境千差万别，既要有固定的思路，又能够根据不同环境进行适时地变化，其中的感觉还是很微妙的。根据Gartner统计，数据治理项目大概有90%是失败的（并没有确切的找到数据出处。怎样的统计范围，如何定义失败等等。暂时持保留意见）。不过也不用过于悲观。
2025-05-21 22:06:13
515
原创 第六章：数据治理作用的数据分类是什么
本章对数据从不同的维度，进行了一个分类。讨论一下个人认为数据治理针对哪类的数据更加适合。算是在说起数据治理的时候，能够更加明确知道可以作用于哪类的数据，哪类的数据不在这个范围之内。
2025-05-16 09:38:10
796
原创 第五章：数据治理启动的契机
如果没有筹齐这三个要素，说明做这件事情的契机还不成熟，还需要再等等、再找找，启动全局的数据治理，还是需要三思下。或者采用更聚焦、更局部的方式来启动。如果已经集齐了这三要素，那么下一步我们看看数据治理过程中直接相关的两方，也就是数据中台和业务部门的几种合作的模式。通过哪种合作形式能够更好的进行数据治理的推进。
2025-05-15 22:34:13
711
原创 第四章：数据治理的目标
当我们说数据治理的时候，希望通过数据治理达到什么目标？不同的站位，会有不同的角度，提到数据治理时，最终想达到的目标也不同。
2025-05-12 08:00:00
665
原创 第二章：数据治理的边界在哪里
问题驱动好理解，就是哪天发现哪个数据出现不一致了，口径无法统一，值没有办法对齐，原因是因为某个系统数据经常有异常，这个时候，就可以通过这个问题来驱动业务进行导入数据中台前的数据治理，也就是对业务系统进行数据治理。通过错误数据，来倒逼源头系统的数据质量改善。在开始的时候，主要针对入湖后的数据进行治理，而后不断通过，问题驱动、场景驱动的方式进行入湖前的治理，从而实现全局的治理。而是说在开始的时候，只做入湖后的数据治理，之后通过问题驱动，通过场景驱动来逐渐的渗透到入湖前的数据治理，来影响业务，实现全局数据治理。
2025-01-04 21:30:35
663
原创 大数据平台产品经理入门手册-合集
这一部分暂时没有放出来，因为下个阶段的【数据治理实践之路】中也会有数据治理的工具，这两部分的相互关系还比较密切的，随着【数据治理实践之路】的更新，会逐渐添加数据治理相应的工具介绍。数据平台的第一个关键就是有数据，所以第一篇章就介绍了数据集成，从业务系统通过数据集成，将数据导入到数据平台中。数据领域在不断发展，数据平台也会有相应的进化，后续对数据平台产品有新的理解、新的总结也都会在对应合集中进行更新、完善。数据运营篇从数据消费者的角度进行了数据平台能够运营哪些东西，数据消费者能够怎样消费数据平台产生的数据。
2025-01-04 21:14:16
390
转载 Oracle 10g服务简介
OracleDBConsoleorcl 使用网页登录企业管理器的服务、、同时在Oracle 10g中也只有网页样式的企业管理器了。 orcl是一个数据库。如果建立了另一个数据库sale这就多一个OracleDBConsolesale服务。 OracleOraDb10g_home1TNSListener 等待客户端工具来连接数据库的服务，就是客户端要连
2013-04-23 17:00:30
629
转载 如何完全卸载Oracle（转）
实现方法：1、 开始－＞设置－＞控制面板－＞管理工具－＞服务 停止所有Oracle服务。2、 开始－＞程序－＞Oracle - OraHome81－＞Oracle Installation Products－＞ Universal Installer 卸装所有Oracle产品，但Universal Installer本身不能被删除。3、运行regedit，选择HKEY_LOCAL_MA
2013-04-23 16:59:52
448
转载 oracle 10G中所占用的服务和端口号(转)
oracle 10G中常用服务1.OracleCSService主要是通过控制集群结点的成员以及通知这些成员这个结点是什么时候加入和离开的，OracleCSService服务通过这个来管理集群的配置。如果你使用第三方集群配置软件，那么集群同步服务就会结合这个第三方软件来管理各个结点之间关系的信息。2.OracleDBConsoleorcloracle数据库控制台，如果你需要用浏览器
2013-04-23 16:59:05
660
转载 Oracle 10g中的文件路径
Oracle 10g中的文件路径 oracle中感觉很多时候都要去安装目录去找东西，此时文件的路径就必须知道，但自己总是记不大住，遂收集一些帮自己提醒一下。 1.(查看端口号的文件路径)（同样Readme文件也在此下面） E:\oracle\product\10.2.0\db_1\install目录下找到portlist.ini文件里面记录oem（Oracle的企业管理器）
2013-04-23 16:58:12
586
转载 Oracle 10g 数据字典和动态性能视图
Oracle中的数据字典有静态和动态之分。静态数据字典主要是在用户访问数据字典时不会发生改变的，但动态数据字典是依赖数据库运行的性能的，反映数据库运行的一些内在信息，所以在访问这类数据字典时往往不是一成不变的。以下分别就这两类数据字典来论述。（动态数据字典就是动态性能视图） 查看有哪些数据字典在dict表中。select * from dict； 查看有哪些动态性能视图在v$fixed
2013-04-23 16:57:15
743
转载 关于dict和v$fixed_table的使用（转)
关于dict和v$fixed_table的使用，原文链接http://www.itpub.net/thread-847572-1-1.html今天偶然发现一个问题，就是使用dict查找视图的范围比v$fixed_table要广一些，我的测试如下：SQL> desc v$fixed_table名称 是
2013-04-23 16:56:17
672
转载 Oracle 10g 一些基本的查询语句（一）(
0.查看数据库的一些基本信息？select * from v$database;1.查看有哪些数据文件？ select * from v$datafile；2.查看有哪些控制文件？select * from v$controlfile;3.查看有哪些日志文件？ 有哪些member： select * from v$log; 有哪些文件组： sele
2013-04-23 16:55:15
566
转载 Oracle 10g 用户权限相关语句（转）
查看所有用户：select * from dba_user;select * from all_users;select * from user_users;2.查看用户系统权限：select * from dba_sys_privs;select * from all_sys_privs;select * from user_sys_privs;3
2013-04-23 16:54:17
607
转载 Oracle 10g表空间的相关命令（转）
http://www.cnblogs.com/xxssran/archive/2010/10/09/1846662.html查看表空间select * from dba_tablespaces; 创建表空间简单创建： create tablespace userdb datafile 'd:\datafile.dbf' size 200M;复杂创建：create tablesp
2013-04-23 16:52:49
516
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人