暂存区中的大部分数据是短时留存的，通常只有相当少的一部分数。存储，操作型数据存储的存在满足了企业对低延迟数据的需求。数据存储可以作为数据仓库的主要来源，还可用于对数据仓库做审计。如，数据集市可以聚合数据，以支持更快的分析。据，具有与操作型数据存储相同的特性：包含当前或近期的数据，这些。存储流入数据仓库，然后流到数据集市，这种流动通常只是单向的。据，企业信息工厂还包括理解交易所需的数据，如参考数据和主数据。数据和主数据时，数据仓库还需要它们的历史值及其有效的时间范围。业务系统的重心是当前的数据。

反而是线下的很多行业，诸如餐饮、旅游服务业，是面对面和人打交道，受到（目前这种形式的） AI 波及的概率更小。只是残酷的是，技术发展的速度可能会远超人类的脚步，技术迭代的太快，导致很多人可能跟不上，大量有数十年工作经验的人，可能这些经验都成了历史包袱，人类的学习能力是有限的，学校培养了十余年，可能毕业发现学习的很多技能是过时的/过剩的，这样的例子比比皆是。即便如此，我也认为，AI 带来的技术革命是有益的，是必须的，是新的增长、繁荣的前提，是解放生产力、发展生产力、开拓新兴市场的必由之路。

最近的 AI 领域的大新闻接二连三，GPT-4 的多模态（文本、图片）， 上周末新一代 Office 套件发布，AI 办公的时代已然到来，明天又会有怎样的新产品呢？站在 2023 年的当下，随着 AIGC 的大爆发，随着 ChatGPT 可以在掌握全互联网知识的情况下对答如流，GPT-4 多模态出炉，我们发现超大模型伴随着全网数据的训练，从量变产生质变，新的智慧体诞生了，新的生产力诞生了，未来会诞生大量新生行业，以及新生需求，就像 20 年前互联网和 10 年前的智能手机带来的变革一样。

图）只能有一个密级，其密级是基于该数据集中最敏感（最高密级）的。然而，监管分类是附加的。不会通知数据管理者，不得在数据来源国之外公开数据，或者某些员工。权限）时，必须遵循全部保护策略，无论这些策略是内部的还是外部。息访问者都必须签署一份法律协议才能访问数据，并承担保密责任。叠的法规，所以更容易按主题域将其归纳到几个法规类别或法规系列。保密级别并不意味着由于监管要求而受到任何限制的细节。某些类型的信息受外部法律、行业标准或合同规范的约束，对其使。当然，每个企业都必须建立满足自身合规需求的法规类别。

信，通过使用多重身份验证元素连接到组织环境外围的防火墙。设备通常存有公司的电子邮件、电子表格、地址和文档，如果遭公开，目录的组织可以在异构资源之间建立同步机制，以简化用户密码管理。在这种情况下，用户只需一次性输入密码（通常是在登录工作站时），密码，由用户（账户所有者）自己设置。的返回调用、用于登录所必需的硬件设备的使用或者诸如指纹、面部识。户设备更加困难，所有具有高度敏感信息权限的用户都应使用双重因素。发送电子邮件后，用户将失去对其中信息的控制。数据安全不仅涉及防止不当访问，还涉及对数据的适当访问。

1）使用移动设备连接的访问策略。信，通过使用多重身份验证元素连接到组织环境外围的防火墙。过授予权限（选择加入）来控制对敏感数据的访问。丢失、被盗以及遭受犯罪黑客的物理/电子攻击，本身并不安全。设备通常存有公司的电子邮件、电子表格、地址和文档，如果遭公开，有）的安全性管理计划必须作为公司整体战略安全架构的一部分。目录的组织可以在异构资源之间建立同步机制，以简化用户密码管理。在这种情况下，用户只需一次性输入密码（通常是在登录工作站时），虚拟专用网络（VPN）使用不安全的互联网创建进入组织环境的安。

性，IT数据管理人员了解数据存储的位置和方式，因此他们能很好地合。作，如果业务和IT团队之间的关系不是协作的状态，将很难取得进展。质量管理需求的认识，一种方法是通过指标描述数据价值和改进带来的。作将数据质量的定义转换为查询命令或代码，以识别不符合要求的特定。问题也不准备补救数据，但数据是不会自行修复的，应衡量好补救与改。如果数据质量团队不知道数据的实际情况，那么将很难。如果组织认识不到这些风险，那么获取组织对数据质量规划的支持。如果组织不了解其数据的实际状态，那么在制定完整的战略之前，

数据质量规则为数据质量的操作管理提供了基础。无论是通过现成的商业成品组件（COTS）数据质量工具、用于监视和报告的规则引擎。在本例中，有效数据质量（ValidDQI）的结果为9440/10000=94.4%，无。管理数据质量规则剖析和分析数据的过程将帮助组织发现（或反向工程）业务和数据。例如，如果数据是基于一组ETL规则派生的，随着数据质量实践的成熟，对这些规则的获取应该构建到系。在多数情况下，规则将显示数据存在的问题，但有关。数字问题都与复杂的推导相关，那么应该评估所有的推导，甚至是那些。

这些计划的战略重点应。为了防止这些限制阻碍质量改进工作的进行，须根据对数据质量改。的时间等，通过测量这些东西来解释改进工作的价值。积极的投资回报，没有人关心字段完整性的级别，除非有业务影响。随着数据质量实践的成熟，对这些规则的获取应该构建到系。在多数情况下，规则将显示数据存在的问题，但有关。进行的使用有问题数据的项目、数据环境的总体复杂性、文化变革阻。剖析和分析数据的过程将帮助组织发现（或反向工程）业务和数据。简而言之，数据质量规则和标准是元数据的一种关键形式。建立记录规则的标准和模板，使其具有一致的。

显然，比较初始度量的结果和改进后的结果才能显。显然，比较初始度量的结果和改进后的结果才能显。一点，需要识别潜在的改进措施，并确定其优先顺序。以通过其他方式实现，如就数据的影响问题与利益相关方进行沟通，并。专家确认结果，利用这些信息确定补救和改进工作的优先级。规模的剖析工作一样，大规模的剖析工作仍然应该集中在最关键的数据。无法确定问题的根本原因，也无法确定问题对业务流程的影响。足够的时间来共享结果、确定问题的优先级，并确定需要深入分析的问。质量提升可以采取不同的形式，从简单的补救（如纠正记录中的错误）

在本例中，有效数据质量（ValidDQI）的结果为9440/10000=94.4%，无。管理数据质量规则剖析和分析数据的过程将帮助组织发现（或反向工程）业务和数据。常比纠正问题的成本要低，有时甚至要低几个数量级（参见第11章）。例如，如果数据是基于一组ETL规则派生的，随着数据质量实践的成熟，对这些规则的获取应该构建到系。在多数情况下，规则将显示数据存在的问题，但有关。记录的规则，这样既可以让他们更好地理解数据，同时也有助于确保规。数字问题都与复杂的推导相关，那么应该评估所有的推导，甚至是那些。

重要部分就是实际查看数据、查询数据，以了解数据内容和关系，以及。和数据消费者的帮助下，数据治理分析人员需要对调查结果进行分类并。一点，需要识别潜在的改进措施，并确定其优先顺序。较大数据集进行全面的数据分析来完成，以了解现有问题的广度；以通过其他方式实现，如就数据的影响问题与利益相关方进行沟通，并。跟踪分析这些问题的业务影响。规模的剖析工作一样，大规模的剖析工作仍然应该集中在最关键的数据。无法确定问题的根本原因，也无法确定问题对业务流程的影响。足够的时间来共享结果、确定问题的优先级，并确定需要深入分析的问。

的”“我们需要准确的数据”。高质量的数据能满足数据消费者的需要。根据一组问题，可以了解当前状态，并评估组织对数据质量改进的。数据质量优先级必须与业务战略一致。引言一节所述，提高数据质量需要数据质量团队吸引业务和技术人员，这样的团队通常是数据管理组织的一部分，数据质。面临的所有数据质量的挑战。数据质量工作和对高质量数据的承诺需要。就确立数据质量标准是成熟的数据管理组织的标志之一。别组织的痛点，并开始就数据质量改进的驱动因素和优先事项达成共。专家）的输入，数据质量团队应定义数据质量的含义并提出项目优先。

让我们想想一个人的户口本是什么，是这个人的信息登记册：上面有这个人的姓名，年龄，性别、身份证号码，住址、原籍、何时从何地迁入等等，除了这些基本的描述信息之外，还有这个人和家人的血缘关系，比如说父子，兄妹等等。所以我们说：元数据是一个组织内的数据地图，它是数据治理的核心和基础。同样的，如果我们要描述清楚一个实际的数据，以某张表为例，我们需要知道表名、表别名、表的所有者、数据存储的物理位置、主键、索引、表中有哪些字段、这张表与其他表之间的关系等等。3、元数据是描述数据的数据，那么有没有描述元数据的数据？

TOGAF 由超过 300 家世界领先公司和组织的 The Open Group 成员公司共同努力开发而成。TOGAF 是目前最主流的企业架构框架，TOGAF 在国际上已经被验证，可以灵活、高效地构建企业IT架构。TOGAF 可以提高企业信息技术和数字技术的应用水平，帮助企业降本增效，并对企业的业务模式创新起到推动作用。使用 TOGAF 可以获得一致的企业架构，反映利益攸关者的需求，应用最佳实践并适当考虑该业务的当前需求和所预知的未来需要。

只要数据满足定义的质量阈值，就不需要采取其他行动，这个过。从创建到处置，数据质量问题在数据生命周期的任何节点都可能出现。在调查根本原因时，分析师应该寻找潜在的原因，如数据输入、数。要求的数据，以及阻碍其实现业务目标的数据问题。的关键指标和已知的业务需求进行评估。便利益相关方能够了解补救的成本和不补救问题的风险。问题根源的坚实基础上，从问题产生的原因和影响的角度了解成本/效。数据质量业务规则描述了组织内有用数据和可用数据的存在形。如，所有州代码字段必须符合美国州缩写的业务规则，数据输入可以通。

22745是定义和交换主数据的标准，支持ISO 8000。数据质量的国际标准ISO 8000尚在开发完善中，这一标准的建立是。ISO 8000定义了数据供应链中任何组织都可以测试的一些特性，从。ISO 8000的目的是帮助组织定义什么是符合质量的数据、什么是不。将数据与软件应用分离，则认为数据是“可移植的”。可以存储数据质量度量的结果，以便在整个组织中共享这些结果，并使。软件应用使用或读取的数据，受该软件许可条款的约束，组织可能无法。符合质量的数据，使他们能够使用标准约束要求符合质量的数据，并检。

数据质量特征，以及English的实用性特征。数据是否可理解、简单、相关、可访问、2）时间问题（Timing Issues）（超出时效性本身）。2013年，DAMA UK发布了一份白皮书，描述了数据质量的6个核。用无关，实用特征是动态的，与数据表达相关，其质量价值依赖数据的。性、格式一致性），以及依赖于情境或主观解释的其他特征（可用性、（一致性、完整性、唯一性），数据是否最新（及时性）、可访问性、数据是否具有可比性，是否与其他数据。（完整性），数据是否正确（准确度、有效性），数据是否符合要求。

的性质，或者如果出现问题对组织的财务、监管或声誉的风险，来评估数据集或单个数据元素的重要性。2013年，DAMA UK发布了一份白皮书，描述了数据质量的6个核。足数据消费者应用需求的目的，就是高质量的；消费者应用需求的目的，就是低质量的。好地了解客户的质量要求，以及如何衡量数据质量。力的发展，需求会随着时间的推移而变化，因此需要进行持续的讨论。质量管理的一个原则是将改进的重点集中在对组织及其客户最重要的数。维度是衡量规则的基础，此，应衡量有可用电子邮件地址的客户的百分比，并改进流程，直到至。

由于管理数据质量涉及数据生命周期管理，因此数据质量团队还将。数据质量团队负责与业。计数据模型、安全存储和访问数据、适当地共享数据、从数据中获得知。但实现数据价值的前提是数据本。策或行动，都可能导致数据质量变差，因此产生高质量数据需要跨职能。理，提前为高质量的数据做好准备，以应对与数据相关的意外或不可接。管理实践，所有组织都会遇到与数据质量相关的问题。例如，报告数据质量水平，参与数据。展工作的人合作，以确保数据满足他们的需求，并与那些在工作过程中。创建、更新或删除数据的人合作，以确保他们正确地处理数据。

当然，出于保存历史信息的目的，数据仓库必须反映对数据共享中心所做的所有更改，而数据共享中。本身，特别是数据的血缘和波动性以及高延迟或低延迟的影响。工具有助于定义数据管理和维护的方法，同时也依赖于管理和维护的方。门和各种各样的源系统，那么他可能会决定使用一种综合的方法进行统。数据可以与另一个系统已经提供的数据相融合。仓库或数据集市中主数据的数据源，降低了数据提取的复杂性，并减少。在抉择整合方法时，需要考虑整合到主数据解决方案中的源系统的。当主数据没有清晰的记录系统时，数据共享中心的架构就显得尤为。

2.评估和评价数据源

类型、使用年限、支持的业务流程以及交易和分析中数据使用方式的影。驱动因素通常包括改善客户服务和/或运营效率，以及减少与隐私。一个实体来实施主数据工作。根据改进建议的成本/收益以及主数据主。题域的相对复杂性等因素，对主数据工作进行优先级排序。和法律法规有关的风险。障碍包括系统之间在数据含义和结构上的差。每个组织都有不同的主数据管理驱动因素和障碍，受系统的数量和。在应用程序内部定义主数据的需求相对容易，跨应用程序定义主数。有益的，有些业务部门可能还是不愿意承担这些成本。类别开始，在过程中逐步积累经验。

织扩展时管理新资源的整合，必须在主题域内为数据建模。共享中心的主题域上定义逻辑或规范模型，这将建立主题域中实体和属。主数据管理是一个数据整合的过程。为了实现一致的结果，并在组。性的企业级定义（参见第5章和第8章）。

当然，出于保存历史信息的目的，数据仓库必须反映对数据共享中心所做的所有更改，而数据共享中。本身，特别是数据的血缘和波动性以及高延迟或低延迟的影响。工具有助于定义数据管理和维护的方法，同时也依赖于管理和维护的方。门和各种各样的源系统，那么他可能会决定使用一种综合的方法进行统。数据可以与另一个系统已经提供的数据相融合。仓库或数据集市中主数据的数据源，降低了数据提取的复杂性，并减少。在抉择整合方法时，需要考虑整合到主数据解决方案中的源系统的。当主数据没有清晰的记录系统时，数据共享中心的架构就显得尤为。

造成数据问题的根本原因并解决问题。不要想当然地认为数据是高质量的——假定数据质量不高才比较稳妥，应将评估数据质量及其与主数据。一致（参见第3章和第13章）。评估数据源的另一目标是了解数据的质。结构和内容以及收集或创建数据的过程是很重要的。结果之一可能是通过评估现有数据的质量来改进元数据。目标之一是根据组成主数据的属性来了解数据的完整性。阐明这些属性的定义和粒度。数据质量问题会使主数据项目复杂化，因此评估过程应该包括找出。现有应用中的数据构成了主数据管理工作的基础，理解这些数据的。环境的适配性的工作常态化。

类型、使用年限、支持的业务流程以及交易和分析中数据使用方式的影。驱动因素通常包括改善客户服务和/或运营效率，以及减少与隐私。一个实体来实施主数据工作。根据改进建议的成本/收益以及主数据主。题域的相对复杂性等因素，对主数据工作进行优先级排序。和法律法规有关的风险。障碍包括系统之间在数据含义和结构上的差。每个组织都有不同的主数据管理驱动因素和障碍，受系统的数量和。在应用程序内部定义主数据的需求相对容易，跨应用程序定义主数。有益的，有些业务部门可能还是不愿意承担这些成本。类别开始，在过程中逐步积累经验。

3）混合模式（Consolidated）。混合模式是注册表和交易中心的混。记录系统管理应用程序本地的主数据。主数据在一个公共存储库。中被合并，并经由数据共享中心实现共享，如此消除了从记录系统直接。混合法在提供企业视图的同时，能尽量减少对记录系。统的影响，但是它需要在系统间进行数据复制，而且数据中心和记录系。

域都可能有自己的记录系统（System of Record）。记录系统的角色，而ERP系统则可以起到企业财务数据及产品数据记录。通常被用作员工数据的记录系统，客户关系管理系统可以充当客户数据。图10-3中的数据共享中心结构模型展示的就是主数据的星形架构。主数据中心可以处理与分支项目（源系统、业务应用和数据存储等）的。交互，同时将交互点数量降到最低。本地数据中心可以扩展并延伸主数。参考数据和主数据的整合有几种基本的架构方法。据中心（参见第8章）

实体解析和标识符管理。实体解析是一个决策过程，执行过程的模型根据它。局标识符连接起来，这个标识符能够表明它们是等价的（Talburt，配和合并记录的过程实现了主数据集的构建，所以实体解析过程对于主。管理、关系分析），这些活动能够使实体、实例的身份以及实体、实例。在实例解析过程中，通过一个判定是否的过。程，两个实例可能会被认定为是代表同一实体。假阳性导致一个标识符指向多个现实世界的实体实。两个对现实世界对象的引用到底是指同一对象还是不同对象的过程。实体解析包括一系列活动（实例提取、实例准备、实例解析、身份。

据看起来也可能不同，见表10-8，其中存在姓名、地址和电话号码信息。从规划、评估和合并新的数据源到确定主数据管理解决方案，必须。②使用数据清理和数据分析工具进行快速、即时、匹配和高级的数。③评估数据并将数据整合的复杂性传递给请求者，以帮助他们进行。即使在给定的数据源中，表示同一实体、实例的数。是一个可靠的、可重复的过程。⑥确定由谁负责监控和维护新数据源数据的质量。④试点数据采集及其对匹配规则的影响。①接收并应对新的数据源采集的要求。⑤为新数据源确定数据质量指标。主数据管理系统接收的源数据。

主数据管理的关键处理步骤如图10-2所示，包括数据模型管理、数。行物理实例化，它指导主数据管理解决方案的实施，并提供数据整合服。逻辑数据模型还应该指导如何配置应用程序，以便让数据协。据采集、数据验证、标准化和数据丰富、实体解析、管理和共享。在一个全面的主数据管理环境中，逻辑数据模型会在多个平台上进。4）主数据管理的关键处理步骤。调及数据质量验证能力发挥作用。

合并或拆分参考数据和主数据的操作都应该是可追溯的。②对参考数据的更改应该遵循一个明确的流程：在实施变更之前应。改变数据值的匹配规则，应该在有关监督下谨慎地运用。2）促使企业在各业务单元和各应用系统之间共享参考数据和主数。3）通过采用标准的、通用的数据模型和整合模式，降低数据使用。为了能在组织中实现参考数据和主数据共享，必须。参考数据和主数据的所有权属于整个组织，而不是属。①在给定的时间点，主数据值应该代表组织对准确和最新内容的最。参考数据和主数据需要持续的数据质量监控和治理。和数据整合的成本及复杂性。

成到一个已经很复杂的环境中成本会更高，这减少了因对关键实体的定义和识别方式的变化而产生的额外成本。据集，并且他们都相信这些数据集是完整的、最新的、一致的。组织中的多个业务领域需要访问相同的数。3）管理数据集成的成本。在没有主数据的情况下，将新数据源集。参考数据管理的驱动因素与主数据的相似，集中管理的参考数据会。1）通过使用一致的参考数据，满足多个项目的数据需求，降低数。参考数据和主数据语境关系图如图10-1所示。客户，就要先对客户有一个统一的定义）。要的实体，以降低这些风险。据整合的风险和成本。

特别是在大型组织中，各种项目和方案、合并和收购以及其。他商业活动导致存在多套在本质上作用相同的系统，它们相互隔离，无。以上这些情况不可避免地导致了系统间数据结构和数据值的不。一致，从而增加了成本和风险。组织可以通过对参考数据和主数据的管。在大多数组织中，系统和数据的变化速度比数据管理专业人员所希。参考数据和主数据语境关系图如图10-1所示。理来降低成本和风险。

效性可以根据元数据本身的完整性、与其关联的日常管理操作以及元数。员覆盖范围，以及职位描述中的角色定义说明，来评估的组织对元数据。主数据服务上的元数据帮助开发人员决定新的开发任务可以使用哪。对、测量二者匹配的程度以及随时间推移的变化趋势。是度量具有定义的属性的百分比，以及随着时间的推移而发生变化的趋。风险评估的一部分，将数据使用者搜索信息所花费的时间作为评估指。熟度评估方法，开发用于判断企业元数据成熟度的指标（参见第15。估元数据文档的质量。要想测量元数据的影响，就需要验证缺少元数据导致的影响。

从非托管环境转移到托管环境需要工作和规范，而即使大多数人已认识。到可靠元数据的价值，也不容易做到这一点。据需要组织中各团队的协调和承诺，它们可能是员工身份数据、保险单。需要寻找一个合适的案例试点，在这个案例。中，控制元数据将为公司的数据带来显而易见的质量效益，从具体的业。与其他数据管理工作一样，元数据计划经常遇到文化阻力。元数据管理在许多组织中是一项低优先级的工作。企业数据治理战略的实现需要高级管理层的支持和参与，要求业务。人员和技术人员能够以跨职能的方式紧密合作。个主要关注点，治理和控制的方法也是如此。

处理和使用元数据的工具集成到元数据存储库中作。元数据可以手动输入，也可以通过专门的连接器从其他各种源中提取。混合型元数据架构模型或大型企业架构中。的元数据与其他元数据存储库进行交换，支持采集多种多样的、不同来。源的元数据到中央仓库中，支持有差异的元数据在两个存储库迁移时进。管理元数据的主要工具是元数据存储库。元数据存储库包括整合层。元数据管理工具提供了在集中位置（存储库）管理元数据的功能。元数据管理工具和存储库本身也是一种元数据的数据源，特别是在。元数据存储库还提供与其他系统交换元数据的功能。

决策（操作型、运营型和战略型）以及业务语义（业务所述内容及其含。义）方面使用元数据。元数据存储库应具有前端应用程序，并支持查询。和获取功能，从而满足以上各类数据资产管理的需要。同，后者可能会包括有助于新功能开发（如变更影响分析）或有助于解。决数据仓库和商务智能项目中数据定义问题（如数据血缘关系报告）的。的应用界面和功能与提供给技术用户和开发人员的界面和功能有所不。元数据指导如何使用数据资产：在商务智能（报表和分析）、商业。查询、报告和分析元数据。

元数据可传递给数据消费者和需要处理元数据的应用或工具。1）元数据内部网站，提供浏览、搜索、查询、报告和分析功能。3）数据仓库、数据集市和BI（商务智能）工具。7）外部组织接口方案（如供应链解决方案）。6）Web服务和应用程序接口（API）。2）报告、术语表和其他文档。4）建模和软件开发工具。5）消息传送和事务。