CDGA学习笔记四-《主数据》、《数仓与商务智能》

 十、参考数据和主数据

• 在任何组织中都存在一些需要跨业务领域、跨流程和跨系统使用的数据，如果这些数据可以共享，那么整个组织及其客户都会从中受益。
• 数据使用者在看到不一致的数据之前，通常都会假设这些数据在组织中具有一定的一致性。
• 系统之间数据结构和数据值的不一致，增加成本和风险。

10.1引言

10.1.1 业务驱动因素

• 1）满足组织数据需求。组织中的多个业务领域需要访问相同的数据集，并且他们都相信这些数据集是完整的、最新的、一致的。主数据通常是这些数据集的基础（例如，要想确定一个分析是否需要包含所有客户，就要先对客户有一个统一的定义）
• 2）管理数据质量。数据的不一致、质量问题和差异均会导致决策错误或丧失机会。主数据管理通过使用统一的标识来定义对组织至关重要的实体，以降低这些风险。
• 3）管理数据集成的成本。在没有主数据的情况下，将新数据源集成到一个已经很复杂的环境中成本会更高，这减少了因对关键实体的定义和识别方式的变化而产生的额外成本。
• 4）降低风险。主数据简化了数据共享架构，从而降低了与复杂环境相关的成本和风险。

集中管理的参考数据会使组织获得如下好处：

• 1）通过使用一致的参考数据，满足多个项目的数据需求，降低数据整合的风险和成本
• 2）提升参考数据的质量

10.1.2 目标和原则  

记忆小技巧：降低成本永远是目标，不是原则

目标：

• 1）确保组织在各个流程中都拥有完整、一致、最新且权威的参考数据和主数据
• 2）促使企业在各业务单元和各应用系统之间共享参考数据和主数据
• 3）通过采用标准的、通用的数据模型和整合模式，降低数据使用和数据整合的成本及其复杂性。

原则：

• 1）共享数据。为了能在组织中实现参考数据和主数据共享，必须把这些数据管理起来。
• 2）所有权。参考数据和主数据的所有权属于整个组织，而不是属于某个应用系统或部门。因为需要广泛共享，所以需要全局的组织管理。
• 3）质量。参考数据和主数据需要持续的数据质量监控和治理。
• 4）管理职责。业务数据管理专员要对控制和保证参考数据的质量负责。
• 5）控制变更：①在给定的时间点，主数据值应该代表组织对准确和最新内容的最佳理解。改变数据值的匹配规则，应该在有关监督下谨慎地运用。任何合并或拆分参考数据和主数据的操作都应该是可追溯的。②对参考数据的更改应该遵循一个明确的流程：在实施变更之前应该进行沟通并得到批准
• 6）权限。主数据值应仅从记录系统（System of Record）中复制。为了实现跨组织的主数据共享，可能需要建立一个参考数据管理系统（System of Reference）

10.1.3 基本概念

1、主数据和参考数据的区别

奇泽姆六层数据分类法

• 元数据、参考数据、企业结构数据、交易结构数据、交易活动数据和交易审计数据
• 主数据定义为参考数据、企业结构数据和交易结构数据的聚合

1）参考数据：如代码表和描述表，仅用于描述组织中的其他数据，或者仅用于将数据库中的数据与组织之外的信息联系起来。

2）企业结构数据：例如，会计科目表，能够按业务职责描述业务活动。

3）交易结构数据：例如，客户标识符，描述了交易过程中必须出现的一些要素（产品、客户、供应商 等）

*考点：主数据定义、面临挑战

• 主数据是以与业务活动相关的通用和抽象概念形式提供业务活动语境的数据，包括业务交易中涉及的内部和外部对象的详细信息（定义和标识符），如客户、产品、雇员、供应商和受控域（代码值）”
• 主数据面临的主要挑战是实体解析，也称身份管理，它是识别和管理来自不同系统和流程的数据之间的关联的过程。
• 参考数据不易变化，它的数据集通常会比交易数据集或主数据集小、复杂程度低，拥有的列和行也更少。参考数据不包括实体解析。

参考数据和主数据的管理重点不同：

• 1）参考数据管理（RDM）。需要对定义的域值及其定义进行控制。参考数据管理的目标是确保组织能够访问每个概念的一整套准确且最新的值。
• 2）主数据管理（MDM）。需要对主数据的值和标识符进行控制，以便能够跨系统地、一致地使用核心业务实体中最准确、最及时的数据。目标包括确保当前值的准确性和可用性，同时降低由那些不明确的标识符所引发的相关风险。（如那些 被识别为具有多个实例的实体和那些涉及多个实体的实例，如多个用户）

2、参考数据

是指可用于描述或分类其他数据，或者将数据与组织外部的信息联系起来的任何数据。

最基本的参考数据由代码和描述组成，但是有些参考数据可能更复杂，还包含映射和层次结。

参考数据常用的存储技术包括：

• 1）关系数据库中的代码表
• 2）参考数据管理系统
• 3）用特定于对象属性的元数据指定允许值，重点在于应用程序的调用接口或用户界面访问。

（1）参考数据结构

• 1）列表：由代码值和代码描述组成的列表。
• 2）交叉参考数据列表：不同的应用程序可以使用不同的代码集表示相同的概念。
• 3）分类法：根据不同级别的差异性获取信息/利用内容分类和多方位的导航以支持商务智能/也可以维护数据层次信息
• 4）本体：将用于管理网站内容的本体作为参考数据的一部分。

（2）专有或内部参考数据:创建参考数据来支持内部流程和应用

（3）行业参考数据:用于描述由行业协会或政府机构而不是由某个组织创建和维护的数据集

（4）地理或地理统计参考数据

（5）计算参考数据:如外汇依赖于及时更新的交换汇率值表

（6）标准参考数据集的元数据

3、主数据

主数据是有关业务实体的数据（如雇员、客户、产品、金融结构、资产和 位置等），这些实体为业务交易和分析提供了语境信息。

一般组织的主数据包括下列事物的数据：

• 1）参与方：个人和组织，以及他们扮演的角色，如客户、公民、病人、厂商、供应商、代理商、商业伙伴、竞争者、雇员或学生等
• 2）产品和服务：包括内部和外部的产品及服务
• 3）财务体系：如合同、总账、成本中心、利润中心
• 4）位置信息：如地址和GPS坐标

（1）记录系统，参考系统（都是权威系统）

• 记录系统是一个权威的系统，它通过使用一套定义好的规则和预期来创建、获取并维护数据。
• 参考系统也是一个权威系统，数据消费者可以从参考系统中获得可靠的数据来支持交易和分析，即使这些信息并非起源于参考系统。
• 主数据管理应用（MDM）、数据共享中心（DSH）、数据仓库DW通常会被用作参考系统