定义高质量数据

1 定义高质量数据

许多人看到质量差的数据时都能辨识出，但是很少有人能够定义高

质量数据，或者他们用非常不严谨的术语定义它：“数据必须是正确

的”“我们需要准确的数据”。高质量的数据能满足数据消费者的需要。

在启动数据质量方案之前，有益的做法是了解业务需求、定义术语、识

别组织的痛点，并开始就数据质量改进的驱动因素和优先事项达成共

识。根据一组问题，可以了解当前状态，并评估组织对数据质量改进的

准备情况。

1）“高质量数据”是什么意思？

2）低质量数据对业务运营和战略的影响是什么？

3）更高质量的数据如何赋能业务战略？

4）数据质量改进需要哪些优先事项的推动？

5）对低质量数据的容忍度是多少？

6）为支持数据质量改进而实施的治理是什么？

7）配套实施的治理结构是什么？

要全面了解组织中数据质量的当前状态，需要从不同的角度来探讨

这个问题：

1）了解业务战略和目标。

2）与利益相关方面谈，以识别痛点、风险和业务驱动因素。

3）通过资料收集和其他剖析形式直接评估数据。

4）记录业务流程中的数据依赖关系。

5）记录业务流程的技术架构和系统支持。

上述评估过程可以揭示大量的机会，这需要根据对组织的潜在利益

进行优先排序。利用利益相关方（包括数据管理专员、业务和技术领域

专家）的输入，数据质量团队应定义数据质量的含义并提出项目优先

级。13.2.2 定义数据质量战略

提高数据质量要有一定的战略，应考虑到需要完成的工作以及人们

执行这些工作的方式。数据质量优先级必须与业务战略一致。采纳或开

发一个框架及方法论将有助于指导战略和开展战术，同时提供衡量进展

和影响的方法。一个框架应包括以下方法：

1）了解并优先考虑业务需求。

2）确定满足业务需求的关键数据。

3）根据业务需求定义业务规则和数据质量标准。

4）根据预期评估数据。

5）分享调查结果，并从利益相关方那里获得反馈。

6）优先处理和管理问题。

7）确定并优先考虑改进机会。

8）测量、监控和报告数据质量。

9）管理通过数据质量流程生成的元数据。

10）将数据质量控制集成到业务和技术流程中。

框架还应该考虑如何管理数据质量以及如何利用数据质量工具。如

引言一节所述，提高数据质量需要数据质量团队吸引业务和技术人员，

定义一个解决关键问题的工作计划和最佳实践，并制定支持数据质量持

续管理的操作流程。这样的团队通常是数据管理组织的一部分，数据质

量分析人员需要与各级数据管理专员密切合作，并对制度施加影响，包

括有关业务流程和系统开发的制度，即使这样的团队还是无法解决组织

面临的所有数据质量的挑战。数据质量工作和对高质量数据的承诺需要

嵌入组织实践。数据质量策略应该说明如何扩展最佳实践（参见第17

章）。

13.2.3 识别关键数据和业务规则

并非所有的数据都同等重要。数据质量管理工作应首先关注组织中

最重要的数据：如果数据质量更高，将为组织及其客户提供更多的价

值。可以根据监管要求、财务价值和对客户的直接影响等因素对数据进行优先级排序。通常，数据质量改进工作从主数据开始，根据定义，主

数据是任何组织中最重要的数据之一。重要性分析结果是一个数据列

表，数据质量团队可以使用该结果聚焦他们的工作。

在确定关键数据之后，数据质量分析人员需要识别能描述或暗示有

关数据质量特征要求的业务规则。通常，规则本身并没有明确的文档记

录，它们可能需要通过分析现有的业务流程、工作流、规则、政策、标

准、系统编辑、软件代码、触发器和过程、状态代码分配和使用以及简

单的常识进行逆向还原。例如，如果一家营销公司的目标锁定在特定人

群，那么数据质量的潜在指标可能是人口统计领域（出生日期、年龄、

性别和家庭收入等）的人口水平和合理性。

识别能描述或暗示有关数据质量特征要求的业务规则。大多数业务

规则都与如何收集或创建数据相关，但数据质量度量则围绕数据是否被

适当使用进行。数据创建和数据使用是相关的，人们之所以想使用数

据，正是因为它代表的含义以及数据创建。例如，要了解一个组织在某

季度或某一段时间内的销售业绩，需要依靠有关销售流程的可靠数据

（销售的数量和单位、销售给老客户和新客户的数量对比等）。

知道数据的所有使用方法是不可能的，但可以理解创建或收集数据

的过程和规则。描述数据是否适合使用的度量，应该根据已知用途和基

于数据质量指标（完整性、一致性、有效性、完整性等）的可测量规则

进行开发，这些有意义的指标提供了测量的基础。分析师通过质量指标

描述了规则（如字段x是强制的，必须有值）和结果（实际上，该字段

3%的记录未被填充，是空的；数据完整性仅为97%）。

在字段或列的级别，规则可以比较简单。完整性规则反映了字段是

强制的还是可选的，如果是可选的，还反映了填充字段的条件。有效性

规则依赖于规定有效值的域以及在某些情况下字段之间的关系。例如，

美国邮政编码本身必须是有效的，并且与美国国家代码正确关联；应在

数据集级别定义规则，如每个客户都必须有一个有效的邮寄地址。

因为大多数人不习惯用规则来思考数据，故定义数据质量规则具有

很大挑战性。有必要向利益相关方询问相关业务流程的输入和输出需求

来间接了解规则，这样有助于了解痛点、数据丢失或不正确时会发生什

么、如何识别问题、如何识别坏数据等。请记住，为了评估数据，不需

要一次了解所有规则。发现和完善规则是一个持续的过程，获得规则的最好方法之一是分享评估结果，这些结果通常会让利益相关方对数据有

一个新的视角，告诉他们想知道的数据信息，帮助他们更清晰地阐明规

则。

13.2.4 执行初始数据质量评估

一旦确定最关键的业务需求和支持它们的数据，数据质量评估的最

重要部分就是实际查看数据、查询数据，以了解数据内容和关系，以及

将实际数据与规则和期望进行比较。第一次这样做时，分析人员会发现

许多事情：数据中未被记录的依赖关系、隐含规则、冗余数据、矛盾数

据等，当然还有实际符合规则的数据。在数据管理专员、其他领域专家

和数据消费者的帮助下，数据治理分析人员需要对调查结果进行分类并

确定其优先级。

初始数据质量评估的目标是了解数据，以便定义可操作的改进计

划。通常最好从聚焦一项较小工作开始——一个基本的概念证明

（

Proof of Concept，POC）——来演示改进过程是如何工作的。步骤包

括：

1）定义评估的目标。这些目标将推动工作进展。

2）确定要评估的数据。重点应放在一个小的数据集，甚至一个数

据元素，或一个特定的数据质量问题上。

3）识别数据的用途和数据的使用者。

4）利用待评估的数据识别已知风险，包括数据问题对组织过程的

潜在影响。

5）根据已知和建议的规则检查数据。

6）记录不一致的级别和问题类型。

7）根据初步发现进行额外的深入分析，以便：

①量化结果。

②根据业务影响优化问题。

③提出关于数据问题根本原因的假设。

8）与数据管理专员、领域专家和数据消费者会面，确认问题和优

先级。9）使用调查结果作为规划的基础。

①解决问题，最好是找到问题的根本原因。

②控制和改进处理流程，以防止问题重复发生。

③持续控制和汇报。

13.2.5 识别改进方向并确定优先排序