数据质量和元数据

数据质量和元数据

元数据对于管理数据质量至关重要。数据的质量取决于它如何满足

数据消费者的需求。元数据定义数据所代表的内容，拥有一个强大的数

据定义流程，有助于组织正式确定和记录用于衡量数据质量的标准和要

求。数据质量是为了满足预期，而元数据是阐明期望的主要手段。

管理良好的元数据还可以支持改进数据质量的工作。元数据存储库

可以存储数据质量度量的结果，以便在整个组织中共享这些结果，并使

数据质量团队就优先级和改进驱动因素达成共识（参见第12章）。

5.数据质量ISO标准

数据质量的国际标准ISO 8000尚在开发完善中，这一标准的建立是

为了使复杂数据能够以与应用无关的形式进行交换。在关于标准的介绍

中，ISO声称：“为了能够以及时和经济高效的方式创建、收集、储存、

维护、转移、处理和呈现数据以支持业务流程，既需要了解决定其数据

质量的特征，也需要具有能够对数据质量进行测量、管理和报告的能

力。”

ISO 8000定义了数据供应链中任何组织都可以测试的一些特性，从

而可以客观地确定数据与ISO 8000之间是否具有一致性[8]。

ISO

8000发布的第一部分（第110部分，2008年发布）着重于语

法、语义编码和主数据规范的一致性。该标准的其他部分包括第100部

分——引言、第120部分——出处、第130部分——准确性和第140部分

——完备性[9]。

ISO将质量数据定义为“符合规定要求的可移植数据”[10]。这个数据

质量标准与ISO在数据可移植性和保存方面的总体工作有关。如果可以

将数据与软件应用分离，则认为数据是“可移植的”。只能通过特定许可

软件应用使用或读取的数据，受该软件许可条款的约束，组织可能无法

使用它创建的数据，除非该数据可以从创建它的软件中分离出来。

为满足规定的要求，需要以清晰、明确的方式定义这些要求。ISO

22745是定义和交换主数据的标准，支持ISO 8000。ISO 22745定义了如

何构造数据需求语句，并以XML为例定义了编码数据交换的格式[11]。ISO 22745通过使用兼容ISO 22745的开放技术词典来创建可移植数据，

如ECCMA开放式技术词典（

eOTD）。

ISO 8000的目的是帮助组织定义什么是符合质量的数据、什么是不

符合质量的数据，使他们能够使用标准约束要求符合质量的数据，并检

核他们已经收到了符合同一质量标准的数据。当遵循标准时，就可以通

过计算机程序确认数据是否已经满足需求。

ISO 8000第61部分“信息和数据质量管理过程参考模型”正在开发中

[12]。该标准描述数据质量管理的结构和组织，包括：

1）数据质量规划。

2）数据质量控制。

3）数据质量保证。

4）数据质量改进。

6.数据质量改进生命周期

大多数改进数据质量的方法都是基于物理产品制造过程中的质量改

进技术[13]。就此而言，数据被理解为一系列过程的产物。简单地说，

过程被定义为一系列将输入转化为输出的步骤。创建数据的过程可能由

一个步骤（数据收集）或多个步骤组成：数据收集、集成到数据仓库、

数据集市聚合等。在任何步骤中，数据都可能受到负面的影响，它可能

被错误地收集、在系统之间丢弃或重复收集、对齐或汇总不正确等。提

高数据质量需要能够评估输入和输出之间的关系，以确保输入满足过程

的要求，并且输出符合预期。由于一个流程的输出成为其他流程的输

入，因此必须沿着整个数据链定义需求。

数据质量改进的常用方法如图13-3所示，是戴明环的一个版本

[14]。基于科学的方法，戴明环是一个被称为“计划-执行-检查-处理”的

问题解决模型。改进是通过一组确定的步骤来实现的。必须根据标准测

量数据状况，如果数据状况不符合标准，则必须确定并纠正与标准不符

的根本原因。无论是技术性的，还是非技术性的，根本原因可能都会在

处理过程的某一步骤中找到。一旦纠正，应监控数据以确保其持续满足

要求。