从0到1详解数据挖掘过程

导读：数据挖掘过程包含数据清洗、特征提取、算法设计等多个阶段，本文将讨论这些阶段。

作者：查鲁·C.阿加沃尔（Charu C. Aggarwal）

来源：大数据DT（ID：hzdashuju）

01 数据挖掘过程

典型数据挖掘应用的过程包含以下几个阶段。

1. 数据采集

数据采集工作可能是使用像传感器网络这样的专门硬件、手工录入的用户调查，或者如Web爬虫那样的软件工具来收集文档。虽然这个阶段与具体应用息息相关，但常常落在数据挖掘分析师们所考虑的范围之外，而这个阶段对数据挖掘过程也是至关重要的，因为这一阶段所做的选择会明显地影响整个数据挖掘过程。

采集阶段产生的数据通常会先存入数据库，广义上称为数据仓库，然后进行处理。

2. 特征提取和数据清洗

上述采集阶段得到的数据，其格式往往不适合直接进行处理。例如，采集来的数据可能是使用复杂编码的日志或自由格式的文档，并在许多情况下，各种类型的数据又任意地混合在一起，形成自由格式的文档。

要使这样的数据适合进一步加工，有必要把它们转化为对数据挖掘算法较为合适的格式，比如多维数据、时序数据或者半结构化数据等。

多维数据是最常见的格式，其不同的字段对应于可以称为特征、属性或维度的各种测量属性。抽取这些特征是数据挖掘的一个至关重要的阶段，而特征提取阶段通常与数据清洗阶段并行进行，以便估计或校正丢失的数据以及错误的数据。

另外，在许多情况下，数据可能从多个来源聚集而成，进行处理时需要把它们转换为统一的格式。上述过程的最终结果是一个有较好结构的数据集，可以由计算机程序有效地使用。在特征提取阶段之后，数据可以存回到数据库中用于进一步的处理。

3. 分析处理和算法

数据挖掘过程的最后一步是为处理过的数据设计有效的分析方法。在许多情况下，不太可能将手头的应用直接转化成一个标准的数据挖掘问题，比如转化成关联模式挖掘、聚类、分类以及异常检测这四个“超级问题”中的某一个。

但这四个超级问题具有很广泛的覆盖性