一文看懂数据预处理最重要的3种思想和方法

导读：本文我们考虑应当采用哪些预处理步骤，让数据更加适合挖掘。数据预处理是一个广泛的领域，包含大量以复杂的方式相关联的不同策略和技术。我们将讨论一些最重要的思想和方法，并试图指出它们之间的相互联系。

作者：陈封能（Pang-Ning Tan）、迈克尔·斯坦巴赫（Michael Steinbach）等

来源：大数据DT（ID：hzdashuju）

这些重要的思想和方法，具体地说包括：

• 聚集

• 抽样

• 维归约

• 特征子集选择

• 特征创建

• 离散化和二元化

• 变量变换

粗略地说，这些主题分为两类，即选择分析所需要的数据对象和属性，以及创建/改变属性。这两种情况的目标都是改善数据挖掘分析工作，减少时间，降低成本，提高质量。

本文将讨论聚集、抽样、维归约的细节，其余主题请关注大数据DT后续文章，或阅读《数据挖掘导论》（原书第2版）一书第2.3节。

术语注记：在下面的内容中，我们有时根据习惯用法，使用特征（feature）或变量（variable）指代属性（attribute）。

01 聚集

有时，“少就是多”，而聚集就是如此。聚集（aggregation）将两个或多个对象合并成单个对象。考虑一个由事务（数据对象）组成的数据集，它记录一年中不同日期在各地（Minneapolis Chicago……）商店的商品日销售情况，见表2.4。

对该数据集的事务进行聚集的一种方法是，用一个商店的事务替换该商店的所有事务。这把每天出现在一个商店的成百上千个事务记录归约成单个日事务，而每天的数据对象的个数减少为商店的个数。

▲表2.4 包含顾客购买信息的数据集

在这里，一个显而易见的问题是如何创建聚集事务，即在创建代表单个商店或日期的聚集事务时，如何合并所有记录的每个属性的值。定量属性（如价格）通常通过求和或求平均值进行聚集。定性属性（如商品）可以忽略，也可以用更高层次的类别来概括，例如电视和电子产品。

表2.4中的数据也可以看作多维数组，其中每个属性是一个维。从这个角度，聚集是删除属性（如商品类型）的过程，或者是压缩特定属性不同值个数的过程，如将日期的可能值从365天压缩到12个月。这种类型的聚集通常用于