​特征工程系列：特征预处理（上）

特征工程系列：特征预处理（上）

关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~

0x00 前言

数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。

那特征工程是什么？

特征工程是利用数据领域的相关知识来创建能够使机器学习算法达到最佳性能的特征的过程。

虽然我们也有自动的机器学习框架，如 AutoML（但该框架也强调了它需要好的特征才能跑出好的效果！）。特征工程永不过时，即使对于自动化方法，其中也有一部分经常需要根据数据类型、领域和要解决的问题而设计特殊的特征。

特征工程又包含了Data PreProcessing（数据预处理）、Feature Extraction（特征提取）、Feature Selection（特征选择）和Feature construction（特征构造）等子问题，而数据预处理又包括了数据清洗和特征预处理等子问题，本章内容主要讨论数据预处理的方法及实现。

0x01 特征预处理介绍

特征预处理包括无量纲化、特征分桶、统计变换和特征编码等步骤，详情可参考下图：

0x02 数值型特征无量纲化

我们的数据一般都是有单位的，比如身高的单位有m，cm，这个无量纲化并不是说把m变成cm，而是说，无论是m还是cm，最后都会变成1，也就是没有了单位。

无量纲化使不同规格的数据转换到同一规格。常见的无量纲化方法有标准化和归一化。

数据标准化的原因：

• 某些算法要求样本具有零均值和单位方差；

• 需要消除样本不同属性具有不同量级时的影响。

  • 归一化有可能提高精度；

    数量级的差异将导致量级较大的属性占据主导地位，从而与实际情况相悖（比如这时实际情况是值域范围小的特征更重要）；

  • 数量级的差异将导致迭代收敛速度减慢；

    当使用梯度下降法寻求最优解时，很有可能走“之字型”路线（垂直等高线走），从而导致需要迭代很多次才能收敛；

  • 依赖于样本距离的算法对于数据的数量级非常敏感。

1.数据标准化（Standardization）

标准化的前提是特征值服从正态分布，标准化后，其转换成标准正态分布。

1）定义

基于原始数据的均值（mean）和标准差（standarddeviation）进行数据的标准化。将A的原始值x使用z-score标准化到x’。z-score标准化方法适用于属性A的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。

标准化公式：

均值和标准差都是在样本集上定义的，而不是在单个样本上定义的。标准化是针对某个属性的，需要用到所有样本在该属性上的值。

2）标准化效果

3）优缺点

优点：

Z-Score最大的优点就是简单，容易计算，Z-Score能够应用于数值型的数据，并且不受数据量级的影响，因为它本身的作用就是消除量级给分析带来的不便。

缺点：

• 估算Z-Score需要总体的平均值与方差，但是这一值在真实的分析与挖掘中很难得到，大多数情况下是用样本的均值与标准差替代；

• Z-Score对于数据的分布有一定的要求，正态分布是最有利于Z-Score计算的；

• Z-Score消除了数据具有的实际意义，A的Z-Score与B的Z-Score与他们各自的分数不再有关系，因此Z-Score的结果只能用于比较数据间的结果，数据的真实意义还需要还原原值；

• 在存在异常值时无法保证平衡的特征尺度。

4）实现代码：

from sklearn.preprocessing import StandardScaler#标准化&#