特征选择

• 特征选择方法有很多，一般分为三类：第一类过滤法比较简单，它按照特征的发散性或者相关性指标对各个特征进行评分，设定评分阈值或者待选择阈值的个数，选择合适特征。第二类是包装法，根据目标函数，通常是预测效果评分，每次选择部分特征，或者排除部分特征。第三类嵌入法，它先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据权值系数从大到小来选择特征。类似于过滤法，但是它是通过机器学习训练来确定特征的优劣，而不是直接从特征的一些统计学指标来确定特征的优劣。
• 过滤法选择特征

1.方差筛选，方差越大的特征越有用
2.相关系数。主要用于输出连续值的监督学习算法中。分别计算所有训练集中各个特征与输出值之间的相关系数，设定一个阈值，选择相关系数较大的部分特征。
3.假设检验，比如卡方检验。卡方检验可以检验某个特征分布和输出值分布之间的相关性。除了卡方检验，还有F检验和t检验，它们都是使用假设检验的方法，只是使用的统计分布不是卡方分布，而是F分布和t分布。
4.互信息，即从信息熵的角度分析各个特征和输出值之间的关系评分。在决策树算法中我们讲到过互信息（信息增益）。互信息值越大，说明该特征和输出值之间的相关性越大，越需要保留。

• 包装法选择特征

递归消除特征法，使用一个机器学习模型来进行多轮训练，每轮训练后，消除若干权值系数的对应的特征，再基于新的特征集进行下一轮训练。

• 嵌入法选择特征

最常用的是使用L1正则化和L2正则化来选择特征。选择特征系数较大的特征。常用的L1正则化和L2正则化来选择特征的基学习器是逻辑回归。此外也可以使用决策树或者GBDT。
一般来说，可以得到特征系数或者可以得到特征重要度的算法才可以做为嵌入法的基学习器。