特征选择

一、特征选择的用处

减少特征数量，缩短建模时间，提高建模效率，大数据集 带来的关键信息只聚集在部分或少数特征上，因此需要：

  从中选择出重要的特征使得后续的建模过程只在一部分的特征上构建， 减少维数灾难 出 现的可能。

 

  去除不相关的特征，留下关键因素，降低学习任务难度 ，更容易挖掘数据本身带有的规 律；同时在特征选择的过程中，会对数据特征的理解更加充分。

 

二、特征来源

1.业务已经整理好各种特征数据，即业务指标，有时称为属性，我们需要去找出适合我们问题需要的特征。 该类特征通常是业务专家指出，通常是挖掘遇到的最初数据来源，是已有特征，也称原始特征。

2.从业务特征中自己去寻找高级数据特征，如若干原始特征的组合后形成一个新特征，即特征衍生

三、特征选择的方法

特征选择方法有很多，主要包含特征减少和特征扩增。

 特征减少

 单变量特征选择方法

  Filter（过滤法）

基于模型的特征选择方法 （非单变量特征选择方法）

  Wrapper（包装法） <