特征选择方法学习笔记（二）

     之前看过了mRMR的方法了，从特征与目标的最大相似度和特征与特征间的最小冗余出发来寻找特征子集。这样的方法的确是不错的，在实验中取得了鲁棒的效果。但是经过和别的方法对比后发现，该方法目前在选择特征上以及不能算登峰造极了。或许大家仔细思考后可以发现，这个方法最大的一个短板就是对我们定义的相似度函数以及冗余函数敏感。也就是说我们定义不同的相似度函数和冗余函数可能造成差距较大的结果。而我们又如何保证自己定义的相似度函数和冗余函数就是最好的呢？或许今后在这两个函数上加以改进，又可以从这个角度出发得到一个更完美的结果。

     今天我们再换一个角度来看特征选择的问题。既然我们还没有办法很好的从微观上定义每个特征与目标的相似度以及特征间的冗余度，那么我们何不单刀直入，从宏观上直接对所有特征一起下手。也就是直接把所有特征放到一起，构造一个目标函数，然后优化它求得最合适的特征子集。那么方法可以达到这样的效果呢？其实单刀直入的一起优化不难理解，如果我们不要求选择特征子集，那么训练分类器所用到的目标函数（最小二乘的形式或者SVM的那个hinge loss的形式）就是把所有特征放到一起来优化，在这个情况下我们需要求得的是每个特征前面的权值。说到这儿，可能有的看官已经想到了，权值不就代表着特征的重要程度吗？如果按照权值的大小给特征的重要性排个序，那么不就选择除了相对重要的特征吗？如果你想到了这一步，恭喜你具备了敏锐的观察力和分析能力。如果你能继续想到这样做唯一的一个缺点就是如果粗暴的截取排序在前的一部分特征可能效