特征选择方法学习笔记（一）

     今天开始会持续学习一些state-of-art的特征选择方法，跟大家分享一下学习的心得和这些方法的主要思想，希望能对同志们的工作有所启发。

     首先我们看的是一篇2005年发表在PAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence）上的文章《Feature Selection Based on Mutual Information: Criteria of Max-Dependency, Max-Relevance, and Min-Redundancy》。之所以先看这篇是因为在实验中我首先跟这篇文章中的方法做的比较，发现这个里面提到的mRMR方法鲁棒性较好，在各个数据集上的分类准确率排名都能保持在前列，同时计算时间也较短。这也是我自己的方法首先挑战的对象。

     这篇文章中提出的方法叫“最小冗余最大相关度标准”（mRMR）,按照特征选择方法的大类来看应该算是filter的方法。该类方法有个明显的优势就是速度快，但是往往容易忽略特征间的相互影响。文中提出的mRMR方法在一定程度上减小了这种忽略。文章首先用mRMR的方法进行特征选择初步的过滤选出最有表示力的候选特征，然后再结合其他复杂的如wrapper类的方法进行特征选择。这样既可以保证速度又能够提高准确率。文章也从理论上证明了最大相关度和最小冗余方法选取特征是有效、高效的（对证明感兴趣的同志们请参看论文，在此我们就品尝一下这个方法的主要思想）。