LVW特征选择算法简单介绍

LVW（Las Vegas Wrapper）是一种典型的包裹式特征选择方法，它在拉斯维加斯方法框架下使用随机策略来进行子集搜索，并以最终分类器的误差为特征子集评价准则。

与过滤式特征选择不考虑后续学习器不同，包裹式特征选择直接把最终要使用的学习器的性能作为特征子集的评价准则，换言之，包裹式特征选择的目的就是为了给定学习器选择最有利于其性能，量身定做的特征子集。

算法描述：

 

红色箭头：交叉验证学习器之间的误差。

红色框框：判断条件，是不是该保留这个子集。

LVW 基于拉斯维加斯方法的框架，假设数据集为 D，特征集为 A，则 LVW 每次从特征集 A 中随机产生一个特征子集 A′，然后使用交叉验证的方法（伪代码的第 8 步），在这里也就确定了学习器，估计学习器在特征子集 A′ 上的误差，若该误差小于之前获得的最小误差，或者与之前的最小误差相当但 A′中包含的特征数更少，则将 A′保留下来。

由于 LVW 算法每次评价子集 A′时，都需要重新训练学习器，计算开销很大，因此设置了参数 T 来控制停止条件。但当特征数很多（即 |A|很大）并且 T设置得很大时，可能算法运行很长时间都不能停止。

【参考文献】 
《机器学习》周志华著.–北京：清华大学出版社