Machine Learning 实战-特征选择之递归特征消除

谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。
谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。
谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。
谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。
谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。
谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。
谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。
谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。
谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。
谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。
谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。
谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。
谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。
谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。
谢谢平台提供-http://bjbsair.com/2020-04-13/tech-info/65273.html

机器学习里面，我们梳理了过滤法，嵌入法，本篇我们来讲解一下包装法。

本文章节

1、介绍递归特征消除RFE

2、介绍基于交叉验证的RFECV

3、数据特征提取

介绍递归特征消除RFE

在Wrapper里面有个很重要的东西，递归特征消除，Recursive Feature Elimination，简称RFE.

同学以后见到算法中的RFE就别迷茫了，其实就是递归特征消除，这个从字面上非常好理解，我们采用某一个模型，例如逻辑回归LogisticRegression，针对我们的数据进行多次的训练，每一次训练后，都会根据权值系数来移除权重比较低的特征，此时，再根据新的特征，继续下一轮的特征，这就是递归特征消除，不知道这样说是否简单些。

我们研究sklearn官方，它给出了一定的说明：针对那些特征含有权重的预测模型，RFE通过递归的方式，不断减少特征集的规模来选择需要的特征。

第一：给每一个特征指定一个权重，接着采用预测模型在这些原始的特征上进行训练。

第二：在获取到特征的权重值后，对这些权重值取绝对值，把最小绝对值剔除掉。

第三：按照这样做，不断循环递归，直至剩余的特征数量达到所需的特征数量。

介绍基于交叉验证的RFECV

在数据训练的过程中，我们经常采用K折交叉验证来进行调参，RFE也可以进化，这个叫做RFECV，其实简单里面就是：采用交叉验证的递归特征消除，RFECV，这样做的目的只有一个，选择最佳数量的特征。

我这里描述一下其过程：假定我们有N个特征的集合，那这个时候计算一下它的所有子集的个数为2的N次方减一（包含了空集合）。接着，我们选择一个算法，例如决策树、SVM等，通过算法来计算所有子集的验证误差（validation error），然后选择那个误差率最小的子集所选择的特征。

数据特征提取

在本次实验中，我们分别提取5个特征，10个特征，算法上采用逻辑回归来做

可以很直接看出，采用了5次与10次的结果。

这里不知道有没有同学发现，这个10次得到的结果跟以前得到的结果是一样，也就是说，删除掉的特征是一样的。举一反三，在分类器中，有弱分类器与强分类器之分，像决策树是弱分类器，随即森林是强分类器，强分类器是由N个弱分类器组合而成，那我们在进行特征提取的时候是否也可以做强特征提取。

1、采用不同提取特征的方法，提取N个特征

2、对每一个方法所提取到的特征做交集，从而达到提取权重都高的特征。

在本次数据提取中，我们提取到的特征都是一样的，因为我们的特征比较少，有很多特征的同学可以试试看。

至此，特征提取的方法告一段落，接下来，我们开始做分类。

–END–

原创作品，抄袭必究。