模型调参之网格搜索与随机搜索

模型调参之网格搜索与随机搜索

网格搜索法（GridSearchCV）

1. GridSearchCV：GridSearchCV可以拆分成GridSearch和CV两部分，即网格搜素和交叉验证。GridSearch系统地遍历多种参数组合，通过交叉验证确定最佳效果参数。网格搜索是对参数进行搜索，在指定的参数范围内，按步长依次调整参数，利用调整的参在这里插入代码片数训练学习器，从所有的参数中找到在验证集上精度最高的参数，这也是一个训练和比较的过程。交叉验证根据cv参数的设置，设置为k折交叉验证，默认为5折。
2. Grid Search：网格搜素是一种调参手段，采用的是穷举搜索的方式，即在所有候选的参数选择中，通过循环遍历，尝试每一种可能性，表现最好的参数就是最终的结果。其原理类似于在数组中找最大值。
3. 适用情况：网格搜索法适用于三四个（或者更少）的超参数。
4. 缺点：对于大数据集和多参数的情况，计算代价非常非常大，面临维度灾难。
5. 参数说明：
   class sklearn.model_selection.GridSearchCV(estimator, param_grid, *, scoring=None, n_jobs=None, refit=True, cv=None, verbose=0, pre_dispatch='2*n_jobs', error_score=nan, return_train_score=False)

• estimator：选择使用的分类器，