数据挖掘之模型初探

由于我要打的比赛是做一个二分类预测器，所以就开始找到有关的模型进行了解学习。常见的分类模型如下：

逻辑回归(Logistic Regression, LR)
朴素贝叶斯(Naive Bayes, NB)
K近邻（K-nearest neighbors, KNN） 
决策树（Decision Tree, DT）
支持向量机（Support Vector Machine, SVM）
神经网络（Neural Network, NN）

1. K近邻算法

   机器学习（一）——K-近邻（KNN）算法

2. 逻辑回归

   机器学习–Logistic回归计算过程的推导

   逻辑回归容易出现过拟合的问题，导致维度灾难，参考：分类问题中的维度灾难

3. 支持向量机：

   支持向量机通俗导论（理解SVM的三层境界）

4. 决策树

   这块的知识就比较深了，通过网上查的资料得知树模型预测的精度通常比其他模型高，因此决定这次比赛采用树模型。当然，最好的情况肯定是试验各种模型，再挑选最好的模型。

   机器学习方法(四)：决策树Decision Tree原理与实现技巧 随机森林

   GBDT（MART） 迭代决策树入门教程 | 简介

   Adaboost算法原理分析和实例+代码（简明易懂）

   xgboost入门与实战（原理篇）

   机器学习笔记（七）Boost算法（GDBT,AdaBoost，XGBoost）原理及实践

5. sk-learn是必须要学的一个包：sk-learn教程 中文文档

6. Cross-Validation（交叉验证）详解

7. 【机器学习】模型融合方法概述 栈模型是重点

8. 模型融合

9. 接下来就是要学习xgboost和sklearn的调参方法了。