1.回归问题可以使用的模型
Linear and Polynomial Regression,
Neural Networks,
Regression Trees,
Random Forests,
Support Vector Regression,
Naive Bayes
2.KNeighborsClassifier
特点:解决分类问题;neighbors的值设的越小,模型越复杂,方差大;neighbors的值设的越大,模型越简单,方差小,决策边界平滑;
提供预测的baseline很方便;特征太多(几百个),运算会很慢;
适用小数据集
3.LinearRegression
特点:适用于特征多的情况,尤其是特征数比样本点数更多;大数据集;
4.from sklearn.linear_model import Ridge
带L2正则化的线性回归;
Ridge(alpha=10).fit(X_train, y_train);alpha控制正则化程度,越大模型越简单;
5.from sklearn.linear_model import Lasso
L1正则化,可以用于特征选取; 较小的alpha能拟合更复杂的模型,得到较好的结果,非0的特征越多;提供更易于解释的模型(因为使用的特征少)
6.LinearSVC(), LogisticRegression()
处理回归问题,注意penalty parameter(C越小,模型越简单,特征参数少)设置
7.Gau