sikit-learn知识点

一、监督模型

1、广义线性模型

如果y是预测值，则有y(w,x) = Wo + W1X1 + ... + WpXp

1）普通最小二乘法

LinearRegression 拟合一个带有系数 W = ( W1, ... , Wp)的线性模型，使得实际值与预测值之间的残差平方和最小

2、支持向量机（SVM）

可用于分类、回归和异常检测

3、随机梯度下降（SGD，Stohastic Gradient Descent）

SGD应用于文本分类和自然语言处理中经常遇到的大规模和稀疏的机器学习问题

1）SGDClassifier：实现了一个简单的随机梯度下降学习例程，支持分类问题不同的损失函数和正则化方法

2）SGDRegressor：实现了回归，支持用不同的损失函数和惩罚来拟合线性回归模型

4、最近邻（neighbors）

1）NearestNeighbors classification 分类：针对具有离散标签的数据

2）NearestNeighbors regression 回归：针对具有连续标签的数据

5、高斯过程（GP）

GP是一种常用的监督学习，旨在解决回归问题和概率分类问题

1）GaussianProcessRegressor 高斯过程-回归

2）GaussianProcessClassifier 高斯过程-分类

6、朴素贝叶斯

1）GauessianNB 实现了分类的高斯朴素贝叶斯

2）MultinomialNB 实现了多项分布数据的朴素贝叶斯

3）ComplementNB 是标准多项式朴素贝叶斯（MNB）算法的一种改进

4）BernoulliNB 多重伯努利分布数据的朴素贝叶斯训练和分类算法

7、决策树

1）DescisionTreeClassifier 决策树-分类

2）DescisionTreeRegressor 决策树-回归