python边写边总结（十七）sklearn了解

学习资源来自官网http://sklearn.apachecn.org/#/docs/2

今天是放假前一天，学习兴趣没那么浓，学习朴素贝叶斯和贝叶斯网络的时候一直提到sklearn，今天就好好了解一下吧

• sklearn的简介

1. 简单高效的数据挖掘和数据分析工具
2. 可供大家在各种环境中重复使用
3. 建立在NumPy，SciPy和matplotlib上
4. 开源，可商业使用 -BSD许可证

• sklearn文档的目录

1. 监督学习
2. 无监督学习
3. 模型选择和估计
4. 数据集转换
5. 数据集加载工具
6. 大规模计算的策略：更大量的数据
7. 计算性能

• 监督学习

1. 广义线性模型
2. 线性和二次判别分析
3. 内核岭回归
4.  支持向量机
5.  随机梯度下降
6.  最近邻
7. 高斯过程
8. 交叉分解
9. 朴素贝叶斯
10. 决策树
11. 集成方法
12.  多类和多标签算法

• 广义线性模型

在这个文档中提到了岭回归，可以查看https://blog.csdn.net/xiligey1/article/details/81387009

共线性问题，可以参考https://www.jianshu.com/p/ef1b27b8aee0?from=timeline

岭回归与普通的最小二乘法区别在于，当我们的系数矩阵不是列满秩的时候便会出现多个解，这是不合理的，一个好的办法是牺牲无偏性，而寻得唯一解，这对于病态数据是一个合理的办法（这是以数理统计知识给出的解释）

lasso回归则是惩罚项变为w的一范数

交叉验证：这个就是一个概念问题，指的就是用大部分数据进行建模，小部分进行预报验证

from sklearn import linear_model

reg = linear_model.Ridge(alpha=.5)
reg.fit([[0, 0], [0, 0], [1, 1]], [0, .1, 1])
print(reg.coef_)

还没写完，后面继续