Python与机器学习总结

一、线性回归

思路：建立预测值与真实值之间的误差方程，而所有数据的误差值服从独立同分布的高斯分布，为了使预测值更接近真实值，即当权重为多少时，使偏置最小，关于权重的似然函数，进而求对数似然函数的极大值，最后得出求最小二乘法的极值，一般只有线性函数可以直接求出极小值，而其他非线性函数只能通过梯度下降逐渐逼近极小值。梯度下降方向

二、逻辑回归：适合于二分类问题

用于多分类问题有两种变化：1、建立多个二分类器；2、改变映射函数sigmiod函数为softmax函数

三、决策树

关键是选取树的节点，逐渐发展有ID3、C4.5、CART（GINI系数）

后面发展为集成算法：bagging(并行训练多个分类器)（随机森林算法）；boosting（串行训练）（AdaBoost，Xgboost）；Stacking（聚合多个分类或回归模型）（串并同时）

四、贝叶斯分类器

贝叶斯原理：在已知某件事发生的条件下另一件事发生的概率，可以转化为相反的过程。

应用：在某一事件发生的情况下，各类事件发生的概率，归类到概率最大的事件中。可以转化为在某类事件发生的情况下，某件事发生的概率。

五、支持向量机（SVM）