一、线性回归
思路:建立预测值与真实值之间的误差方程,而所有数据的误差值服从独立同分布的高斯分布,为了使预测值更接近真实值,即当权重为多少时,使偏置最小,关于权重的似然函数,进而求对数似然函数的极大值,最后得出求最小二乘法的极值,一般只有线性函数可以直接求出极小值,而其他非线性函数只能通过梯度下降逐渐逼近极小值。梯度下降方向
二、逻辑回归:适合于二分类问题
用于多分类问题有两种变化:1、建立多个二分类器;2、改变映射函数sigmiod函数为softmax函数
三、决策树
关键是选取树的节点,逐渐发展有ID3、C4.5、CART(GINI系数)
后面发展为集成算法:bagging(并行训练多个分类器)(随机森林算法);boosting(串行训练)(AdaBoost,Xgboost);Stacking(聚合多个分类或回归模型)(串并同时)
四、贝叶斯分类器
贝叶斯原理:在已知某件事发生的条件下另一件事发生的概率,可以转化为相反的过程。
应用:在某一事件发生的情况下,各类事件发生的概率,归类到概率最大的事件中。可以转化为在某类事件发生的情况下,某件事发生的概率。
五、支持向量机(SVM)