Python3机器学习 经典算法与应用 线性回归

数学  多元函数求极值：

                                 

                       

复合函数： 不同性质的数学函数套在一起

（x+1）是一元函数方程  （x+1）^2 就是符合函数   求导先求内部再求外部

x^2是二元函数  单函数  直接对自变量操作   有系数或常数项还是单函数

最小化二乘法： 一直以为是个高大上的玩意  实际就是 平方差最小化问题

函数是个二次函数 其中含有未知数（可能多个）=》通过多元函数求偏导 找到偏导均为0的地方=》求得为误差最小值=》最小二乘法结束

 

 

---

线性回归：

=》分类坐标轴分别代表个类别

=》回归问题一个轴是标签  因为他不行分类问题 可以直接用颜色代表分类结果 他是连续的必须用一个轴进行表示  如果对两个特征的拟合就要用三维了，讲解中一般用一个特征进行讲解

   

我们用线性回归的目标：

 

                       

 

         

 

最小二乘法： 为了优化过程中采用二范数做误差函数，求解误差函数最小值（含有a b两个参数的二次函数）对应的参数

求解过程：

1.J对b进行求导   =》b好求   

      

2.J对a进行求导

未知数只有a了   

a已经可以求出来了 因为xy都是已知的  下面进行变形是为了  便于编程中的计算

 

找出的a,b 结束

---

回归算法评价标准：

==》1.减少 数量的影响      

 

==》2.量纲的平方 有可能会造成麻烦 开方使量纲一致  

前面两种方法=》数值不同但本质相同

3.

        

第二种方法结果》第三种     第二种接近损失函数   这也说明   我们减少训练误差中误差   减少的是最大误差的那个值

---

R^2意义：我们的训练模型效果/不训练下的模型(基准模型）效果         

没有训练关系R^2 可能为负  说明训练不如不训练   说明没有线性关系

R^2 越大越好 

基准模型不好   训练模型有好有不好  抵消基准模型的不好剩的就是好

   

 

  

多元回归：

   连续可导  减小最大值

 

    

可解释性：

求出来的系数  看正负  决定正相关还是负相关   数值绝对值大小代表重要程度

对系数进行排序 从小到大  对应到数据的属性   可以发现数据哪些特征对分类的影响程度大

特征多   数据好有助于分类精度提升

    数量大 正规方程解不适合  梯度下降法比较好