日萌社
人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)
损失函数
总损失定义为:
- yi为第i个训练样本的真实值
- h(xi)为第i个训练样本特征值组合预测函数
- 又称最小二乘法
如何去减少这个损失,使我们预测的更加准确些?既然存在了这个损失,我们一直说机器学习有自动学习的功能,在线性回归这里更是能够体现。这里可以通过一些优化方法去优化(其实是数学当中的求导功能)回归的总损失!!!
2 优化算法
如何去求模型当中的W,使得损失最小?(目的是找到最小损失对应的W值)
- 线性回归经常使用的两种优化算法
- 正规方程
- 梯度下降法
2.1 正规方程
2.1.1 什么是正规方程
理解:X为特征值矩阵,y为目标值矩阵。直接求到最好的结果
缺点:当特征过多过复杂时,求解速度太慢并且得不到结果
2.1.2 正规方程求解举例
以下表示数据为例:
2.1.3 正规方程的推导
-
推导方式一:
把该损失函数转换成矩阵写法:
其中y是真实值矩阵,X是特征值矩阵,w是权重矩阵
对其求解关于w的最小值,起止y,X 均已知二次函数直接求导,导数为零的位置,即为最小值。
求导:
正规方程的另一种推导方式
1.损失表示方式
总损失定义为:
2.另一种推导方式
补充:需要用到的矩阵求导公式: