机器学习入门与实践

zoujc2001

已于 2022-08-22 11:46:20 修改

阅读量590

点赞数

分类专栏：机器学习文章标签：机器学习深度学习人工智能

于 2022-08-21 15:53:58 首次发布

本文链接：https://blog.csdn.net/zoujc2001/article/details/126451654

版权

深度学习损失函数优化算法反向传播神经网络

关键词由CSDN通过智能技术生成

机器学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

文章目录

一、Machine Learning Introduce
二、卷积神经网络 CNN
Ⅰ 附录

一、Machine Learning Introduce

1.1 Loss Function

以下式子中 $x_i$ 表示第 $i$ 个训练资料通过神经网络后的输出（估计值）， $y_i$ 表示第 $i$ 个训练资料的标签（真实值）。

1.1.1 基于距离度量的损失函数

（1）均方误差损失函数 MSE

$\large MESLoss = \frac {1} {n} \sum_{i=1}^{n}{(x_i-y_i)^2}\ ,\ n=BatchSize$
（2）L1 损失函数( MAE )
$\large L1Loss=\frac {1} {n} \sum_{i=1}^{n}{|x_i-y_i|}$

1.1.2 基于概率分布的损失函数

（1）交叉熵 CrossEntropyLoss

交叉熵可依次利用 softmax() 、log() 和 NLLLoss() 得到。在下式中设 $x_i$ 是第 $i$ 图片经过 $CNN$ 得到的 $n$ 维向量， $x_{ij}$ 表示没有进行归一化的概率； $Class_i$ 表示第 $i$ 张图片属于的真实类别（如：0 表示猫、1 表示狗等）。
$\begin{align} &\Large 对\ x_i \ 向量进行归一化：x_{i,j}=\frac {e^{x_{i,j}}} {sum}\ , \ sum=\sum_{j=1}^{n}e^{x_{i,j}} \\ &\Large 对归一化后的\ x_i \ 向量取对数： x_{i,j}=log(x_{i,j}) \\ \\ &\Large 最后对x_i向量用于NLLoss:result=-x_i[Class_i] \\ \\ &\Large CrossEntropyLoss=-\sum_{i=1}^{bactchsize}log(\frac {e^{x_{i,class_i}}} {\sum_{j=1}^{n} e^{x_{i,j}}}) \end{align}$

import torch
input=torch.randn(2,2)
print(input)					# tensor([[-1.6243, -0.4164],
                                #		 [-0.2492, -0.9667]])
# 归一化
soft = torch.nn.Softmax(dim=1) 	
soft(input) 					# tensor([[0.2301, 0.7699],
        				 	    #		  [0.6721, 0.3279]])
# 取对数
torch.log(soft(input))			# tensor([[-1.4694, -0.2615],
        					    # 		 [-0.3974, -1.1149]])

# 运用NLLLoss函数
nll = nn.NLLLoss()
target = torch.tensor([0,1])
nll(torch.log(soft(input)),target)# tensor(1.2921)

# 直接使用CrossEntropyLoss
ce = nn.CrossEntropyLoss()
ce(input,target)				# tensor(1.2921)

1.2 Optimization

$\theta_{t}$ : model parameters at time step $t$
∇𝐿( $\theta_{t}$ ) or $g_t$ : gradient at $\theta_{t}$ , used to compute $\theta_{t+1}$
$m_{t+1}$ : momentum accumulated from time step 0 to time step 𝑡, which is used to compute $\theta_{t+1}$

（1）SGDM

SGDM 在 SGD 增添了动量特性，之前所求的 Gradient 会影响当前，影响的强度有 $\lambda$ 的大小决定， $\lambda$ 越大影响也越大。

在这里插入图片描述

（2）Adagrad

作用：动态调整Learning Rate的大小，使用自适应的学习率就可以帮助算法在梯度大的参数方向减缓学习速率，而在梯度小的参数方向加快学习速率，这就可以促使神经网络的训练速度的加快。Adagrad 的核心想法就是，如果一个参数的梯度一直都非常大，那么其对应的学习率就变小一点，防止震荡，而一个参数的梯度一直都非常小，那么这个参数的学习率就变大一点，使得其能够更快地更新，这就是Adagrad算法加快深层神经网络的训练速度的核心。

在这里插入图片描述

（3）RMSProp
在这里插入图片描述

（4）Adam

Adam 结合了 SGDM 和 RMSProp，使其同时具有动量特性和自适应的学习速率。

在这里插入图片描述

1.3 BackPropagation

作用

在运用 Gradient Descent 方法更新神经网络中的 weight 时，可以利用BP算法快速计算 $\nabla L(θ) $。

$C^n(θ)$ ：第 n 个训练资料的训练值与真实值的误差值；
$N$ ：等于 batchsize ；

算法过程

定义如下图所示 Neural Network ，其使用的激活函数 $f (x) = s i g m o i d (x)$ ，输入为 $x_1,x_2)$ ，输出为 $y_1,y_2)$ ，训练资料标签为 $target_1,target_2)$ ，使用的损失函数为均方差 MSE 。
在这里插入图片描述

已知条件如下：
$\large y_1=f(z_3)=sigmoid(z_3)\ ,\ y_2=f(z_4)=sigmoid(z_4) \\ \large f(x)^{'}=f(x)·[1-f(x)] \\ \large C=(f(z_3)-target_1)^2+(f(z_4)-target_2)^2$
利用链式求导法则，求各个 $w$ 对 $C$ 的偏导：

$\large \frac {\partial C } {\partial w_5 }=\frac {\partial C} {\partial z_3}\frac {\partial z_3} {\partial w_5}=2f(z_3)^{'}(f(z_3)-target_1)·f(z_1) \\ \large \frac {\partial C} {\partial w_1}=\frac {\partial z_1} {\partial w_1} \frac {\partial C} {\partial z_1}=\frac {\partial z_1} {\partial w_1} \frac {\partial f(z_1)} {\partial z_1} \frac {\partial C} {\partial f(z_1)}=\frac {\partial z_1} {\partial w_1} \frac {\partial f(z_1)} {\partial z_1} [\frac {\partial z_3} {\partial f(z_1)} \frac {\partial C} {\partial z_3} +\frac {\partial z_4} {\partial f(z_1)} \frac {\partial C} {\partial z_4}] \\ \large \frac {\partial C} {\partial w_1}=x_1·f(z_1)^{'}·[w_5\frac {\partial C} {\partial z_3}+w_7\frac {\partial C} {\partial z_4}]$

从上式可以看出：
$\large \frac {\partial C } {\partial w_i }=\large \frac {\partial z_j } {\partial w_i } \frac {\partial C } {\partial z_j } \\ \large 前一个神经元的输出=\frac{\partial C} {\partial w_i}\ ,\ \frac {\partial C } {\partial z_j }可以根据下图快速求出。$