机器学习入门与实践_机器学习测试入门与实践-CSDN博客

本文链接：https://blog.csdn.net/zoujc2001/article/details/126451654

文章目录

一、Machine Learning Introduce
二、卷积神经网络 CNN
Ⅰ 附录

一、Machine Learning Introduce

1.1 Loss Function

以下式子中 $x_i$ 表示第 $i$ 个训练资料通过神经网络后的输出（估计值）， $y_i$ 表示第 $i$ 个训练资料的标签（真实值）。

1.1.1 基于距离度量的损失函数

（1）均方误差损失函数 MSE

$\large MESLoss = \frac {1} {n} \sum_{i=1}^{n}{(x_i-y_i)^2}\ ,\ n=BatchSize$
（2）L1 损失函数( MAE )
$\large L1Loss=\frac {1} {n} \sum_{i=1}^{n}{|x_i-y_i|}$

1.1.2 基于概率分布的损失函数

（1）交叉熵 CrossEntropyLoss

交叉熵可依次利用 softmax() 、log() 和 NLLLoss() 得到。在下式中设 $x_i$ 是第 $i$ 图片经过 $CNN$ 得到的 $n$ 维向量， $x_{ij}$ 表示没有进行归一化的概率； $Class_i$ 表示第 $i$ 张图片属于的真实类别（如：0 表示猫、1 表示狗等）。
$\begin{align} &\Large 对\ x_i \ 向量进行归一化：x_{i,j}=\frac {e^{x_{i,j}}} {sum}\ , \ sum=\sum_{j=1}^{n}e^{x_{i,j}} \\ &\Large 对归一化后的\ x_i \ 向量取对数： x_{i,j}=log(x_{i,j}) \\ \\ &\Large 最后对x_i向量用于NLLoss:result=-x_i[Class_i] \\ \\ &\Large CrossEntropyLoss=-\sum_{i=1}^{bactchsize}log(\frac {e^{x_{i,class_i}}} {\sum_{j=1}^{n} e^{x_{i,j}}}) \end{align}$