神经网络常见的数学知识汇总
- 关于此博客
- 0.范数(norm)
- 1.神经网络常见的归一化（Normalization）方法
- (1)原始的[Normalization](https://blog.csdn.net/u011092188/article/details/78174804)
- (2)[Batch Normalization](https://www.cnblogs.com/guoyaohua/p/8724433.html)
- (3)主流 Normalization 方法梳理[BN,LN,IN,GN](https://www.cnblogs.com/hellcat/p/9735041.html)
- (4)[Spectral Normalization](https://blog.csdn.net/StreamRock/article/details/83590347)（谱归一化）
- (5)风格迁移用到的[Adaptive IN和Conditional IN](https://blog.csdn.net/summer2day/article/details/79390370)
- 2.常见的损失函数
- (1)[L1与L2](https://www.cnblogs.com/jclian91/p/9824310.html)loss；[MSE](https://blog.csdn.net/imjaron/article/details/79127674)是在L2的基础上除样本数n
- (2)交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离（推土机距离） - KevinCK的文章 - 知乎
- (3)SVM中常用的[Hinge loss](https://blog.csdn.net/hustqb/article/details/78347713)
- (4)[one-stage](https://blog.csdn.net/shentanyue/article/details/84860600)目标检测中的[focal loss](https://blog.csdn.net/qq_35153620/article/details/90047919)
- 3.正则化（Regularization）
- 4.神经网络常见的优化算法
关于此博客
本人cv小白一枚，在计算机视觉入门过程中（尤其是看论文时）遇到了种种数学问题，特此列出一些之前收藏的网页书签（纯搬运，间接帮大家百度），希望对大家在机器学习涉及到的数学层面有所帮助。这也是我第一篇博客。点击下方蓝色部分即可转到该部分链接。
0.范数(norm)
(1)常见范数:1、2、无穷、p、F
(2)谱范数
1.神经网络常见的归一化（Normalization）方法
(1)原始的Normalization
(2)Batch Normalization
(3)主流 Normalization 方法梳理BN,LN,IN,GN
(4)Spectral Normalization（谱归一化）
(5)风格迁移用到的Adaptive IN和Conditional IN
2.常见的损失函数
(1)L1与L2loss；MSE是在L2的基础上除样本数n
(2)交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离（推土机距离） - KevinCK的文章 - 知乎
https://zhuanlan.zhihu.com/p/74075915
(3)SVM中常用的Hinge loss
(4)one-stage目标检测中的focal loss
3.正则化（Regularization）
正则化是在原loss上增加的一项，一般用于防止过拟合
(1)正则化的理解和L1、L2正则化
(2)l2-loss，l2正则化，l2范数，欧式距离的区别联系
(3)谱范数正则化（Spectral Norm Regularization）（与第一节的谱归一化对应）
4.神经网络常见的优化算法
(1)各种神经网络优化算法：从梯度下降到Adam方法
反向传播算法：
如何直观地解释 backpropagation 算法？ - Anonymous的回答 - 知乎
https://www.zhihu.com/question/27239198/answer/89853077
扫一扫
8万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
