ZYM66的博客

归一化是为了消除不同数据之间的量纲，方便数据比较和共同处理，比如在神经网络中，归一化可以加快训练网络的收敛性；标准化是为了方便数据的下一步处理，而进行的数据缩放等变换，并不是为了方便与其他数据一同处理或比较，比如数据经过零-均值标准化后，更利于使用标准正态分布的性质，进行处理；正则化而是利用先验知识，在处理过程中引入正则化因子(regulator)，增加引导约束的作用，比如在逻辑回归中使用正则化，可有效降低过拟合的现象。

非线性(non-linear)，即 变量之间的数学关系，不是直线而是曲线、曲面、或不确定的属性，叫非线性。非线性是自然界复杂性的典型性质之一；与线性相比，非线性更接近客观事物性质本身，是量化研究认识复杂知识的重要方法之一；凡是能用非线性描述的关系，通称非线性关系。狭义的非线性是指不按比例、不成直线的数量关系，无法用线性形式表现的数量关系，如曲线、曲面等。

众所周知,在机器学习中的分类任务中,我们最常用的损失函数就是,它是是非常重要的损失函数，也是应用最多的损失函数之一.但是其原理是什么呢?尽管入门机器学习已经有将近一年的时间,但是对于此事并不清楚,说明个人的知识体系还有很多待完善的地方,今天忙中偷闲就把这个坑给填上.我在油管上找到了一个非常好的视频,今天我就把我理解的这个视频中的东西写下来,为了尊敬原作者,这里先贴上原视频链接https://www.youtube.com/watch?...

走过一步之后对上一步的价值进行评价(经验)