AI基础
文章平均质量分 90
介绍ai基础知识
只鸥周
这个作者很懒,什么都没留下…
展开
-
softmax function
softmax函数(归一化的指数函数):”squashes”(maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1 (from。转换后的值是个概率值,在[0,1]之间;转换后的向量加和为1。原创 2023-09-03 11:01:30 · 47 阅读 · 0 评论 -
损失函数1
估量模型的预测值f(x)与真实值Y的不一致程度损失函数越小,一般就代表模型的鲁棒性越好损失函数指导模型的学习。原创 2023-09-03 11:00:08 · 37 阅读 · 0 评论 -
model训练
梯度消失的原因受到多种因素影响,例如学习率的大小,网络参数的初始化,激活函数的边缘效应等。参数空间中学习的退化速度减慢,导致减少了模型的有效维数,网络的可用自由度对学习中梯度范数的贡献不均衡,随着相乘矩阵的数量(即网络深度)的增加,矩阵的乘积变得越来越退化。迁移学习可以初步初始化网络,因为对一些比较类似的任务,其实模型参数的值基本上相同,而且这些参数经过大量的训练,已经有很好的特征提取能力,将backbone参数使用这类模型进行权重的初始化,后面做training的时候,模型收敛速度会更快。原创 2023-09-03 10:59:26 · 83 阅读 · 0 评论 -
深度学习中的batch(batch size,full batch,mini batch, online learning)、iterations与epoch
在mini batch下的梯度下降中做的事情其实跟full batch一样,只不过我们训练的数据不再是所有的样本,而是一个个的子集。右边是mini batch的梯度下降效果,可以看到它是上下波动的,成本函数的值有时高有时低,但总体还是呈现下降的趋势。batch的思想,至少有两个作用,一是更好的处理非凸的损失函数,非凸的情况下, 全样本就算工程上算的动, 也会卡在局部优上, 批表示了全样本的部分抽样实现, 相当于人为引入修正梯度上的采样噪声,使“一路不通找别路”更有可能搜索最优值;: batch是批。原创 2023-08-30 10:40:09 · 633 阅读 · 0 评论 -
优化器详解
(1)解释一言以蔽之,优化器就是在深度学习反向传播过程中,指引损失函数(目标函数)的各个参数往正确的方向更新合适的大小,使得更新后的各个参数让损失函数(目标函数)值不断逼近全局最小。(2)原理解释优化问题可以看做是我们站在山上的某个位置(当前的参数信息),想要以最佳的路线去到山下(最优点)。原创 2023-08-30 19:46:36 · 1791 阅读 · 0 评论 -
看懂backpropagation
说到神经网络,大家看到这个图应该不陌生:这是典型的三层神经网络的基本构成,Layer L1是输入层,Layer L2是隐含层,Layer L3是隐含层,我们现在手里有一堆数据{x1,x2,x3,…,xn},输出也是一堆数据{y1,y2,y3,…,yn},现在要他们在隐含层做某种变换,让你把数据灌进去后得到你期望的输出。如果你希望你的输出和原始输入一样,那么就是最常见的自编码模型(Auto-Encoder)。可能有人会问,为什么要输入输出都一样呢?有什么用啊?其实应用挺广的,在图像识别,文本分类等等都会用到,原创 2023-08-30 10:00:41 · 18 阅读 · 0 评论 -
tricks经验总结
仅为个人学习使用,侵权立删。原创 2023-08-30 20:06:18 · 23 阅读 · 0 评论