![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 86
友人小A
四级社畜
展开
-
AIGC-Stable Diffusion发展及原理总结
AIGC全称是AI Generated Content, 直译:人工智能生成内容,也叫生成式人工智能。AIGC是继专业生产内容(PGC, Professional-genrated Content)、用户生产内容(UGC,User-generated Content)之后的新型内容创作方式,是互联网内容创作方式的一次革新。AIGC可以在对话、故事、图像、视频和音乐制作等方面,打造全新的数字内容生成与交互形式。原创 2024-03-29 23:05:49 · 2176 阅读 · 4 评论 -
【TP策略】matmul的反向传播公式
→ 前向计算中若把W作为变量:Y(i,j) = X(i,0)*W(0, j) + X(i, 1)*W(1,j) + X(i,2) * W(2,j) + X(i, 3)*W(3,j), i=0,1,2,3,4,5,6,7,8,9,10,11,12。→ 前向计算中若把X作为变量:Y(i,j) = X(i,0)*W(0, j) + X(i, 1)*W(1,j) + X(i,2) * W(2,j) + X(i, 3)*W(3,j), j=0,1,2。原创 2024-01-31 10:52:56 · 420 阅读 · 0 评论 -
Deepspeed Zero(DP)
如:优化器中使用的随机梯度下降算法SGD中,更新参数的公式:参数 = 参数 - 学习率 * 梯度。原创 2024-01-18 10:53:29 · 1472 阅读 · 3 评论 -
Transformer
这样,就算中间层H(x)出现了信号衰弱(如weight接近0,计算得到H(x)接近0),由于残差网络的存在,原始输入x能够直接穿过H(x)层并于衰减后的信号相加,保留了原始输入的信息,起到了保护和传递梯度的作用。总的来说,设输入为 x,经过某个网络层后得到的输出为 H(x),那么残差连接会将输入 x 与输出 H(x) 相加,得到最终的输出 F(x)。然而,为了保持模型的自回归性质,也就是确保生成时只依赖于已生成的部分和当前位置之前的输入,需要限制模型只能关注当前位置之前的信息。原创 2024-01-04 16:10:47 · 1007 阅读 · 0 评论 -
YOLO性能指标
yolo性能指标学习总结原创 2022-10-21 16:59:58 · 2617 阅读 · 0 评论 -
神经网络-标准数据集介绍
无原创 2022-09-07 13:56:37 · 1946 阅读 · 0 评论