![](https://img-blog.csdnimg.cn/20191008112358567.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
记录深度学习过程中的知识点
ZachZheng
活泼阳光,乐观自律
展开
-
CNN与RNN的知识结构
文章目录CNN与RNN的知识结构CNN与RNN的知识结构CNN的应用场景包括:目标分类:应用领域有人脸识别、物品识别、场景识别、文字识别等;目标检测:应用领域有安防和驾驶;对抗网络:增强学习:应用领域有围棋、扑克、自动游戏、机器人运行控制;RNN 的应用场景有:语句生成:应用于自动翻译、智能对话领域;视频分类(需要与 CNN 结合):应用于视频搜索;图片标注(需要与 C...原创 2019-10-08 11:18:11 · 543 阅读 · 0 评论 -
深度学习的优缺点
文章目录深度学习的优点深度学习的缺点深度学习的优点学习能力强;覆盖范围广;适应力强;可移植性好;深度学习的缺点计算量大;便携性差;硬件成本较高;模型设计复杂;长于计算,弱于算计,很容易被 “hack”;...原创 2019-10-08 11:32:23 · 17843 阅读 · 0 评论 -
常用的非线性激励函数
文章目录SigmoidtahnReLULeaky ReLUParametric ReLUSwish参考Sigmoid优点:映射数据在[0, 1]之间;梯度下降明显;缺点:容易引起梯度消失;输出不是以0为中心;exp()exp()exp() 计算成本高公式:σ(x)=11+e−x公式:\sigma(x) = \frac{1}{1+e^{-x}}公式:σ(x)=1+e−x1导数:σ(...原创 2019-10-08 12:00:55 · 6671 阅读 · 0 评论 -
深度学习中的计算图
文章目录计算图计算图的前向计算过程计算图反向梯度计算验证计算图的结果:用小增量进行验证上述导数计算参考资料计算图以 计算图 的形式表现计算的过程,清晰明了,给人一种很直观的感觉;尤其是在进行反向计算的时候,过程很清晰结构很明确,让人一看就懂。下面介绍这种方法。计算图的前向计算过程计算图反向梯度计算导数 da、db、dcda、db、dcda、db、dc 分别如下:...原创 2019-10-08 13:56:59 · 1062 阅读 · 0 评论