![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
吴恩达深度学习工程师
文章平均质量分 93
网易云课堂深度学习工程师课程学习
Laura2017
这个作者很懒,什么都没留下…
展开
-
深度学习笔记(一)——神经网络和深度学习(深度学习概论)
神经网络和深度学习1.房地产和在线网络一般用通用标准神经网络 (Standard NN)图像领域常用卷积神经网络 (CNN)序列数据(例如音频含有时间成分,因此被表示为一维时间序列;语言(英语汉语字母或单词)总是逐个出现,所以也是序列数据)通常用循环神经网络(RNN)混合情况需要运用更复杂的神经网络2.训练集不大的时候,各种算法性能相对排名并不是很确定,最终的性能更多的取决...原创 2018-10-02 18:58:38 · 407 阅读 · 0 评论 -
深度学习笔记(二)——神经网络和深度学习(神经网络基础一)
1.二分分类计算机存储图片,是分别获取图片的RGB值,例如下图:然后把这些值合并成一个特征向量: 如果图片是6464的,那么特征向量x的维度=64643=12288。二分分类的目的是训练出一个分类器,以图片的特征向量x作为输入,预测输出的结果标签y是1or0。2.logistic回归及其损失函数 损失函数:成本函数:我们需要找到最合...原创 2018-10-03 00:44:55 · 452 阅读 · 0 评论 -
深度学习笔记(三)——神经网络和深度学习(神经网络基础二)
1.向量化深度学习算法中,数据量很大,在程序中应该尽量减少使用loop循环语句,而可以使用向量运算来提高程序运行速度。向量化(Vectorization)就是利用矩阵运算的思想,从而大大提高运算速度。为了加快深度学习神经网络运算速度,可以使用比CPU运算能力更强大的GPU。事实上,GPU和CPU都有并行指令(parallelization instructions),称为Single In...原创 2018-10-13 00:31:37 · 352 阅读 · 0 评论 -
深度学习笔记(四)——神经网络和深度学习(浅层神经网络)
1.神经网络概览神经网络的结构与逻辑回归类似,只是神经网络的层数比逻辑回归多一层,多出来的中间那层称为隐藏层或中间层。从计算上来说,神经网络的正向传播和反向传播过程只是比逻辑回归多了一次重复的计算。正向传播过程分成两层,第一层是输入层到隐藏层,用上标[1]来表示;第二层是隐藏层到输出层,用上标[2]来表示。方括号上标[i]表示当前所处的层数;圆括号上标(i)表示第i个样本。同样,反向传播过...原创 2018-10-14 20:25:18 · 5494 阅读 · 0 评论 -
深度学习笔记(五)——神经网络和深度学习(深层神经网络)
1.深层神经网络深层神经网络其实就是包含更多的隐藏层神经网络。下图分别列举了逻辑回归、1个隐藏层的神经网络、2个隐藏层的神经网络和5个隐藏层的神经网络它们的模型结构。命名规则上,一般只参考隐藏层个数和输出层。例如,上图中的逻辑回归又叫1 layer NN,1个隐藏层的神经网络叫做2 layer NN,2个隐藏层的神经网络叫做3 layer NN,以此类推。如果是L-layer NN,则...原创 2020-01-15 21:59:49 · 1357 阅读 · 0 评论 -
深度学习笔记(六)——改善深层神经网络:超参数调试、正则化以及优化(深度学习的实用层面)
1.训练/开发/测试集训练集(Training sets)、验证集(Development sets)、测试集(Test sets)的优劣对神经网络的性能有非常重要的影响。此外,构建神经网络时,还需要设置许多参数,例如神经网络的层数、每个隐藏层包含的神经元个数、学习因子(学习速率)、激活函数的选择等等。我们很难一开始就选择最佳的参数,需要通过不断地迭代更新来获得。循环迭代的过程如下:先有个...原创 2020-02-01 22:50:23 · 2694 阅读 · 0 评论 -
深度学习笔记(七)——改善深层神经网络:超参数调试、正则化以及优化(优化算法)
1.Mini-batch梯度下降法神经网络训练过程是对所有m个样本(batch),通过向量化方式计算且同时进行的。如果m很大,例如百万数量级,训练速度往往会很慢,因为每次迭代都要对所有样本进行进行求和运算和矩阵运算。我们将这种梯度下降算法称为Batch Gradient Descent。为了解决这一问题,可以把m个训练样本分成若干个子集,称为mini-batches,这样每个子集包含的数据...原创 2020-02-23 00:01:22 · 1327 阅读 · 0 评论 -
深度学习笔记(八)——改善深层神经网络:超参数调试、正则化以及优化(超参数调试、Batch 正则化和程序框架)
1.调试处理深度神经网络需要调试的超参数较多,包括: :学习因子 :动量梯度下降因子 :Adam算法参数 #layers:神经网络层数 #hidden units:各隐藏层神经元个数 learning rate decay:学习因子下降参数 mini-batch size:批量训练样本包含的样本个数 超参数之间也有重要性差异...原创 2020-02-26 13:56:56 · 1258 阅读 · 0 评论 -
深度学习笔记(九)——结构化机器学习项目(机器学习(ML)策略(1))
1.为什么是ML策略对深度神经网络模型的优化可以从很多方面进行,例如: Collect more data Collect more diverse training set Train algorithm longer with gradient descent Try Adam instead of gradient descent Try b...原创 2020-03-03 22:57:36 · 1183 阅读 · 0 评论 -
深度学习笔记(十)——结构化机器学习项目(机器学习(ML)策略(2))
1.进行误差分析举个例子,猫类识别问题,已经建立的模型的错误率为10%。为了提高正确率,我们发现该模型会将一些狗类图片错误分类成猫。一种常规解决办法是扩大狗类样本,增强模型对够类(负样本)的训练。但是,这一过程可能会花费几个月的时间,耗费这么大的时间成本到底是否值得呢?也就是说扩大狗类样本,重新训练模型,对提高模型准确率到底有多大作用?这时候我们就需要进行error analysis,帮助我们...原创 2020-03-08 00:24:25 · 1655 阅读 · 0 评论