深度学习
文章平均质量分 90
根据深度学习专业视频,总结课堂知识点和一些注意点
Icevivina
互联网搜索算法
展开
-
目标检测的历史进展
R-CNN原创 2018-06-13 11:52:25 · 2191 阅读 · 0 评论 -
Lession5--RNN 文本翻译、attention model
Sequence to sequence models:由encoder和decoder组成。decoder的前一个输出为当前输入。 应用1:文本翻译 应用2:图像标注。用CNN训练得到特征作为encoder,在后面加上decoder。文本翻译文本翻译与语言模型不同之处在于:语言模型在训练好之后是随机输出一个句子,而文本翻译需要找出最有可能的翻译句子。实现这种搜索的启发式搜索方式叫...原创 2018-08-15 22:59:38 · 625 阅读 · 0 评论 -
Lesson5--词嵌入
这一节主要分为三个部分: 1)为什么要使用词嵌入? 2)词嵌入的使用场景及,可扩展使用范围? 3)词嵌入有哪些方法?词嵌入的由来原始对词进行表示的方法是One_hot编码,但这种编码有两个主要的缺点:1.这样编码的每个词的长度都比较长;2.两个词之间的距离不能表示出两个词的相似程度。 使用词嵌入的方式来表示每个词,实际上是对不同词提取出它们的特征表示, 例如上图中就是用各...原创 2018-08-11 11:51:58 · 312 阅读 · 0 评论 -
Lession5--RNN(LSTM,GRU)
RNN的应用场景: 语音识别,音乐生成,语音分析,DNA检测,文本翻译,。。在接下来介绍RNN的基本结构之前,首先定义一些notation,x<1>x<1>x^{}表示输入x的第一个单词,x(i)<1&a原创 2018-08-07 22:38:54 · 421 阅读 · 0 评论 -
《深度学习》--书籍整理笔记
线性代数线性相关和生成子空间 因此,要保证对每一个b都有且仅有一个解,那么矩阵A必须是一个方阵,即m=n,且所有列向量都是线性无关的。范数 范数衡量的是向量x与原点的距离。性质: p=2时的L2范数称为欧几里得范数,平方L2范数在机器学习中使用十分频繁,因为它对x中每个元素的导数只与该元素有关,而L2范数对每个元素的导数与整个向量有关。但是,它仍然有一定的缺点,...原创 2018-08-16 11:17:30 · 8374 阅读 · 0 评论 -
面试整理--神经网络篇
线性模型和神经网络的最大区别,在于神经网络的非线性导致大多数我们感兴趣的代价函数都变得非凸。因此对于前馈神经网络,将所有权重值初始化为小随机数是重要的。 训练一个前馈网络至少需要做和线性模型一样的多的设计决策:选择一个优化模型、代价函数以及输出单元的形式。模型神经网络不把线性模型作用与x本身,而是作用在一个变换后的输入ϕ(x)ϕ(x)\phi(x)上,这里ϕ(x)ϕ(x)\phi(x...原创 2018-04-08 16:09:23 · 4172 阅读 · 0 评论 -
Lesson1--浅层神经网络
1.神经网络的表示名称:输入层,隐藏层hidden layer,输出层。神经网络的层数,我们一般不计入输入层,因此这是一个两层的神经网络;用a[0],a[1]..a[0],a[1]..a^{[0]},a^{[1]}..分别表示每一层的激活单元,用下标表示每个激活单元中的第几个结点,所以a[1]1a1[1]a^{[1]}_1表示第一层的激活单元的第一个结点;w,bw,bw,b向量的维...原创 2018-03-26 11:16:39 · 439 阅读 · 0 评论 -
Lesson1--深层神经网络
1深层(deep)神经网络的符号表示 LLL表示神经网络层数,一般L<3都称为浅层(shallow)神经网络. a[l]a[l]a^{[l]}表示激活单元。 在编程中最需要注意的是核对矩阵的维数,避免numpy在计算上出现的错误。2为什么深层神经网络是有效的?1)神经网络前面的隐藏层计算比较低层次的信息,然后组合到一个比较复杂的信息进行进行处理,比如声音识别中,可能先识...原创 2018-03-28 09:56:58 · 402 阅读 · 0 评论 -
Lesson2--深层神经网络的实用层面(正则化、加快训练速度)
接着上一课的超参数调参内容,这一周先从超参数的经验值选取开始讲起。1训练/开发/测试集在机器学习中,我们一般数据分为训练集,测试集和验证集,在数据量比较少的情况下,我们可以采用原始划分百分比60%,20%,20%,当数据量特别大至百万级的时候,我们的验证集和测试集就不需要取到20%这么大,有时候甚至取0.5%,0.1%就可以了。 另外一个问题是训练集,验证集和测试集的数据要确保来自同...原创 2018-04-01 20:19:17 · 831 阅读 · 0 评论 -
Lesson2--优化算法
在大数据上进行深度学习的速度很慢,因此我们需要学习一些方法来加快深度学习的速度。1batch vs. mini-batch梯度下降1.什么是mini-batch? 向量化能够使得我们更快地处理输入X和输出Y,可是当输入样本量太大时,比如m=5000000,梯度下降的速度仍旧会比较慢。这时可以把训练集分割为小一点的子训练集,这些子集称为mini-batch,比如1~1000为第一个mi...原创 2018-04-03 18:10:50 · 295 阅读 · 0 评论 -
Lesson2--Batch正则化和程序框架
1 超参数调试1)超参数 红色是最重要的,黄色次之,紫色再次之。2)调节超参数的方法 两种方法:1.随机取值;2.从大范围到小范围(从粗糙到精细) 随机取值的好处是在你不知道哪个参数更重要的时候,可以得到更多不一样的取值,比如αα\alpha与ϵϵ\epsilon一起调试的时候,如果使用网格搜索,那么不同ϵϵ\epsilon下相同αα\alpha得到的效果其实差不多。 从粗...原创 2018-04-06 11:13:42 · 318 阅读 · 0 评论 -
Lesson3--结构化机器学习项目
当训练模型觉得效果仍需改进的时候,你可以做以下步骤提升效果: 那在什么时候选用哪一种方法来进行调试呢,这时候应该用到正交(orthogonality)的方法,也就是我们希望调整这一个性能的时候不影响另外一个性能,就像调整电视机的屏幕的时候,我们调试电视机的宽度的时候,就不应该改动它的高度,否则电视屏幕很难调节好。因此相对应的,在机器学习的调整过程中,当我们发现在训练集,验证集,测试集或者是用...原创 2018-04-09 09:54:22 · 258 阅读 · 0 评论 -
李宏毅的深度学习之RNN
https://www.youtube.com/watch?v=rTqmWlnwz_0 RNN(循环神经网络):存储隐藏层在上一层训练时的输出用于这一次的训练,因此训练的顺序就显得很重要。 看一个例子: 在进行语义分析的时候,这一点显得很有效。 RNN也有多种形式: 目前常说的RNN就是指的LSTM(Long short-term memory),GRU是少了一个gate,s...原创 2018-04-12 19:55:07 · 393 阅读 · 0 评论 -
隐藏单元的选择
整流线性单元(ReLu)是隐藏单元极好的默认选择。也可以选择其他隐藏单元,但是选用过程中充满了试验和错误,先直觉认为某种隐藏单元可能表现良好,然后用它组成神经网络进行训练,最后用验证集来评估它的性能。 有些隐藏单元并不是在所有点上可微,比如说Relu在z=0点处不可微,但在实践中,梯度下降对这些机器学习模型仍旧表现的足够好。部分原因是神经网络训练算法通常不对达到代价函数的局部最小值,而是仅仅显著...原创 2018-04-25 11:12:46 · 822 阅读 · 0 评论 -
各优化算法的优缺点整理
固定学习率的优化算法SGDSGD在深度学习中指的是小批量梯度下降,是按照数据分布将总体数据划分为多个小批量数据,然后利用小批量数据对参数进行更新。 优点:每一步更新的计算时间不依赖于训练样本数目的多寡,即使训练样本数目非常大时,他们也能收敛。对于足够大的数据集,SGD可能会在处理整个训练集之前就收敛到最终测试机误差的某个容错范围内。 缺点:选择合适的learning rate比较困难,...原创 2018-05-08 10:02:50 · 18128 阅读 · 0 评论 -
Lesson4--CNN简单介绍
使用CNN做边缘检测时,根据使用的filter不同,会得到不同的效果。比如垂直的边缘检测一般使用的filter 水平边缘检测会使用不同的filter padding 填充在使用filter对图像做卷积处理时,我们会发现两个问题:1.每次卷积操作之后图像的尺寸会缩小;2.边缘图像点只能被较少的信息点覆盖,而核心部分的信息可以被较多的信息点覆盖。为了解决这两个问题,我们就需要对原始...原创 2018-05-09 10:43:53 · 411 阅读 · 0 评论 -
Lesson4--CNN经典文章解读
这周主要讲解了CNN领域中的几种经典网络架构。 按照时间先后顺序,依次讲解了LeNet,AlexNet,VGG-16,ResNet。 NN number of parameters layer LeNet 6万 AlexNet 6000万 AGG 1.38亿 ResNet 100层1*1的卷积...原创 2018-05-17 20:47:35 · 808 阅读 · 0 评论 -
Lesson4--CNN目标检测
Object detection 目标检测图像分类与定位之前我们学习到的输入一张图片,输出为图片的分类的方法都是image classification(图像识别),但有些时候,我们不仅要知道图像的分类,还需要知道目标所在的位置,这种任务叫作image classification and localization,另外有些时候,一张图片中含有多个目标,此时的任务叫作目标检测obje...原创 2018-05-18 10:36:27 · 418 阅读 · 0 评论 -
Lesson4--人脸验证与人脸识别
人脸验证与人脸识别这两者不同的是,前者是一对一的,只需要对比两张图片,而后者是检验一张图片是否与数据库中的图片相同。一般来说,我们先构建好的人脸验证系统,然后再将它扩展到人脸识别的领域。 one-shot learning面对的问题是:在登记人脸图像的时候,每个员工只会提供一张图片,那么如果需要识别的数据库中只有4个成员的话,按照传统的卷积神经网络,训练集为4,训练样本过少;另外一个问题...原创 2018-05-20 20:01:35 · 336 阅读 · 0 评论