深度学习
zhangbijun1230
这个作者很懒,什么都没留下…
展开
-
吴恩达《深度学习》 学习笔记1
1.2 什么是神经网络 本节从房价预测的例子讲起,如图1所示。 图1 房屋价格预测模型—单个神经元已知几组房屋面积和价格之间的对应关系,想要构建一个根据房屋面积预测房屋价格的模型。最简单的模型是用一条直线进行拟合,由于房价不能为负数,所以在负值阶段取0值,这就是著名的”ReLU”函数。以上构建出的模型就是一个最简单的神经元(neuron)模型:给定一个输入x(房屋面积),喂给神经元后,得到输出y(...转载 2018-03-08 22:40:03 · 456 阅读 · 0 评论 -
深度学习(1)---2017年深度学习NLP重大进展与趋势
深度学习(DL)架构和算法在图像识别、语音处理等领域实现了很大的进展。而深度学习在自然语言处理方面的表现最初并没有那么起眼,不过现在我们可以看到深度学习对 NLP 的贡献,在很多常见的 NLP 任务中取得了顶尖的结果,如命名实体识别(NER)、词性标注(POS tagging)或情感分析,在这些任务中神经网络模型优于传统方法。而机器翻译的进步或许是最显著的。本文,我将概述 2017 年深度学习技术...转载 2018-03-10 21:30:23 · 860 阅读 · 0 评论 -
深度学习(2)--深度学习中的这25个概念
神经网络基础1)神经元(Neuron)——就像形成我们大脑基本元素的神经元一样,神经元形成神经网络的基本结构。想象一下,当我们得到新信息时我们该怎么做。当我们获取信息时,我们一般会处理它,然后生成一个输出。类似地,在神经网络的情况下,神经元接收输入,处理它并产生输出,而这个输出被发送到其他神经元用于进一步处理,或者作为最终输出进行输出。 2)权重(Weights)——当输入进入神经元时,它会乘以一...转载 2018-03-10 21:35:21 · 1424 阅读 · 0 评论 -
深度学习(2) - 感知器
深度学习是啥在人工智能领域,有一个方法叫机器学习。在机器学习这个方法里,有一类算法叫神经网络。神经网络如下图所示:上图中每个圆圈都是一个神经元,每条线表示神经元之间的连接。我们可以看到,上面的神经元被分成了多层,层与层之间的神经元有连接,而层内之间的神经元没有连接。最左边的层叫做输入层,这层负责接收输入数据;最右边的层叫输出层,我们可以从这层获取神经网络输出数据。输入层和输出层之间的层叫做隐藏层。...转载 2018-03-10 21:59:20 · 677 阅读 · 0 评论 -
深度学习(4) - 神经网络和反向传播算法
神经元神经元和感知器本质上是一样的,只不过我们说感知器的时候,它的激活函数是阶跃函数;而当我们说神经元时,激活函数往往选择为sigmoid函数或tanh函数。如下图所示:计算一个神经元的输出的方法和计算一个感知器的输出是一样的。假设神经元的输入是向量,权重向量是(偏置项是),激活函数是sigmoid函数,则其输出:式sigmoid函数的定义如下:将其带入前面的式子,得到sigmoid函数是一个非线...转载 2018-03-10 22:04:12 · 2054 阅读 · 0 评论 -
深度学习(5) - 卷积神经网络
一个新的激活函数——Relu最近几年卷积神经网络中,激活函数往往不选择sigmoid或tanh函数,而是选择relu函数。Relu函数的定义是:Relu函数图像如下图所示:Relu函数作为激活函数,有下面几大优势:速度快 和sigmoid函数需要计算指数和倒数相比,relu函数其实就是一个max(0,x),计算代价小很多。减轻梯度消失问题 回忆一下计算梯度的公式。其中,是sigmoid函数的导数。...转载 2018-03-10 22:06:23 · 2795 阅读 · 1 评论 -
深度学习(6) - 循环神经网络
语言模型RNN是在自然语言处理领域中最先被用起来的,比如,RNN可以为语言模型来建模。那么,什么是语言模型呢?我们可以和电脑玩一个游戏,我们写出一个句子前面的一些词,然后,让电脑帮我们写下接下来的一个词。比如下面这句:我昨天上学迟到了,老师批评了____。我们给电脑展示了这句话前面这些词,然后,让电脑写下接下来的一个词。在这个例子中,接下来的这个词最有可能是『我』,而不太可能是『小明』,甚至是『吃...转载 2018-03-10 22:10:47 · 670 阅读 · 0 评论 -
深度学习(7) - 长短时记忆网络(LSTM)
长短时记忆网络是啥我们首先了解一下长短时记忆网络产生的背景。回顾一下零基础入门深度学习(5) - 循环神经网络中推导的,误差项沿时间反向传播的公式:我们可以根据下面的不等式,来获取的模的上界(模可以看做对中每一项值的大小的度量):我们可以看到,误差项从t时刻传递到k时刻,其值的上界是的指数函数。分别是对角矩阵和矩阵W模的上界。显然,除非乘积的值位于1附近,否则,当t-k很大时(也就是误差传递很多个...转载 2018-03-10 22:15:21 · 6990 阅读 · 0 评论