深度学习
zyh88的救赎
找个地方保存自己的学习成果!
展开
-
LeNet-5网络的参数及连接个数
原文:http://vision.stanford.edu/cs598_spring07/papers/Lecun98.pdfGradient Based Learning Applied to Document Recognition第7页倒数第3段。首先看C1和input的卷积连接,C1中各个field的每个神经元连接了25个输入单元,这里有25个连接,一个featur转载 2016-12-10 16:18:07 · 2833 阅读 · 0 评论 -
TensorFlow学习笔记2:构建CNN模型
深度学习模型TensorFlow很适合用来进行大规模的数值计算,其中也包括实现和训练深度神经网络模型。下面将介绍TensorFlow中模型的基本组成部分,同时将构建一个CNN模型来对MNIST数据集中的数字手写体进行识别。基本设置在我们构建模型之前,我们首先加载MNIST数据集,然后开启一个TensorFlow会话(session)。加载MNIST数据集TensorFlow中已转载 2016-12-10 16:26:19 · 4794 阅读 · 0 评论 -
epoch和iteration的区别
深度学习中经常看到epoch、 iteration和batchsize,下面按自己的理解说说这三个的区别:(1)batchsize:批大小。在深度学习中,一般采用SGD(随机梯度下降,Stochastic Gradient Descent)训练,即每次训练在训练集中取batchsize个样本训练;(2)iteration:1个iteration等于使用batchsize个样本训练一次;(原创 2016-12-11 19:37:13 · 1795 阅读 · 0 评论 -
基于高斯核的RBF神经网络
如上图所示,隐含层神经元的核函数为高斯核函数,对输入信号进行空间变换。 径向基神经网络经过了两个变换,一是非线性变换,二是线性变换;非线性变换的过程可以用下图表示出来。 非线性变换:首先输入信号与选定的中心的欧式径向距离;然后对此距离进行高斯变换线性变换:对隐层的输出结构进行加权求和径向基神经网络具有局部逼近的能力,因为当函数的输入信号,靠近函数的中央范围时,隐层节点将产生较大的输原创 2016-12-09 17:16:39 · 2595 阅读 · 0 评论 -
能量函数在神经网络中的含义
能量函数在神经网络中的含义能量函数(energy function)一开始在热力学中被定义,用于描述系统的能量值,当能量值达到最小时系统达到稳定状态。 在神经网络(Neural Network)中,在RBM中被首次使用。在RBM中,输入层v和隐藏层h之间的能量函数定义为: E(v,h)=∑i∈vaivi+∑j∈hbjhj+∑i∈v,j∈hvihjwij将a,v,b,h和w向量表示成矩阵,这个式子原创 2016-12-19 22:09:01 · 3150 阅读 · 0 评论