zhongshaoyy的博客

作者：冯超链接：https://zhuanlan.zhihu.com/p/22044472来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。上回说到我们从前向的方向推导，发现了这些0均值的随机变量在计算过程中会产生方差扩散的问题，我们并且从前向的方向给出了解决的办法。既然在刚才的句子中我们反复提到了前向这两个字，那肯定是在别有用心地告诉大家——还有后

本文是阅读Hinton 大神蒸馏神经网络论文的笔记，特此说明。此文读起来很抽象，但是和我的研究方向：神经网络的压缩十分相关，因此决定花气力好好理解一下。 1、Introduction  文章开篇用一个比喻来引入网络蒸馏：昆虫作为幼虫时擅于从环境中汲取能量，但是成长为成虫后确是擅于其他方面，比如迁徙和繁殖等。同理神经网络训练阶段从大量数据中获取网络模型，训练阶段可以利用大量的计算资源且不需要

epoch、 iteration和batchsize，三个的区别：（1）batchsize：一个批次样本含量。在深度学习中，即每次训练在训练集中取  batchsize 个样本训练；（2）iteration：1个iteration等于使用batchsize个样本训练一次；（3）epoch：1个epoch等于使用训练集中的全部样本训练一次；举个

最近一个月，人工智能领域听的最多的名词之一，莫过于对抗样本和对抗性网络，从最开始Yann LeCun在Quora上直播时表示生成对抗性网络近期人工智能最值得期待的算法之一，到近日生成对抗性网络的发明者Ian Goodfellow在Quora上直播讲述自己的学习经历和研究，而对比起LeCun, Ian Goodfellow的知名度可能没有那么高，但是Goodfellow是Yoshua B

原文地址：http://blog.csdn.net/u012938704/article/details/53202103?locationNum=1&fps=1《Learning Deconvolution Network for Semantic Segmentation》阅读笔记FCN首先论文对比《Fully convolutional networks for

可视化理解卷积神经网络原文地址：http://blog.csdn.net/hjimce/article/details/50544370作者：hjimce一、相关理论本篇博文主要讲解2014年ECCV上的一篇经典文献：《Visualizing and Understanding Convolutional Networks》，可以说是CNN领域可视化理解

Dropout是2012年深度学习视觉领域的开山之作paper：《ImageNet Classification with Deep Convolutional》所提到的算法，用于防止过拟合。在我刚入门深度学习，搞视觉的时候，就有所耳闻，当时只知道它是为了防止过拟合。记得以前啥也不懂，看到《ImageNet Classification with Deep Convolutional》的思路，然后

针对MNIST的LeNet结构如下图所示：包含2个卷积层，2个max池化层，2个全连接接层和1个relu层与一个softmax层。下面我来推导一下每层的神经元数目和参数的个数。1、输入层：输入层输入一个28*28的图片。2、卷积层1：该层使用20个5*5的卷积核分别对输入层图片进行卷积，所以包含20*5*5=500个参数权值参数。卷积后图片边长为(28-5+1)

起源：传统激活函数、脑神经元激活频率研究、稀疏激活性传统Sigmoid系激活函数传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。从数学上来看，非线性的Sigmoid函数对中央区的信号增益较大，对两侧区的信号增益小，在信号的特征空间映射上，有很好的效果。从神经科学上来看

之前在学习CNN的时候，有对卷积进行一些学习和整理，后来就烂尾了，现在稍微整理下，先放上来，以提醒和交流。一、线性滤波与卷积的基本概念      线性滤波可以说是图像处理最基本的方法，它可以允许我们对图像进行处理，产生很多不同的效果。做法很简单。首先，我们有一个二维的滤波器矩阵（有个高大上的名字叫卷积核）和一个要处理的二维图像。然后，对于图像的每一个像素点，计算它的邻域像素和滤波器

作者：冯超链接：https://zhuanlan.zhihu.com/p/22028079来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。上一回我们做了三个小实验。第一个是正常的实验，表现优异；第二个实验我们把初始化调整得很奇葩（为什么奇葩？），最终训练结果弱爆了；第三个实验我们把非线性函数重新换回sigmoid，模型奇迹般地回血，虽然表现不够完美

Network In Network学习笔记原文地址：http://blog.csdn.net/hjimce/article/details/50458190作者：hjimce一、相关理论本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，过去一年已经有了好几百的引用量，这篇paper改进了传统的CNN网络，采