zyazky

Batch Normalization 学习笔记原文地址：http://blog.csdn.net/hjimce/article/details/50866313作者：hjimce一、背景意义本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Traini

感受野（receptive field）是怎样一个东西呢，从CNN可视化的角度来讲，就是输出featuremap某个节点的响应对应的输入图像的区域就是感受野。在机器视觉领域的深度神经网络中有一个概念叫做感受野，用来表示网络内部的不同位置的神经元对原图像的感受范围的大小。神经元之所以无法对原始图像的所有信息进行感知，是因为在这些网络结构中普遍使用卷积层和pooling层，在层与层之间均为局部相连（通...

#Deep Learning回顾#之2006年的Science Paper大家都清楚神经网络在上个世纪七八十年代是着实火过一回的，尤其是后向传播BP算法出来之后，但90年代后被SVM之类抢了风头，再后来大家更熟悉的是SVM、AdaBoost、随机森林、GBDT、LR、FTRL这些概念。究其原因，主要是神经网络很难解决训练的问题，比如梯度消失。当时的神经网络研究进入一个低潮期，不过H

你可以怎样让你的深度学习模型实现更好的表现？这是一个我常被问到的问题：「我该怎么提升准确度？」或者「如果我的神经网络表现很糟糕我该怎么办？」……我常常给出的回答是：「我也不完全知道，但我有很多想法。」然后我开始列出所有我可以想到的可能能够带来效果改进的想法。我将这些想法汇集到了这篇博客中，这些想法不仅能在机器学习上为你提供帮助，而且实际上

转自：http://blog.csdn.net/augusdi/article/details/20238157Deep Learning（深度学习）ufldl的2个教程(这个没得说，入门绝对的好教程，Ng的，逻辑清晰有练习)：一ufldl的2个教程(这个没得说，入门绝对的好教程，Ng的，逻辑清晰有练习)：二Bengio团队的deep learning教程，用的

caffe调参经验资料文章 http://www.thinkface.cn/thread-4402-1-1.html (出处: thinkface论坛)调参是个头疼的事情，Yann LeCun、Yoshua Bengio和Geoffrey Hinton这些大牛为什么能够跳出各种牛逼的网络？下面一些推荐的书和文章：调参资料总结Neural Network: Trick o

深度学习是近十年来人工智能领域取得的最重要的突破之一。它在语音识别、自然语言处理、计算机视觉、图像与视频分析、多媒体等诸多领域都取得了巨大成功。本文将重点介绍深度学习在物体识别、物体检测、视频分析的最新研究进展，并探讨其发展趋势。1. 深度学习发展历史的回顾现有的深度学习模型属于神经网络。神经网络的历史可追述到上世纪四十年代，曾经在八九十年代流行。神经网络试图通过模拟大脑认知的机理

转载请注明：http://blog.csdn.net/stdcoutzyx/article/details/41596663自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。正文

转自：http://blog.csdn.net/stdcoutzyx/article/details/51052847之前也写过GoogLeNet的笔记，但那个时候对Inception有些似懂非懂，这周重新看了一遍，觉得有了新的体会，特地重新写一篇博客与它再续前缘。本文属于论文笔记性质，特此声明。Network in NetworkGoogLeNet提出之时，说

论文：Multi-scale Patch Aggregation（MPA）for Simultaneous Detection and Segmentation论文作者：Shu Liu, Xiaojuan Qi, Jianping Shi, Hong Zhang, Jiaya JiaThe Chinese University of Hong Kong（香港中文大学），Se

论文：A Key Volume Mining Deep Framework for Action Recognition论文作者：Wangjiang Zhu, Jie Hu, Gang Sun, Xudong Cao, Yu QiaoTsinghua University（清华大学），Shenzhen Institutes of Advanced Technology, C

MNIST数据库介绍：MNIST是一个手写数字数据库，它有60000个训练样本集和10000个测试样本集。它是NIST数据库的一个子集。MNIST数据库官方网址为：http://yann.lecun.com/exdb/mnist/ ，也可以在windows下直接下载，train-images-idx3-ubyte.gz、train-labels-idx1-ubyte.gz等。下载四个文件，

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。       深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是

环境：win7+64位系统相关安装软件： Anaconda2-4.0.0-Windows-x86_64.exevisual_studio_ultimate_2013cuda_7.5.18_windows.exe硬件：联想Y480笔记本电脑， 显卡型号: NVIDIA  GEFORCE  GT 650M 1、安装Anconda。因为如果安装纯净

一、Caffe（Convolutional Architecture for Fast Feature Embedding） BVLC    We believe that Caffe is the fastest convnet implementation available. caffe的官网是http://caffe.berkeleyvision.org/。Caffe是一个清晰而高

多层感知机解决了之前无法模拟异或逻辑的缺陷，同时更多的层数也让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。多层感知机给我们带来的启示是，神经网络的层数直接决定了它对现实的刻画能力——利用每层更少的神经元拟合更加复杂的函数。但是随着神经网络层数的加深，优化函数越来越容易陷入局部最优解（即过拟合，在训练样本上有很好的拟

一、最简单的是采用cuda的deb安装方式：1. Pre-installation Actions这一步需要检查GPU是否支持CUDA Ubuntu版本是否受支持 gcc版本检查 Kernel Headers and Development Packages 是否已安装这些步骤官方教程很详细，请移步官方教程第二节Pre-installation Actions2. 下载Ni...