xiaolu的专栏

几个不错的深度学习教程，基本都有视频和演讲稿。附两篇综述文章和一副漫画。还有一些以后补充。Jeff Dean 2013 @ Stanfordhttp://i.stanford.edu/infoseminar/dean.pdf一个对DL能干什么的入门级介绍，主要涉及Google在语音识别、图像处理和自然语言处理三个方向上的一些应用。参《Spanner and Deep

这是第一次阅读matlab版的RBM程序所做的笔记，其中有好多没有理解的地方，希望能跟各位博友一起学习、一起研究、一起讨论，共同进步。一、Rbm阅读材料    http://en.wikipedia.org/wiki/Restricted_Boltzmann_machine    http://deeplearning.net/tutorial/rbm.html二、Rbm训练的基本

0. 前言  本文是应用 logsitic regression 模型对手写数字识别的实现，整个程序是基于 MNIST 手写数字数据库进行 train， cross validate 和 test 的，如需下载 python 实现的源代码，请点击这里，你还可以在这里下载数据集。 MNIST 数据库由NYU 的 Yann LeCun 等人维护， Yann LeCun 自 1998 年

网址：http://blog.csdn.net/zouxy09/article/category/1387932目录：一、概述二、背景三、人脑视觉机理四、关于特征       4.1、特征表示的粒度       4.2、初级（浅层）特征表示       4.3、结构性特征表示       4.4、需要有多少个特征？五、

深度学习的引领者：1.杰夫·辛顿 Geoffrey Hinton2.约书亚·本吉奥 Yoshua Bengio3.扬·乐康 Yann LeCun深度学习学习资料汇总:1.UFLDL教程（中文）（Matlab语言实现，入门经典）2.Deep Learning 学习笔记（CSDN深度学习笔记）3.Deep Learning tutot

每每想到几年前写一篇关于Action Classification的paper的时候，苦于没有找到好的feature representation方法而失败了。那时候记得也是想表示成一层一层的特征出来，当时用了关联规则挖掘，效率没法克服；然后上了topic model的思想来组织图像，没做到点子上。现在想想也许当时多实验试验Hierarchical topic model的思想说不定能搞出点名堂。

前言：Deep Learning已经很火了，本文作者算是后知后觉者，主要原因是作者的目前工作是广告点击率预测，而之前听说Deep Learning最大的突破还是在图像语音领域，而在NLP和在线广告点击预测方面的突破还不够大。但后来听说Google开源的word2vec还挺有意思，能够把词映射到K维向量空间，甚至词与词之间 的向量操作还能和语义相对应。如果换个思路，把词当做feature，那

嘉宾介绍：谷俊丽，博士学历，毕业于清华大学-美国University of Illinois Urbana-champaign大学，在清华期间作为核心人员研发过超长指令字数字信号处理器，在美期间曾参与UIUC超级计算机上的研究工作，并工作实习于Google总部和创业公司Personify。现于AMD中国研究院高级研究员，从事异构计算平台、人工智能+Big Data相关的研究。在计算机和高性能计算领

托deep learning的福，这个自学之余的简单总结一直是我豆瓣上浏览和推荐数最多的日志，在这里感谢大家的肯定。然而，deep learning是一个高速发展的领域，自那时起已经更新了许多（错误的）认识，以下内容某种意义上早已过时了。很遗憾，我脱离deep learning的学习和研究已经整整两年了，所以对它最新的发展只是略知皮毛。有志于学习和应用deep learning的豆友，不妨参考

博文内容参照网页Stacked Autoencoders，Stacked Autocoders是栈式的自编码器（参考网页Autoencoder and Sparsity和博文自编码与稀疏性），就是多层的自编码器，把前一层自编码器的输出（中间隐藏层）作为后一层自编码器的输入，其实就是把很多自编码器的编码部分叠加起来，然后再叠加对应自编码器的解码部分，这样就是一个含有多个隐含层的自编码器了。本博文

摘要：2015年ICML的深度学习研讨会，压轴大戏是关于深度学习未来的讨论。组织方邀请了Yoshua Bengio、Neil Lawrence、Yann LeCun等六位专家开展讨论。本文是这次讨论的简要总结，来自Kyunghyun Cho（Bengio的博士后）。【编者按】2015年ICML的深度学习研讨会，压轴大戏是关于深度学习未来的讨论。基于平衡考虑，组织方分别邀请了来自工业界和

2013年 1 月 15 日，新浪微博上网友 @王威廉 发了一条消息，说机器学习领域的大牛， Alex Smola 入盟 CMU，讲授机器学习入门课程，该课程的视频将在网上公开。我回应了几个帖子，聊聊 CMU 与机器学习的研究进展。网友 @老师木 回复说，“机器学习是伪科学”。网友 @y_y_n_i_l 则说，“整天在实验室里面折腾算法，不如实际搞大系统”。两个人的观点，都有出处。

编者按：本文来自 “流浪汉” 投稿（@ZhangLumin），一个在硅谷工作的码农，有机器学习背景，平常对产品方面很有兴趣。最近一段时间里，Facebook、Google、Yahoo!、百度等各大公司都在尝试将深度学习（deep learning）算法运用到产品开发中，以期使产品更智能化，提升用户体验。在深度学习持续走红的当下，"流浪汉"对这一概念做了梳理，并分享了他对深度学习的实用性及未来发

Comments from Xinwei: 最近的一个课题发展到与深度学习有联系，因此在高老师的建议下，我仔细看了下深度学习的基本概念，这篇综述翻译自http://deeplearning.net，与大家分享，有翻译不妥之处，烦请各位指正。查看最新论文Yoshua Bengio, Learning Deep Architectures for AI, Foundations and

近年来深度学习领域的突破与计算能力的大幅进步是分不开的：加快了研究的迭代速度，有更多的机会来优化和调整网络，降低了试错的成本。可以在更大的数据集上进行训练，提高了最终的精度。相较于通用处理器，GPU 在单位面积/单位功耗上拥有更高的计算能力和吞吐带宽，对于神经网络的训练和分类都可以提供显著的加速效果。因而越来越多的学者和机构会选择 GPU 来加速他们的研究，如下图是这几年来

CNNs应用的最成功的一个例子：Yann LeCun（曾经是Hinton组的research associate）http://yann.lecun.com/exdb/lenet/index.html code project上的一个C++写的例子，有很详细的文档说明：http://www.codeproject.com/Articles/16650/Neural-

原文地址：http://www.csdn.net/article/1970-01-01/2825290

发表于2014-08-20 17:25| 3887次阅读| 来源腾讯大数据| 5 条评论| 作者佚名大数据神经网络深度学习并行计算人脸识别摘要：本文是腾讯深度学习系列文章之一，主要聚焦于腾讯深度学习平台（Tencent Deep Learning Platform）中深度卷积神经网络Deep CNNs的多GPU模型并行和数据并行框架。5.CNNs

SVM方面，首选的肯定是LIBSVM这个库，应该是应用最广的机器学习库了。下面主要推荐一些DeepLearning的GitHub项目吧！1. convnetjs - Star:2200+实现了卷积神经网络，可以用来做分类，回归，强化学习等。2. DeepLearn Toolbox - Star:1000+Matlab实现中最热的库存，包括了CNN,DBN,SAE,CAE等主流模型。3.

目录(?)[-]作者tornadomeet 出处httpwwwcnblogscomtornadomeet 欢迎转载或分享但请务必声明文章出处Deep learning一基础知识_1Deep learning二linear regression练习Deep learning三Multivariance Linear Regression练习Deep learning四logistic reg

简介[编辑]深度学习框架，尤其是基于人工神经网络的框架可以追溯到1980年福岛邦彦提出的新认知机[2]，而人工神经网络的历史更为久远。1989年，燕乐存（Yann LeCun）等人开始将1974年提出的标准反向传播算法[3]应用于深度神经网络，这一网络被用于手写邮政编码识别。尽管算法可以成功执行，但计算代价非常巨大，神经网路的训练时间达到了3天，因而无法投入实际使用[4]。许多因素导致

目录(?)[-]nnsetupnntrainnnffnnbpnnapplygradsnntestnnpredict总结==========================================================================================最近一直在看Deep Learning，各

通常来说，大家认为深度学习的观点是Geoffrey Hinton在2006年提出的。这一算法提出之后，得到了迅速的发展。关于深度学习，zouxy09的专栏中有详细的介绍，Free Mind 的博文也很值得一读。本博文是我对深度学习的一点看法，主要内容在第4、5部分，不当之处还请指教。1.深度学习深度学习，即Deep Learning，是一种学习算法（Learning alg

目录(?)[-]DBNdbnsetupmDBNdbntrainm   DBNrbmtrainmDBNdbnunfoldtonnm总结==========================================================================================最近一直在看Deep Learning，各类

前言：　　本文是针对上篇博文Deep learning：三十四(用NN实现数据的降维)的练习部分，也就是Hition大牛science文章reducing the dimensionality of data with neural networks的code部分，其code下载见：http://www.cs.toronto.edu/~hinton/MatlabForSciencePa

[-]readmemnistdeepautom convertmreadme开头是版权声明后来是介绍文件中几个-ubyte结尾的是训练包，包含二进制的图片信息。          * mnistdeepauto.m   （主要的文件，用来训练深度自动编码器） Main file for training deep autoenco

摘要: 前几天meta-guide.com列出了100个深度学习的源代码项目，但其中大部分都不活跃。这里我们精选出18个最活跃的项目，每个都制作了信息卡片，一目了然，方便比较和转贴。 ...        前几天meta-guide.com列出了100个深度学习的源代码项目，但其中大部分都不活跃。这里我们精选出18个最活跃的项目，每个都制作了信息卡片，一目了然，方便比较和转贴。

（注：本文译自一篇博客，作者行文较随意，我尽量按原意翻译，但作者所介绍的知识还是非常好的，包括例子的选择、理论的介绍都很到位，由浅入深，源文地址）　　近些年来，人工智能领域又活跃起来，除了传统了学术圈外，Google、Microsoft、facebook等工业界优秀企业也纷纷成立相关研究团队，并取得了很多令人瞩目的成果。这要归功于社交网络用户产生的大量数据，这些数据大都是原始数据，需要被进

【研究动态】深度学习进阶线路图（一）在应用机器学习的时候，最耗时和重要的阶段是对原始数据进行特征提取。深度学习是一个新的机器学习的分支，他要做的就是跨过整个特征设计阶段，而是直接从数据中学习得到。大部分的深度学习方法都是基于神经网络的，在这些结构中，复杂的高层结构是建立在多个非线性神经元函数的多层叠加上的。其实最容易的介绍神经网络和深度学习的教程是Geoff Hinton’

目录(?)[-]DeepLearnToolboxDirectories included in the toolboxSetupGitHub链接：DeepLearnToolboxDeepLearnToolboxA Matlab toolbox for Deep Learning.Deep Learning

Matlab示例代码为两部分，分别对应不同的论文：1. Reducing the Dimensionality of data with neural networks 　　ministdeepauto.m backprop.m rbmhidlinear.m2. A fast learing algorithm for deep belief net　　mnistclassify.

Deep Learning源代码收集-持续更新…zouxy09@qq.comhttp://blog.csdn.net/zouxy09 收集了一些Deep Learning的源代码。主要是Matlab和C++的，当然也有python的。放在这里，后续遇到新的会持续更新。下表没有的也欢迎大家提供，以便大家使用和交流。谢谢。 最近一次更新：2013-9-2

目录(?)[-]What this book is aboutUsing neural nets to recognize handwritten digitsHow the backpropagation algorithm worksImproving the way neural networks learnA visual proof that neural nets can co

这个是Hinton关于RBM的pre-training的代码。源代码网址：http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html%%%%%%%%%%%%%%rbm.mepsilonw      = 0.1;   % Learning rate for weights epsilonvb    

源代码：http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html这个是关于RBM的微调步骤的代码，代价函数是交叉熵% Version 1.000%% Code provided by Ruslan Salakhutdinov and Geoff Hinton%% Permission is grante

%%%%%%%mnistclssify.m%%%%%%%%%%%%%%%%%clear allclose allmaxepoch=50;    %最大迭代次数numhid=500; numpen=500; numpen2=2000; %对应的1,2,3层隐含层单元的个数fprintf(1,'Converting Raw files into Matlab f

Following is a growing list of some of the materials i found on the web for Deep Learning beginners.Free Online BooksDeep Learning by Yoshua Bengio, Ian Goodfellow and Aaron CourvilleNeural Ne

运行这个程序的主要目的：深入理解deep autoencoder 的基本原理和基本架构，搞明白是如何搭建起来的,弄清它是如何训练学习的，又是如何提取目标的特征的，最终又是怎样分类的。代码主程序如下：mnistdeepauto.m[plain] view plaincopy% Version 1.000  %  % Code

发表于2015-06-01 07:10| 8257次阅读| 来源Nature| 17 条评论| 作者Yann LeCun、Yoshua Bengio、Geoffrey Hinton深度学习自然语言处理计算机视觉语音识别geoffrey hintonYoshua BengioYann LeCunBP算法摘要：最新的《Nature》杂志专门为“人