深度学习
zjxiaolu
当你的实力还不足以撑起你的野心的时候,请继续低头前行,提高你的实力!
展开
-
深度学习的一些教程
几个不错的深度学习教程,基本都有视频和演讲稿。附两篇综述文章和一副漫画。还有一些以后补充。Jeff Dean 2013 @ Stanfordhttp://i.stanford.edu/infoseminar/dean.pdf一个对DL能干什么的入门级介绍,主要涉及Google在语音识别、图像处理和自然语言处理三个方向上的一些应用。参《Spanner and Deep转载 2015-04-23 21:37:50 · 550 阅读 · 0 评论 -
Training a deep autoencoder or a classifier on MNIST digits_Rbm训练(Matlab)
这是第一次阅读matlab版的RBM程序所做的笔记,其中有好多没有理解的地方,希望能跟各位博友一起学习、一起研究、一起讨论,共同进步。一、Rbm阅读材料 http://en.wikipedia.org/wiki/Restricted_Boltzmann_machine http://deeplearning.net/tutorial/rbm.html二、Rbm训练的基本转载 2015-04-20 19:57:05 · 840 阅读 · 0 评论 -
Logistic Regression 之手写数字识别
0. 前言 本文是应用 logsitic regression 模型对手写数字识别的实现,整个程序是基于 MNIST 手写数字数据库进行 train, cross validate 和 test 的,如需下载 python 实现的源代码,请点击这里,你还可以在这里下载数据集。 MNIST 数据库由NYU 的 Yann LeCun 等人维护, Yann LeCun 自 1998 年转载 2015-04-20 20:01:12 · 3020 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记
网址:http://blog.csdn.net/zouxy09/article/category/1387932目录:一、概述二、背景三、人脑视觉机理四、关于特征 4.1、特征表示的粒度 4.2、初级(浅层)特征表示 4.3、结构性特征表示 4.4、需要有多少个特征?五、转载 2015-04-20 19:21:35 · 3825 阅读 · 0 评论 -
深度学习三人行+学习资源
深度学习的引领者:1.杰夫·辛顿 Geoffrey Hinton2.约书亚·本吉奥 Yoshua Bengio3.扬·乐康 Yann LeCun深度学习学习资料汇总:1.UFLDL教程(中文)(Matlab语言实现,入门经典)2.Deep Learning 学习笔记(CSDN深度学习笔记)3.Deep Learning tutot转载 2015-04-20 19:36:33 · 527 阅读 · 0 评论 -
Deep Belief Network(DBN)的实现(c++)
每每想到几年前写一篇关于Action Classification的paper的时候,苦于没有找到好的feature representation方法而失败了。那时候记得也是想表示成一层一层的特征出来,当时用了关联规则挖掘,效率没法克服;然后上了topic model的思想来组织图像,没做到点子上。现在想想也许当时多实验试验Hierarchical topic model的思想说不定能搞出点名堂。转载 2015-04-20 19:47:49 · 2262 阅读 · 0 评论 -
Deep Learning实战之word2vec
前言:Deep Learning已经很火了,本文作者算是后知后觉者,主要原因是作者的目前工作是广告点击率预测,而之前听说Deep Learning最大的突破还是在图像语音领域,而在NLP和在线广告点击预测方面的突破还不够大。但后来听说Google开源的word2vec还挺有意思,能够把词映射到K维向量空间,甚至词与词之间 的向量操作还能和语义相对应。如果换个思路,把词当做feature,那转载 2015-04-29 10:08:12 · 1516 阅读 · 0 评论 -
谷俊丽:基于大数据的深度学习
嘉宾介绍:谷俊丽,博士学历,毕业于清华大学-美国University of Illinois Urbana-champaign大学,在清华期间作为核心人员研发过超长指令字数字信号处理器,在美期间曾参与UIUC超级计算机上的研究工作,并工作实习于Google总部和创业公司Personify。现于AMD中国研究院高级研究员,从事异构计算平台、人工智能+Big Data相关的研究。在计算机和高性能计算领转载 2015-04-29 14:58:43 · 20814 阅读 · 0 评论 -
[deep learning] 最近看过的部分论文
托deep learning的福,这个自学之余的简单总结一直是我豆瓣上浏览和推荐数最多的日志,在这里感谢大家的肯定。然而,deep learning是一个高速发展的领域,自那时起已经更新了许多(错误的)认识,以下内容某种意义上早已过时了。很遗憾,我脱离deep learning的学习和研究已经整整两年了,所以对它最新的发展只是略知皮毛。有志于学习和应用deep learning的豆友,不妨参考转载 2015-05-01 20:19:25 · 801 阅读 · 0 评论 -
Stacked Autoencoders
博文内容参照网页Stacked Autoencoders,Stacked Autocoders是栈式的自编码器(参考网页Autoencoder and Sparsity和博文自编码与稀疏性),就是多层的自编码器,把前一层自编码器的输出(中间隐藏层)作为后一层自编码器的输入,其实就是把很多自编码器的编码部分叠加起来,然后再叠加对应自编码器的解码部分,这样就是一个含有多个隐含层的自编码器了。本博文转载 2015-05-01 20:05:23 · 886 阅读 · 0 评论 -
ICML 2015压轴讨论总结:6大神畅谈深度学习的未来
摘要:2015年ICML的深度学习研讨会,压轴大戏是关于深度学习未来的讨论。组织方邀请了Yoshua Bengio、Neil Lawrence、Yann LeCun等六位专家开展讨论。本文是这次讨论的简要总结,来自Kyunghyun Cho(Bengio的博士后)。【编者按】2015年ICML的深度学习研讨会,压轴大戏是关于深度学习未来的讨论。基于平衡考虑,组织方分别邀请了来自工业界和转载 2015-08-12 16:11:37 · 797 阅读 · 0 评论 -
Deep Learning 和 Knowledge Graph 引爆大数据革命
2013年 1 月 15 日,新浪微博上网友 @王威廉 发了一条消息,说机器学习领域的大牛, Alex Smola 入盟 CMU,讲授机器学习入门课程,该课程的视频将在网上公开。我回应了几个帖子,聊聊 CMU 与机器学习的研究进展。网友 @老师木 回复说,“机器学习是伪科学”。网友 @y_y_n_i_l 则说,“整天在实验室里面折腾算法,不如实际搞大系统”。两个人的观点,都有出处。转载 2015-08-12 02:03:06 · 979 阅读 · 0 评论 -
互联网世界的 “人工智能”——探秘 “深度学习” 的前世今生
编者按:本文来自 “流浪汉” 投稿(@ZhangLumin),一个在硅谷工作的码农,有机器学习背景,平常对产品方面很有兴趣。最近一段时间里,Facebook、Google、Yahoo!、百度等各大公司都在尝试将深度学习(deep learning)算法运用到产品开发中,以期使产品更智能化,提升用户体验。在深度学习持续走红的当下,"流浪汉"对这一概念做了梳理,并分享了他对深度学习的实用性及未来发转载 2015-08-28 11:23:20 · 804 阅读 · 0 评论 -
深度学习(Deep Learning)算法简介
Comments from Xinwei: 最近的一个课题发展到与深度学习有联系,因此在高老师的建议下,我仔细看了下深度学习的基本概念,这篇综述翻译自http://deeplearning.net,与大家分享,有翻译不妥之处,烦请各位指正。查看最新论文Yoshua Bengio, Learning Deep Architectures for AI, Foundations and转载 2015-08-28 11:19:30 · 719 阅读 · 0 评论 -
cuDNN:利用 GPU 加速卷积神经网络
近年来深度学习领域的突破与计算能力的大幅进步是分不开的:加快了研究的迭代速度,有更多的机会来优化和调整网络,降低了试错的成本。可以在更大的数据集上进行训练,提高了最终的精度。相较于通用处理器,GPU 在单位面积/单位功耗上拥有更高的计算能力和吞吐带宽,对于神经网络的训练和分类都可以提供显著的加速效果。因而越来越多的学者和机构会选择 GPU 来加速他们的研究,如下图是这几年来转载 2015-09-01 03:40:31 · 7258 阅读 · 0 评论 -
卷积神经网络小结(Convolutional Neural Networks)
CNNs应用的最成功的一个例子:Yann LeCun(曾经是Hinton组的research associate)http://yann.lecun.com/exdb/lenet/index.html code project上的一个C++写的例子,有很详细的文档说明:http://www.codeproject.com/Articles/16650/Neural-转载 2015-09-01 03:45:39 · 992 阅读 · 0 评论 -
ICML 2015压轴讨论总结:6大神畅谈深度学习的未来
原文地址:http://www.csdn.net/article/1970-01-01/2825290转载 2015-08-31 22:31:40 · 578 阅读 · 0 评论 -
深度卷积神经网络CNNs的多GPU并行框架及其应用
发表于2014-08-20 17:25| 3887次阅读| 来源腾讯大数据| 5 条评论| 作者佚名大数据神经网络深度学习并行计算人脸识别摘要:本文是腾讯深度学习系列文章之一,主要聚焦于腾讯深度学习平台(Tencent Deep Learning Platform)中深度卷积神经网络Deep CNNs的多GPU模型并行和数据并行框架。5.CNNs转载 2015-09-01 03:42:49 · 4476 阅读 · 0 评论 -
如何编写易被复用的,高质量的机器学习算法代码
SVM方面,首选的肯定是LIBSVM这个库,应该是应用最广的机器学习库了。下面主要推荐一些DeepLearning的GitHub项目吧!1. convnetjs - Star:2200+实现了卷积神经网络,可以用来做分类,回归,强化学习等。2. DeepLearn Toolbox - Star:1000+Matlab实现中最热的库存,包括了CNN,DBN,SAE,CAE等主流模型。3.转载 2015-04-20 19:36:47 · 641 阅读 · 0 评论 -
网上某位牛人的deep learning学习笔记汇总
目录(?)[-]作者tornadomeet 出处httpwwwcnblogscomtornadomeet 欢迎转载或分享但请务必声明文章出处Deep learning一基础知识_1Deep learning二linear regression练习Deep learning三Multivariance Linear Regression练习Deep learning四logistic reg转载 2015-04-20 20:21:30 · 5028 阅读 · 0 评论 -
分享维基百科里的深度学习简介
简介[编辑]深度学习框架,尤其是基于人工神经网络的框架可以追溯到1980年福岛邦彦提出的新认知机[2],而人工神经网络的历史更为久远。1989年,燕乐存(Yann LeCun)等人开始将1974年提出的标准反向传播算法[3]应用于深度神经网络,这一网络被用于手写邮政编码识别。尽管算法可以成功执行,但计算代价非常巨大,神经网路的训练时间达到了3天,因而无法投入实际使用[4]。许多因素导致转载 2015-04-20 20:16:39 · 6028 阅读 · 0 评论 -
【面向代码】学习 Deep Learning(一)Neural Network
目录(?)[-]nnsetupnntrainnnffnnbpnnapplygradsnntestnnpredict总结==========================================================================================最近一直在看Deep Learning,各转载 2015-04-23 23:33:45 · 706 阅读 · 1 评论 -
深度学习之浅见
通常来说,大家认为深度学习的观点是Geoffrey Hinton在2006年提出的。这一算法提出之后,得到了迅速的发展。关于深度学习,zouxy09的专栏中有详细的介绍,Free Mind 的博文也很值得一读。本博文是我对深度学习的一点看法,主要内容在第4、5部分,不当之处还请指教。1.深度学习深度学习,即Deep Learning,是一种学习算法(Learning alg转载 2015-04-23 21:52:24 · 673 阅读 · 0 评论 -
【面向代码】学习 Deep Learning(二)Deep Belief Nets(DBNs)
目录(?)[-]DBNdbnsetupmDBNdbntrainm DBNrbmtrainmDBNdbnunfoldtonnm总结==========================================================================================最近一直在看Deep Learning,各类转载 2015-04-23 23:37:22 · 821 阅读 · 0 评论 -
Deep learning:三十五(用NN实现数据降维练习)
前言: 本文是针对上篇博文Deep learning:三十四(用NN实现数据的降维)的练习部分,也就是Hition大牛science文章reducing the dimensionality of data with neural networks的code部分,其code下载见:http://www.cs.toronto.edu/~hinton/MatlabForSciencePa转载 2015-04-20 19:27:22 · 3456 阅读 · 0 评论 -
[深度学习]Hinton DBN code 代码分析
[-]readmemnistdeepautom convertmreadme开头是版权声明后来是介绍文件中几个-ubyte结尾的是训练包,包含二进制的图片信息。 * mnistdeepauto.m (主要的文件,用来训练深度自动编码器) Main file for training deep autoenco转载 2015-04-20 19:54:04 · 5273 阅读 · 0 评论 -
18个最热深度学习Github项目逐一介绍
摘要: 前几天meta-guide.com列出了100个深度学习的源代码项目,但其中大部分都不活跃。这里我们精选出18个最活跃的项目,每个都制作了信息卡片,一目了然,方便比较和转贴。 ... 前几天meta-guide.com列出了100个深度学习的源代码项目,但其中大部分都不活跃。这里我们精选出18个最活跃的项目,每个都制作了信息卡片,一目了然,方便比较和转贴。转载 2015-04-20 19:21:35 · 1356 阅读 · 0 评论 -
深度学习概述:从感知机到深度网络
(注:本文译自一篇博客,作者行文较随意,我尽量按原意翻译,但作者所介绍的知识还是非常好的,包括例子的选择、理论的介绍都很到位,由浅入深,源文地址) 近些年来,人工智能领域又活跃起来,除了传统了学术圈外,Google、Microsoft、facebook等工业界优秀企业也纷纷成立相关研究团队,并取得了很多令人瞩目的成果。这要归功于社交网络用户产生的大量数据,这些数据大都是原始数据,需要被进转载 2015-04-20 19:48:02 · 790 阅读 · 0 评论 -
深度学习进阶线路图
【研究动态】深度学习进阶线路图(一)在应用机器学习的时候,最耗时和重要的阶段是对原始数据进行特征提取。深度学习是一个新的机器学习的分支,他要做的就是跨过整个特征设计阶段,而是直接从数据中学习得到。大部分的深度学习方法都是基于神经网络的,在这些结构中,复杂的高层结构是建立在多个非线性神经元函数的多层叠加上的。其实最容易的介绍神经网络和深度学习的教程是Geoff Hinton’转载 2015-04-20 19:59:53 · 1067 阅读 · 0 评论 -
DeepLearnToolbox使用总结
目录(?)[-]DeepLearnToolboxDirectories included in the toolboxSetupGitHub链接:DeepLearnToolboxDeepLearnToolboxA Matlab toolbox for Deep Learning.Deep Learning转载 2015-04-20 20:24:39 · 2761 阅读 · 1 评论 -
Deeplearning原文作者Hinton代码注解
Matlab示例代码为两部分,分别对应不同的论文:1. Reducing the Dimensionality of data with neural networks ministdeepauto.m backprop.m rbmhidlinear.m2. A fast learing algorithm for deep belief net mnistclassify.转载 2015-04-24 17:38:33 · 2769 阅读 · 2 评论 -
Deep Learning源代码收集-持续更新…
Deep Learning源代码收集-持续更新…zouxy09@qq.comhttp://blog.csdn.net/zouxy09 收集了一些Deep Learning的源代码。主要是Matlab和C++的,当然也有python的。放在这里,后续遇到新的会持续更新。下表没有的也欢迎大家提供,以便大家使用和交流。谢谢。 最近一次更新:2013-9-2转载 2015-04-20 20:14:42 · 495 阅读 · 0 评论 -
《Neural networks and deep learning》概览
目录(?)[-]What this book is aboutUsing neural nets to recognize handwritten digitsHow the backpropagation algorithm worksImproving the way neural networks learnA visual proof that neural nets can co转载 2015-04-20 20:23:19 · 576 阅读 · 0 评论 -
Hinton关于RBM的代码注解之(一)rbm.m
这个是Hinton关于RBM的pre-training的代码。源代码网址:http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html%%%%%%%%%%%%%%rbm.mepsilonw = 0.1; % Learning rate for weights epsilonvb转载 2015-04-24 18:14:44 · 3386 阅读 · 0 评论 -
Hinton关于RBM的代码注解之(二)backpropclassify.m
源代码:http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html这个是关于RBM的微调步骤的代码,代价函数是交叉熵% Version 1.000%% Code provided by Ruslan Salakhutdinov and Geoff Hinton%% Permission is grante转载 2015-04-24 18:15:15 · 1836 阅读 · 1 评论 -
Hinton关于RBM的代码注解之(三)mnistclassify.m
%%%%%%%mnistclssify.m%%%%%%%%%%%%%%%%%clear allclose allmaxepoch=50; %最大迭代次数numhid=500; numpen=500; numpen2=2000; %对应的1,2,3层隐含层单元的个数fprintf(1,'Converting Raw files into Matlab f转载 2015-04-24 18:16:06 · 1660 阅读 · 0 评论 -
Deep learning Reading List
Following is a growing list of some of the materials i found on the web for Deep Learning beginners.Free Online BooksDeep Learning by Yoshua Bengio, Ian Goodfellow and Aaron CourvilleNeural Ne转载 2015-04-20 19:39:21 · 527 阅读 · 0 评论 -
Training a deep autoencoder or a classifier on MNIST digits_之调试运行与理解
运行这个程序的主要目的:深入理解deep autoencoder 的基本原理和基本架构,搞明白是如何搭建起来的,弄清它是如何训练学习的,又是如何提取目标的特征的,最终又是怎样分类的。代码主程序如下:mnistdeepauto.m[plain] view plaincopy% Version 1.000 % % Code转载 2015-04-20 20:08:29 · 892 阅读 · 0 评论 -
深度学习-LeCun、Bengio和Hinton的联合综述
发表于2015-06-01 07:10| 8257次阅读| 来源Nature| 17 条评论| 作者Yann LeCun、Yoshua Bengio、Geoffrey Hinton深度学习自然语言处理计算机视觉语音识别geoffrey hintonYoshua BengioYann LeCunBP算法摘要:最新的《Nature》杂志专门为“人转载 2015-08-06 18:09:09 · 902 阅读 · 0 评论