《白话深度学习与Tensorflow》学习笔记
文章平均质量分 73
zzyy0929
Master Degree Candidate, School of Computer Science and Technology, USTC
Bachelor Degree, School of IoT Engineering, Jiangnan University.
展开
-
《白话深度学习与Tensorflow》学习笔记(3)HMM RNN LSTM
RNN:循环神经网络 与CNN最大的不同是记忆暂存功能,可以把过去输入的内容所产生的远期影响量化后与当前时间输入内容一起反应到网络中参与训练。尤其是对时间序列、自然语言(上下文关系)的处理,具有优势。 马尔科夫链:在给定当前的知识或信息下,观测对象过去的历史状态对于将来的预测是无关的,只需要观测当前状态即可得出。 HMM:隐马尔可夫模型,隐马尔可夫链的模型相对简化,是贝叶斯信念的原创 2017-11-06 21:08:48 · 2678 阅读 · 0 评论 -
《白话深度学习与Tensorflow》学习笔记(2)梯度下降、梯度消失、参数、归一化
1、CUDA(compute unified device architecture)可用于并行计算: GTX1060 CUDA核心数:1280 显存大小:6G 2、随机梯度下降:计算偏导数需要的计算量很大,而采用随机梯度下降(即采用采样的概念)从中提取一部分样本来,这些样本中的特征已经可以在一定程度上代表完整训练集的特征。 Tensorflow中可以指定一个batch的size,原创 2017-11-05 14:42:32 · 2122 阅读 · 0 评论 -
《白话深度学习与Tensorflow》学习笔记(1)深度学习框架、CNN、VC维
刚入手一本《白话深度学习与Tensorflow》,哈哈,一直看深度学习很火,其实自己一知半解,都没有对这个领域进行一点系统的学习,现在准备看看这本书,开始入门。毕竟深度学习是大趋势,个个都说是个坑,个个都往里跳。。。趁着有时间,了解了解也无妨。 初步感觉这本书比周志华老师的《机器学习》稍微好懂一点,讲实例和大比方居多,当然也有公式支撑。整体还不错,讲了基本神经网络、CNN、RNN、LSTM、原创 2017-11-04 09:21:44 · 4800 阅读 · 0 评论 -
《白话深度学习与Tensorflow》学习笔记(4)Deep Residual Networks
深度残差网络:主要应用于计算机视觉——图像分类、语义分割(semantic segmentation)、目标检测(object detection),其主要是使用CNN进行改造。何恺明老师有一篇文献《Deep Residual Networks——Deep learning Gets Way Deeper》。 普通CNN网络的问题(plain network):一层的网络数据只能来源于前一层原创 2017-11-08 11:27:01 · 1165 阅读 · 1 评论 -
《白话深度学习与Tensorflow》学习笔记(7)RBM限制玻尔兹曼机
不受限的:在实际工程中用处不大,所以目前只需要研究受限玻尔兹曼机。 一层是可视化层,一般来说是输入层,另一层是隐含层,也就是我们一般指的特征提取层。 RBM是可以多层叠加在一起的。 上面的h1到hn是n个实数,下面的v1到vm是m个实数,都是0到1之间的数字,它们各自组成了一个h向量和一个v向量。 逻辑回归:其实这是一个伯努利原创 2017-11-19 13:24:05 · 3783 阅读 · 0 评论 -
《白话深度学习与Tensorflow》学习笔记(6)生成式对抗网络(GAN)
生成对抗网络(generative adversarial networks): G:生成式模型 用于生成新的结果;D:判别式模型:将G生成的结果输入到D进行判别。 D的训练是希望尽可能正确提取x特征,增大正确判断的概率D(x) G的训练是希望尽可能伪造出一些图片让D误以为是真的,增大1-D(G(z))。 最终目的是训练D、G达到一个平衡使得G所生成的图片(结果)能够以假乱真。 在这个网原创 2017-11-14 20:28:25 · 852 阅读 · 0 评论