![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 88
I can丶
这个作者很懒,什么都没留下…
展开
-
花书+吴恩达深度学习(一)前馈神经网络(多层感知机 MLP)
目录0. 前言1. 每一个神经元的组成2. 梯度下降改善线性参数3. 非线性激活函数4. 输出单元4.1. 线性单元4.2. sigmoid 单元4.3. softmax 单元5. 神经网络宽度和深度的选择6. 前向传播和反向传播如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(一)前馈神经网络(多层感知...原创 2018-11-24 23:39:40 · 9052 阅读 · 0 评论 -
花书+吴恩达深度学习(二)非线性激活函数(ReLU, maxout, sigmoid, tanh)
目录0. 前言1. ReLU 整流线性单元2. 绝对值整流线性单元3. 渗漏整流线性单元4. 参数化整流线性单元5. maxout 单元6. logistic sigmoid 单元7. 双曲正切单元8. 径向基函数9. softplus 函数10. 硬双曲正切函数如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩...原创 2018-11-25 08:51:57 · 2236 阅读 · 0 评论 -
花书+吴恩达深度学习(三)反向传播算法 Back Propagation
目录0. 前言1. 从 Logistic Regression 中理解反向传播2. 两层神经网络中单个样本的反向传播3. 两层神经网络中多个样本的反向传播如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(一)前馈神经网络(多层感知机 MLP)花书+吴恩达深度学习(二)非线性激活函数(ReLU, maxout, sigmoid...原创 2018-11-25 08:52:07 · 2032 阅读 · 2 评论 -
花书+吴恩达深度学习(四)多分类 softmax
目录0. 前言1. 二分类 sigmoid2. 多分类 softmax3. 多分类 softmax 梯度下降推导如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(一)前馈神经网络(多层感知机 MLP)花书+吴恩达深度学习(二)非线性激活函数(ReLU, maxout, sigmoid, tanh)花书+吴恩达深度学习(三...原创 2018-12-02 22:11:28 · 1524 阅读 · 0 评论 -
花书+吴恩达深度学习(五)正则化方法(防止过拟合)
目录0. 前言1. 参数范数惩罚2. Dropout 随机失活3. 提前终止4. 数据集增强5. 参数共享如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(五)正则化方法(防止过拟合)花书+吴恩达深度学习(六)优化方法之 Mini-batch(SGD, MBGD, BGD)花书+吴恩达深度学习(七)优化方法之基本...原创 2018-12-03 09:24:03 · 578 阅读 · 0 评论 -
花书+吴恩达深度学习(六)优化方法之 Mini-batch(SGD, MBGD, BGD)
目录0. 前言1. Batch gradient descent(BGD)2. Stochastic gradient descent(SGD)3. Mini-batch gradient descent(MBGD)如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(五)正则化方法(防止过拟合)花书+吴恩达深度学习(六)优化方...原创 2018-12-03 09:24:17 · 2553 阅读 · 0 评论 -
花书+吴恩达深度学习(七)优化方法之基本算法(Momentum, Nesterov, AdaGrad, RMSProp, Adam)
目录0. 前言1. 指数加权平均(exponentially weighted averages)2. Momentum 动量3. Nesterov 动量4. AdaGrad5. RMSProp6. Adam如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(五)正则化方法(防止过拟合)花书+吴恩达深度学习(六)优...原创 2018-12-03 12:16:57 · 697 阅读 · 2 评论 -
花书+吴恩达深度学习(八)优化方法之 Batch normalization
目录0. 前言1. Batch normalization 训练2. Batch normalization 测试如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(五)正则化方法(防止过拟合)花书+吴恩达深度学习(六)优化方法之 Mini-batch(SGD, MBGD, BGD)花书+吴恩达深度学习(七)优化方法之基本算法...原创 2018-12-03 14:25:38 · 289 阅读 · 0 评论 -
花书+吴恩达深度学习(九)优化方法之二阶近似方法(牛顿法, CG, BFGS, L-BFGS)
目录0. 前言1. 牛顿法2. 共轭梯度法(CG)3. BFGS4. L-BFGS如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(五)正则化方法(防止过拟合)花书+吴恩达深度学习(六)优化方法之 Mini-batch(SGD, MBGD, BGD)花书+吴恩达深度学习(七)优化方法之基本算法(Momentum, N...原创 2018-12-03 19:54:13 · 3692 阅读 · 0 评论 -
花书+吴恩达深度学习(十)卷积神经网络 CNN 之卷积层
目录0. 前言1. 2D 图像卷积2. 3D 图像卷积3. 过滤器(核函数)4. 过滤器应用于边缘检测5. padding 填充6. stride 步长7. 使用卷积的动机8. 1乘1卷积9. 基本卷积函数的变体如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(十)卷积神经网络 CNN 之卷积层花书+...原创 2018-12-17 23:03:37 · 2069 阅读 · 0 评论 -
花书+吴恩达深度学习(十一)卷积神经网络 CNN 之池化层
目录0. 前言1. 最大池化(max pooling)2. 平移不变形3. 其他池化函数4. 卷积和池化作为一种无限强的先验如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(十)卷积神经网络 CNN 之卷积层花书+吴恩达深度学习(十一)卷积神经网络 CNN 之池化层花书+吴恩达深度学习(十二)卷积神经网络 CNN 之...原创 2018-12-18 13:53:41 · 1789 阅读 · 0 评论 -
花书+吴恩达深度学习(十二)卷积神经网络 CNN 之全连接层
目录0. 前言1. 全连接层(fully connected layer)如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(十)卷积神经网络 CNN 之卷积层花书+吴恩达深度学习(十一)卷积神经网络 CNN 之池化层花书+吴恩达深度学习(十二)卷积神经网络 CNN 之全连接层花书+吴恩达深度学习(十三)卷积神经网络 CNN ...原创 2018-12-19 19:20:18 · 1751 阅读 · 0 评论 -
花书+吴恩达深度学习(十三)卷积神经网络 CNN 之运算过程(前向传播、反向传播)
目录0. 前言1. 单层卷积网络2. 各参数维度3. CNN 前向传播反向传播如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(十)卷积神经网络 CNN 之卷积层花书+吴恩达深度学习(十一)卷积神经网络 CNN 之池化层花书+吴恩达深度学习(十二)卷积神经网络 CNN 之全连接层花书+吴恩达深度学习(十三)卷积神经网...原创 2018-12-20 12:35:45 · 1965 阅读 · 0 评论 -
花书+吴恩达深度学习(十四)卷积神经网络 CNN 之经典案例(LetNet-5, AlexNet, VGG-16, ResNet, Inception Network)
目录0. 前言1. LeNet-52. AlexNet3. VGG-164. ResNet 残差网络5. Inception Network如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(十)卷积神经网络 CNN 之卷积层花书+吴恩达深度学习(十一)卷积神经网络 CNN 之池化层花书+吴恩达深度学习(十二)卷积...原创 2018-12-21 13:46:10 · 2688 阅读 · 0 评论 -
花书+吴恩达深度学习(十五)序列模型之循环神经网络 RNN
目录0. 前言1. RNN 计算图2. RNN 前向传播3. RNN 反向传播4. 导师驱动过程(teacher forcing)5. 不同序列长度的 RNN如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(十五)序列模型之循环神经网络 RNN花书+吴恩达深度学习(十六)序列模型之双向循环网络 BRNN 和深度循环网...原创 2018-12-22 21:59:05 · 1578 阅读 · 1 评论 -
花书+吴恩达深度学习(十六)序列模型之双向循环网络 BRNN 和深度循环网络 Deep RNN
目录0. 前言1. 双向循环网络 BRNN(Bidirectional RNN)2. 深度循环网络 Deep RNN如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(十五)序列模型之循环神经网络 RNN花书+吴恩达深度学习(十六)序列模型之双向循环网络 BRNN 和深度循环网络 Deep RNN花书+吴恩达深度学习(十七)序...原创 2018-12-23 19:08:56 · 1314 阅读 · 0 评论 -
花书+吴恩达深度学习(十七)序列模型之长短期记忆 LSTM 和门控循环单元 GRU
目录0. 前言1. 长短期记忆 LSTM2. 门控循环单元 GRU如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(十五)序列模型之循环神经网络 RNN花书+吴恩达深度学习(十六)序列模型之双向循环网络 BRNN 和深度循环网络 Deep RNN花书+吴恩达深度学习(十七)序列模型之长短期记忆 LSTM 和门控循环单元 GR...原创 2018-12-24 11:57:35 · 3192 阅读 · 1 评论 -
花书+吴恩达深度学习(十八)迁移学习和多任务学习
目录0. 前言1. 迁移学习2. 多任务学习如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(十八)迁移学习和多任务学习花书+吴恩达深度学习(十九)构建模型策略(训练模型顺序、偏差方差、数据集划分、数据不匹配)花书+吴恩达深度学习(二十)构建模型策略(超参数调试、监督预训练)0. 前言有时,在构建模型的时候,可以利...原创 2018-12-25 13:44:45 · 1108 阅读 · 0 评论 -
花书+吴恩达深度学习(十九)构建模型策略(训练模型顺序、偏差方差、数据集划分、数据不匹配)
目录0. 前言1. 调试模型顺序2. 偏差方差的解决方法3. 数据集的选取划分4. 数据不匹配问题5. 评估指标的选取6. 贝叶斯最佳误差如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(十八)迁移学习和多任务学习花书+吴恩达深度学习(十九)构建模型策略(训练模型顺序、偏差方差、数据集划分、数据不匹配)花书+...原创 2018-12-25 13:54:11 · 1021 阅读 · 0 评论 -
花书+吴恩达深度学习(二十)构建模型策略(超参数调试、监督预训练、无监督预训练)
目录0. 前言1. 学习率衰减2. 调参策略3. 贪心监督预训练4. 贪心逐层无监督预训练如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~花书+吴恩达深度学习(十八)迁移学习和多任务学习花书+吴恩达深度学习(十九)构建模型策略(训练模型顺序、偏差方差、数据集划分、数据不匹配)花书+吴恩达深度学习(二十)构建模型策略(超参数调试、监督预训...原创 2018-12-25 14:04:29 · 1846 阅读 · 0 评论 -
花书+吴恩达深度学习(二一)线性因子模型(概率PCA,ICA,SFA,稀疏编码)
文章目录0. 前言1. 概率PCA和因子分析2. 独立成分分析 ICA3. 慢特征分析 SFA4. 稀疏编码如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~0. 前言线性因子模型是最简单的生成模型和学习数据表示的最简单模型。线性因子模型通过随机线性解码器函数来定义,对hhh线性变换及添加噪声来生成xxx。h∼p(h)x=Wh+b+noiseh\sim p(h...原创 2019-01-21 18:10:31 · 2628 阅读 · 2 评论 -
花书+吴恩达深度学习(二二)自编码器(欠完备,DAE,CAE,PSD)
文章目录0. 前言1. 欠完备自编码器2.如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~0. 前言自编码器(autoencoder)是神经网络的一种,尝试将输入复制到输出。我们不应该将自编码器设计成输入到输出完全相等,通常需要强加约束,使得它们只能近似的复制,并只能复制与训练数据相似的输入。该网络由h=f(x)h=f(x)h=f(x)的编码器和r=g(h)r...原创 2019-01-21 18:12:20 · 3750 阅读 · 0 评论 -
花书+吴恩达深度学习(二三)结构化概率模型(贝叶斯网络、马尔可夫随机场)
文章目录0. 前言1. 有向模型2. 无向模型3. 因子图4. 分离和d-分离5. 从图模型中采样如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~0. 前言结构化概率模型使用图来描述随机变量之间的直接相互作用,从而描述概率分布。每一个节点代表一个随机变量,每一条边代表一个直接相互作用。结构化概率模型的优点是,它们能够显著降低表示概率分布、学习和推断的成本。...原创 2019-01-26 14:44:34 · 1138 阅读 · 0 评论 -
花书+吴恩达深度学习(二四)蒙特卡罗方法(重要采样,MCMC)
文章目录0. 前言1. 重要采样如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~0. 前言随机算法可以粗略的分为两类:Las Vegas算法:精确的返回一个正确答案,或者返回算法失败了,占用随机量的计算资源蒙特卡罗算法:返回答案具有随机大小的错误,花费更多的计算资源可以减少这种错误当无法精确计算和或积分时,通常可以使用蒙特卡罗采样来近似它,令:s=∑...原创 2019-01-26 14:45:50 · 935 阅读 · 0 评论 -
花书+吴恩达深度学习(二五)直面配分函数(CD, SML, SM, RM, NCE)
文章目录0. 前言1. 对数似然梯度1.1 朴素 MCMC 算法1.2 对比散度算法 CD1.3 随机最大似然 SML2. 伪似然3. 得分匹配 SM4. 比率匹配 RM5.如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~0. 前言在基于概率的模型中,都需要计算如下概率分布:p(x;θ)=1Z(θ)p~(x;θ)p(x;\theta)=\frac{1}{Z(...原创 2019-01-26 14:46:42 · 2462 阅读 · 0 评论 -
花书+吴恩达深度学习(二六)近似推断(EM, 变分推断)
文章目录0. 前言1. 将推断视为优化问题1.1 期望最大化 EM1.2 最大后验推断如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~0. 前言通常我们有一系列可见变量vvv和一系列潜变量hhh。推断困难通常是指难以计算p(h∣v)p(h\mid v)p(h∣v)或其期望。1. 将推断视为优化问题假设一个包含可见变量vvv和潜变量hhh的概率模型,我们希望...原创 2019-01-26 14:47:36 · 3282 阅读 · 2 评论 -
花书+吴恩达深度学习(二七)深度生成模型之玻尔兹曼机及其变体(RBM, DBN, DBM)
文章目录0. 前言1. 玻尔兹曼机2. 受限玻尔兹曼机 RBM3. 深度信念网络 DBN如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~0. 前言玻尔兹曼机(Boltzmann machine)最初用来学习二值向量上的任意概率分布。玻尔兹曼机的变体早已超过了原始玻尔兹曼机的流行程度。1. 玻尔兹曼机在ddd维二值随机向量x∈{0,1}dx\in \{0,1...原创 2019-01-29 13:26:47 · 3055 阅读 · 1 评论 -
花书+吴恩达深度学习(二八)深度生成模型之有向生成网络(VAE, GAN, 自回归网络)
文章目录0. 前言1. sigmoid 信念网络2. 生成器网络3. 变分自编码器 VAE4. 生成式对抗网络 GAN5. 生成矩匹配网络6. 自回归网络6.1 线性自回归网络6.2 神经自回归网络6.3 神经自回归密度估计器 NADE如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~0. 前言虽然有向图模型在更大的机器学习社群中非常流行,但是在较小的深度学习社群...原创 2019-01-29 13:27:49 · 4249 阅读 · 0 评论 -
花书+吴恩达深度学习(二九)生成随机网络 GSN
文章目录0. 前言1. 生成随机网络 GSN如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~0. 前言生成随机网络(generative stochastic network)除可见变量外,在生成马尔可夫链中还包含潜变量。1. 生成随机网络 GSNGSN由两个条件概率分布参数化,指定马尔可夫链的一步:p(x(k)∣h(k))p(x^{(k)}\mid h...原创 2019-01-29 13:28:50 · 1714 阅读 · 0 评论