- 博客(9)
- 收藏
- 关注
RSS订阅原创 花书+吴恩达深度学习（二九）生成随机网络 GSN
文章目录0. 前言1. 生成随机网络 GSN如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言生成随机网络（generative stochastic network）除可见变量外，在生成马尔可夫链中还包含潜变量。1. 生成随机网络 GSNGSN由两个条件概率分布参数化，指定马尔可夫链的一步：p(x(k)∣h(k))p(x^{(k)}\mid h...
2019-01-29 13:28:50
1729
原创 花书+吴恩达深度学习（二八）深度生成模型之有向生成网络（VAE, GAN, 自回归网络）
文章目录0. 前言1. sigmoid 信念网络2. 生成器网络3. 变分自编码器 VAE4. 生成式对抗网络 GAN5. 生成矩匹配网络6. 自回归网络6.1 线性自回归网络6.2 神经自回归网络6.3 神经自回归密度估计器 NADE如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言虽然有向图模型在更大的机器学习社群中非常流行，但是在较小的深度学习社群...
2019-01-29 13:27:49
4259
原创 花书+吴恩达深度学习（二七）深度生成模型之玻尔兹曼机及其变体（RBM, DBN, DBM）
文章目录0. 前言1. 玻尔兹曼机2. 受限玻尔兹曼机 RBM3. 深度信念网络 DBN如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言玻尔兹曼机（Boltzmann machine）最初用来学习二值向量上的任意概率分布。玻尔兹曼机的变体早已超过了原始玻尔兹曼机的流行程度。1. 玻尔兹曼机在ddd维二值随机向量x∈{0,1}dx\in \{0,1...
2019-01-29 13:26:47
3068
1
原创 花书+吴恩达深度学习（二六）近似推断（EM, 变分推断）
文章目录0. 前言1. 将推断视为优化问题1.1 期望最大化 EM1.2 最大后验推断如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言通常我们有一系列可见变量vvv和一系列潜变量hhh。推断困难通常是指难以计算p(h∣v)p(h\mid v)p(h∣v)或其期望。1. 将推断视为优化问题假设一个包含可见变量vvv和潜变量hhh的概率模型，我们希望...
2019-01-26 14:47:36
3295
2
原创 花书+吴恩达深度学习（二五）直面配分函数（CD, SML, SM, RM, NCE）
文章目录0. 前言1. 对数似然梯度1.1 朴素 MCMC 算法1.2 对比散度算法 CD1.3 随机最大似然 SML2. 伪似然3. 得分匹配 SM4. 比率匹配 RM5.如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言在基于概率的模型中，都需要计算如下概率分布：p(x;θ)=1Z(θ)p~(x;θ)p(x;\theta)=\frac{1}{Z(...
2019-01-26 14:46:42
2482
原创 花书+吴恩达深度学习（二四）蒙特卡罗方法（重要采样，MCMC）
文章目录0. 前言1. 重要采样如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言随机算法可以粗略的分为两类：Las Vegas算法：精确的返回一个正确答案，或者返回算法失败了，占用随机量的计算资源蒙特卡罗算法：返回答案具有随机大小的错误，花费更多的计算资源可以减少这种错误当无法精确计算和或积分时，通常可以使用蒙特卡罗采样来近似它，令：s=∑...
2019-01-26 14:45:50
942
原创 花书+吴恩达深度学习（二三）结构化概率模型（贝叶斯网络、马尔可夫随机场）
文章目录0. 前言1. 有向模型2. 无向模型3. 因子图4. 分离和d-分离5. 从图模型中采样如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言结构化概率模型使用图来描述随机变量之间的直接相互作用，从而描述概率分布。每一个节点代表一个随机变量，每一条边代表一个直接相互作用。结构化概率模型的优点是，它们能够显著降低表示概率分布、学习和推断的成本。...
2019-01-26 14:44:34
1145
原创 花书+吴恩达深度学习（二二）自编码器（欠完备，DAE，CAE，PSD）
文章目录0. 前言1. 欠完备自编码器2.如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言自编码器（autoencoder）是神经网络的一种，尝试将输入复制到输出。我们不应该将自编码器设计成输入到输出完全相等，通常需要强加约束，使得它们只能近似的复制，并只能复制与训练数据相似的输入。该网络由h=f(x)h=f(x)h=f(x)的编码器和r=g(h)r...
2019-01-21 18:12:20
3768
原创 花书+吴恩达深度学习（二一）线性因子模型（概率PCA，ICA，SFA，稀疏编码）
文章目录0. 前言1. 概率PCA和因子分析2. 独立成分分析 ICA3. 慢特征分析 SFA4. 稀疏编码如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0. 前言线性因子模型是最简单的生成模型和学习数据表示的最简单模型。线性因子模型通过随机线性解码器函数来定义，对hhh线性变换及添加噪声来生成xxx。h∼p(h)x=Wh+b+noiseh\sim p(h...
2019-01-21 18:10:31
2657
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人