算法总结（八）受限玻尔兹曼机

学习资料

https://blog.csdn.net/sinat_16211087/article/details/80835159

https://baijiahao.baidu.com/s?id=1599798281463567369&wfr=spider&for=pc

                                                                                                                                         

一个玻尔兹曼机可以表示为带权重的无向图，它的节点只产生二元结果（0或1）

由上图可以看出BM的结构为层间和层内全连接。BM的能量形式与Hopfield的网络的形式相同

无连接约束的玻尔兹曼机被证明在机器学习实际问题中效果不佳，但是如果节点的连接受到限制，而隐含节点两两之间以及可见节点两两之间不存在连接，也就是层间全连接，层内无连接。

RBM可以表示成一个二分图模型，所有可见层节点和隐藏层节点都有两种状态：处于激活状态时值为1，违背激活状态值为0.处于激活状态的节点被使用，未处于激活状态的节点未被使用。节点的激活概率由可见层和隐藏层节点的分布函数计算。

要想确定一个首先玻尔兹曼模型，只需要确定可见层和隐藏层的激活单元，以及权重矩阵。当我们假设可见层单元和隐藏层单元均服从伯努利分布，可以写出RBM的能量公式，根据该能量公式可以得到（v,h）联合概率分布。

得到概率分布后可以通过似然来估计我们的参数，但是这是理想状态，在推导的结果中发现并不能直接求导，所以有些人提出了一些采样的方法，来解决概率问题，比如Gibbs采样法

了解到这里，我觉得我该再好好看看马尔科夫链以及Gibbs采样和MCMC采样

需要注意的是，一个深度置信网络就是若干RBM网络的堆叠