如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~
0. 前言
概率图模型是一类用图来表达变量相关关系的概率模型。图中的节点代表变量,图中的边代表变量之间存在某种联系。
马尔可夫随机场(Markov Random Field)是著名的无向图模型。
马尔可夫链:系统下一时刻的状态仅由当前状态决定,不依赖于以往任何状态。
1. 马尔可夫随机场结构
马尔可夫随机场联合概率分布定义为:
P
(
x
)
=
1
Z
∗
∏
Q
∈
C
∗
ψ
Q
(
x
Q
)
P(x)=\frac{1}{Z^*}\prod_{Q\in C^*}\psi_Q(x_Q)
P(x)=Z∗1Q∈C∗∏ψQ(xQ)
其中,
C
∗
C^*
C∗是极大团集合,任意两节点都有边连接称为“团”,一个团中加入任意的节点都不再形成团称为“极大团”,
ψ
Q
\psi_Q
ψQ是团
Q
Q
Q的势函数,
Z
∗
=
∑
x
∏
Q
∈
C
∗
ψ
Q
(
x
Q
)
Z^*=\sum_x\prod_{Q\in C^*}\psi_Q(x_Q)
Z∗=∑x∏Q∈C∗ψQ(xQ)是规范化因子。
结构如下图所示(图源:机器学习):
分离集:节点集A中的节点到节点集B中的节点,都需要经过节点集C,那么C称为分离集,A和B被C分离。
- 全局马尔可夫性:给定两个变量子集的分离集,则这两个变量子集条件独立
- 局部马尔可夫性:给定某变量的邻接变量,则该变量条件独立于其他变量
- 成对马尔可夫性:给定所有其他变量,两个非邻接变量条件独立
势函数常用指数函数定义:
ψ
Q
(
x
Q
)
=
e
−
H
Q
(
x
Q
)
\psi_Q(x_Q)=e^{-H_Q(x_Q)}
ψQ(xQ)=e−HQ(xQ)
2. 近似推断
利用已知变量推断未知变量的分布称为“推断”,其核心是基于可观测变量推测出未知变量的条件分布。
MCMC先设法构造一条马尔可夫链,收敛至平稳分布恰为待估计参数的后验分布,然后基于这个马尔可夫链产生样本进行估计。
MCMC方法的关键在于构造平稳分布p的马尔可夫链来产生样本,若马尔可夫链运行时间足够长,那么产出的样本近似服从于分布p。
2.1. Metropolis-Hastings
Metropolis-Hastings是MCMC方法之一,基于拒绝采样来逼近平稳分布。
算法如下图所示(图源:机器学习):
如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~