花书+吴恩达深度学习（二三）结构化概率模型（贝叶斯网络、马尔可夫随机场）

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

花书+吴恩达深度学习（二三）结构化概率模型（贝叶斯网络、马尔可夫网络）
花书+吴恩达深度学习（二四）蒙特卡罗方法（重要采样，MCMC）
花书+吴恩达深度学习（二五）直面配分函数（CD, SML, SM, RM, NCE）
花书+吴恩达深度学习（二六）近似推断（EM, 变分推断）

0. 前言

结构化概率模型使用图来描述随机变量之间的直接相互作用，从而描述概率分布。

每一个节点代表一个随机变量，每一条边代表一个直接相互作用。

结构化概率模型的优点是，它们能够显著降低表示概率分布、学习和推断的成本。

有向模型和无向模型的区别是：有向模型通过从起始点的概率分布直接定义，无向模型通过$\varphi$函数转换为概率分布而定义。

1. 有向模型

有向图模型（directed graphical model）又被称为信念网络（belief network）或贝叶斯网络（Bayesian network）。

所有边都是有方向的，箭头所指的方向表示随机变量的概率分布是由其他随机变量决定的。

概率分布表示为：
$$p(x)=\prod _{i}p(x_i\mid Pag(x_i))$$
其中，$Pag(x_i)$表示$x_i$的所有父节点。

例如下图所示（图源：深度学习）：

$t_1$依赖于 t 0 t_0 t