花书+吴恩达深度学习（二四）蒙特卡罗方法（重要采样，MCMC）

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

花书+吴恩达深度学习（二三）结构化概率模型（贝叶斯网络、马尔可夫网络）
花书+吴恩达深度学习（二四）蒙特卡罗方法（重要采样，MCMC）
花书+吴恩达深度学习（二五）直面配分函数（CD, SML, SM, RM, NCE）
花书+吴恩达深度学习（二六）近似推断（EM, 变分推断）

0. 前言

随机算法可以粗略的分为两类：

• Las Vegas算法：精确的返回一个正确答案，或者返回算法失败了，占用随机量的计算资源
• 蒙特卡罗算法：返回答案具有随机大小的错误，花费更多的计算资源可以减少这种错误

当无法精确计算和或积分时，通常可以使用蒙特卡罗采样来近似它，令：
$$\begin{gathered} s=\sum _{x}p(x)f(x)=E_p[f(x)] \\ s=\int p(x)f(x)dx=E_p[f(x)] \end{gathered}$$
根据大数定理，如果样本满足独立同分布，那么：
$$\begin{gathered} \underset{n\to \infty }{\lim }{\hat{s}}_n=s \\ Var[{\hat{s}}_n]=\frac{1}{n^2}\sum _{i=1} \end{gathered}$$