强化学习的学习之路（四十二）2021-02-11 Issues of Importance Sampling

作为一个新手，写这个强化学习-基础知识专栏是想和大家分享一下自己学习强化学习的学习历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己在2021年能保证平均每日一更的更新速度，主要是介绍强化学习的基础知识，后面也会更新强化学习的论文阅读专栏。本来是想每一篇多更新一点内容的，后面发现大家上CSDN主要是来提问的，就把很多拆分开来了（而且这样每天任务量也小一点哈哈哈哈偷懒大法）。但是我还是希望知识点能成系统，所以我在目录里面都好按章节系统地写的，而且在github上写成了书籍的形式，如果大家觉得有帮助，希望从头看的话欢迎关注我的github啊，谢谢大家！另外我还会分享深度学习-基础知识专栏以及深度学习-论文阅读专栏，很早以前就和小伙伴们花了很多精力写的，如果有对深度学习感兴趣的小伙伴也欢迎大家关注啊。大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！不要高估一年的努力，也不要低估十年的积累，与君共勉！

Issues of Importance Sampling

我们在off-policy的方法中经常会用到importance sampling的方法，那么我们用一个分布去对另一个分布的期望进行求解的这种方法有什么问题呢？—问题就在分布的方差上面：

我们知道：

​ $$\begin{array}{l}\mathrm{VAR}[X]=E\left[X^2\right]-(E[X]{)}^2\end{array}$$

而在重要性采样中，期望和原来的期望没有差别：

​ $$E_{x\sim p}[f(x)]=E_{x\sim q}\left[f(x)\frac{p(x)}{q(x)}\right]$$

那我们来看一下importance sampling的方差和原来的方差有什么差异：

​ $$\begin{array}{l}{\mathrm{Var}}_{x\sim p}[f(x)]=E_{x\sim p}\left[f(x{)}^2\right]-{\left(E_{x\sim p}[f(x)]\right)}^2\\ \begin{array}{rl}{\mathrm{Var}}_{x\sim q}\left[f(x)\frac{p(x)}{q(x)}\right]& =E_{x\sim q}\left[{\left(f(x)\frac{p(x)}{q(x)}\right)}^2\right]-{\left(E_{x\sim q}\left[f(x)\frac{p(x)}{q(x)}\right]\right)}^2\\ & =E_{x\sim p}[f(x{)}^2\frac{p(x)}{q(x)}-{\left(E_{x\sim p}[f(x)]\right)}^2\end{array}\end{array}$$

我们发现上下两项唯一的差别就在$$\frac{p(x)}{q(x)}$$，也就是说当$$\frac{p(x)}{q(x)}$$值很大或者很小的时候，方差就会差的比较多。

我们可以看下面的图：

当p(x)和q(x)差的比较多的时候，如果我们在左边对f(x)进行采样，那么最终得到的期望就是负的；如果在右边对f(x)进行采样，那么最终得到的期望就是正的，说明了当p(x)和q(x)差的比较多的时候，很容易出现方差过大的问题。

当然如果采样的数量足够多，即使我们采样的大部分的点都在右边，但是之后采到了左边一些数据，因为$$\frac{p(x)}{q(x)}$$比值比较大，那么这个权重就会把左边的这个负值放大，所以其实如果采样的数量足够多，这个方差的问题还是不会存在，但是事实是我们现实中采样的数量都是有限的。