强化学习的学习之路（三十四）_2021-02-03：Off-Policy policy gradient

作为一个新手，写这个强化学习-基础知识专栏是想和大家分享一下自己学习强化学习的学习历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己在2021年能保证平均每日一更的更新速度，主要是介绍强化学习的基础知识，后面也会更新强化学习的论文阅读专栏。本来是想每一篇多更新一点内容的，后面发现大家上CSDN主要是来提问的，就把很多拆分开来了（而且这样每天任务量也小一点哈哈哈哈偷懒大法）。但是我还是希望知识点能成系统，所以我在目录里面都好按章节系统地写的，而且在github上写成了书籍的形式，如果大家觉得有帮助，希望从头看的话欢迎关注我的github啊，谢谢大家！另外我还会分享深度学习-基础知识专栏以及深度学习-论文阅读专栏，很早以前就和小伙伴们花了很多精力写的，如果有对深度学习感兴趣的小伙伴也欢迎大家关注啊。大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！不要高估一年的努力，也不要低估十年的积累，与君共勉！

Off-Policy policy gradient

由于上面这种On-policy的policy gradient的方法在策略更新之后就需要把过去采集到的样本丢弃，因此效率非常低，所以我们就想着能不能将其改变成为off-policy的方法。

Importance Sampling

Importance Sampling（下面简称IS）是一个使用易采样的数据的样本估计难采样的样本的期望的方法。基于这个工作，则可以利用来自其他policy的数据来提高当前的policy，从而达到off-policy的作用。

假设可以从q(x)中进行采样，需要求的是f(x)关于p(x)的期望，那么可以通过如下的方式得到：

​ $$\begin{array}{rl}{E}_{x\sim p(x)}[f(x)]& =\int p(x)f(x)dx\\ & =\int \frac{q(x)}{q(x)}p(x)f(x)dx\\ & =\int q(x)\frac{p(x)}{q(x)}f(x)dx\\ & =E_{x\sim q(x)}\left[\frac{p(x)}{q(x)}f(x)\right]\end{array}$$

Off-policy policy gradient

将importance sampling引入policy gradient，假设我们有来自 $\bar{\pi }(\tau )$ 的数据, 那么计算 $\pi (\tau )$ 关于这些数据的目标函数则可以转化为：
$$J(\theta )=E_{\tau \sim \bar{\pi }(\tau )}\left[\frac{{\pi }_{\theta }(\tau )}{\bar{\pi }(\tau )}r(\tau )\right]$$
由于 ${\pi }_{\theta }(\tau )$ 可以表示为：
$${\pi }_{\theta }(\tau )=p\left({\mathbf{s}}_1\right)\prod _{t=1}^T{\pi }_{\theta }\left({\mathbf{a}}_t\mid {\mathbf{s}}_t\right)p\left({\mathbf{s}}_{t+1}\mid {\mathbf{s}}_t,{\mathbf{a}}_t\right)$$
约掉来自environment的initial state和transition probability, 两个policy的比值可以转化为:
$$\frac{{\pi }_{\theta }(\tau )}{\bar{\pi }(\tau )}=\frac{{\prod }_{t=1}^T{\pi }_{\theta }\left({\mathbf{a}}_t\mid {\mathbf{s}}_t\right)}{{\prod }_{t=1}^T\bar{\pi }\left({\mathbf{a}}_t\mid {\mathbf{s}}_t\right)}$$
令$$\frac{p_{{\theta }^{\prime }}(\tau )}{p_{\theta }(\tau )}=\frac{{\prod }_{t=1}^T{\pi }_{{\theta }^{\prime }}\left({\mathbf{a}}_t\mid {\mathbf{s}}_t\right)}{{\prod }_{t=1}^T{\pi }_{\theta }\left({\mathbf{a}}_t\mid {\mathbf{s}}_t\right)}$$，

​ $${\nabla }_{{\theta }^{\prime }}J\left({\theta }^{\prime }\right)=E_{\tau \sim p_{\theta }(\tau )}\left[\frac{p_{{\theta }^{\prime }}(\tau )}{p_{\theta }(\tau )}{\nabla }_{{\theta }^{\prime }}\log {\pi }_{{\theta }^{\prime }}(\tau )r(\tau )\right]\text{ when }\theta \ne {\theta }^{\prime }$$

​ $$=E_{\tau \sim p_{\theta }(\tau )}\left[\left(\prod _{t=1}^T\frac{{\pi }_{{\theta }^{\prime }}\left({\mathbf{a}}_t\mid {\mathbf{s}}_t\right)}{{\pi }_{\theta }\left({\mathbf{a}}_t\mid {\mathbf{s}}_t\right)}\right)\left(\sum _{t=1}^T{\nabla }_{{\theta }^{\prime }}\log {\pi }_{{\theta }^{\prime }}\left({\mathbf{a}}_t\mid {\mathbf{s}}_t\right)\right)\left(\sum _{t=1}^{T}r\left({\mathbf{s}}_t,{\mathbf{a}}_t\right)\right)\right]$$

​ $${\nabla }_{{\theta }^{\prime }}J\left({\theta }^{\prime }\right)=E_{\tau \sim p_{\theta }(\tau )}\left[\sum _{t=1}^T{\nabla }_{{\theta }^{\prime }}\log {\pi }_{{\theta }^{\prime }}\left({\mathbf{a}}_t\mid {\mathbf{s}}_t\right)\left(\prod _{t^{\prime }=1}^t\frac{{\pi }_{{\theta }^{\prime }}\left({\mathbf{a}}_{t^{\prime }}\mid {\mathbf{s}}_{t^{\prime }}\right)}{{\pi }_{\theta }\left({\mathbf{a}}_{t^{\prime }}\mid {\mathbf{s}}_{t^{\prime }}\right)}\right)\left(\sum _{t^{\prime }=t}^{T}r\left({\mathbf{s}}_{t^{\prime }},{\mathbf{a}}_{t^{\prime }}\right)\right)\right]$$

上一篇：强化学习的学习之路（三十三）_2021-02-02：REINFOCR算法的缺陷及应对方法
下一篇：强化学习的学习之路（三十五）_2021-02-04：Tips in Policy Gradient Descent