强化学习的学习之路（四十一）2021-02-10 Problems in Policy Gradient

作为一个新手，写这个强化学习-基础知识专栏是想和大家分享一下自己学习强化学习的学习历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己在2021年能保证平均每日一更的更新速度，主要是介绍强化学习的基础知识，后面也会更新强化学习的论文阅读专栏。本来是想每一篇多更新一点内容的，后面发现大家上CSDN主要是来提问的，就把很多拆分开来了（而且这样每天任务量也小一点哈哈哈哈偷懒大法）。但是我还是希望知识点能成系统，所以我在目录里面都好按章节系统地写的，而且在github上写成了书籍的形式，如果大家觉得有帮助，希望从头看的话欢迎关注我的github啊，谢谢大家！另外我还会分享深度学习-基础知识专栏以及深度学习-论文阅读专栏，很早以前就和小伙伴们花了很多精力写的，如果有对深度学习感兴趣的小伙伴也欢迎大家关注啊。大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！不要高估一年的努力，也不要低估十年的积累，与君共勉！

Problems in Policy Gradient

到这里为止, policy gradient中一直存在两个比较重要的问题。

第一个问题是sample efficiency的问题：由于算法是on-policy的，每次进行完梯度上升后都将数据丢弃。而我们引入了importance sampling进行off-policy的policy gradient, 这样存在的问题则是稳定性降低了，推导式中存在两个 policy连乘的比值, 比较容易出现消失或者爆炸的现象:
$$\begin{array}{rl}{\nabla }_{{\theta }^{\prime }}J\left({\theta }^{\prime }\right)& =E_{\tau \sim {\pi }_{\theta }(\tau )}\left[\frac{{\pi }_{{\theta }^{\prime }}(\tau )}{{\pi }_{\theta }(\tau )}{\nabla }_{{\theta }^{\prime }}\log {\pi }_{{\theta }^{\prime }}(\tau )r(\tau )\right]\text{ when }\theta \ne {\theta }^{\prime }\\ & =E_{\tau \sim {\pi }_{\theta }(\tau )}\left[\left(\prod _{t=1}^T\frac{{\pi }_{{\theta }^{\prime }}\left({\mathbf{a}}_t\mid {\mathbf{s}}_t\right)}{{\pi }_{\theta }\left({\mathbf{a}}_t\mid {\mathbf{s}}_t\right)}\right)\left(\sum _{t=1}^T{\nabla }_{{\theta }^{\prime }}\log {\pi }_{{\theta }^{\prime }}\left({\mathbf{a}}_t\mid {\mathbf{s}}_t\right)\right)\left(\sum _{t=1}^{T}r\left({\mathbf{s}}_t,{\mathbf{a}}_t\right)\right)\right]\end{array}$$
后续将从理论层面讨论两个policy之前差异带来的影响。

第二个问题则是来自gradient ascent, 由于策略优化是在parameter space上做的更新, 但是其实 parameter space并不等价于policy space, 可以看到如下的一个例子:

参数空间上一个小的变化在策略（动作空间）上带来了巨大的差异。

上面两个问题, 也就给算法提出了更多的要求：

• 如何在引入importance sampling的情况下尽可能避免policy差异过大的问题。
• 如何在保证policy不发生突变的情况下进行参数的更新。

上一篇：强化学习的学习之路（四十）_2021-02-09： Actor Critic -Critics as baselines
下一篇：强化学习的学习之路（四十二）2021-02-11 Issues of Importance Sampling