作为一个新手，写这个强化学习-基础知识专栏是想和大家分享一下自己学习强化学习的学习历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己在2021年能保证平均每日一更的更新速度，主要是介绍强化学习的基础知识，后面也会更新强化学习的论文阅读专栏。本来是想每一篇多更新一点内容的，后面发现大家上CSDN主要是来提问的，就把很多拆分开来了（而且这样每天任务量也小一点哈哈哈哈偷懒大法）。但是我还是希望知识点能成系统，所以我在目录里面都好按章节系统地写的，而且在github上写成了书籍的形式，如果大家觉得有帮助，希望从头看的话欢迎关注我的github啊，谢谢大家！另外我还会分享深度学习-基础知识专栏以及深度学习-论文阅读专栏，很早以前就和小伙伴们花了很多精力写的，如果有对深度学习感兴趣的小伙伴也欢迎大家关注啊。大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！不要高估一年的努力，也不要低估十年的积累，与君共勉！
Tips in Policy Gradient Descent
- 首先policy gradient的variance是非常大的，它的gradient噪声比较大（来自trajectory的累积reward）。为了克服它，可以尝试将训练的batch size加到非常大。
- 另外，由于gradient的noise很大，学习率会比较难调节，很多时候使用ADAM勉强可行。而一般而言，我们会使用类似PPO/TRPO那样的专用于policy gradient的自动确定学习步长的方法
上一篇：强化学习的学习之路（三十四）_2021-02-03：Off-Policy policy gradient
下一篇：强化学习的学习之路（三十六）_2021-02-05： Actor Critic - Reducing variance with critic
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
