作为一个新手,写这个强化学习-基础知识专栏是想和大家分享一下自己学习强化学习的学习历程,希望对大家能有所帮助。这个系列后面会不断更新,希望自己在2021年能保证平均每日一更的更新速度,主要是介绍强化学习的基础知识,后面也会更新强化学习的论文阅读专栏。本来是想每一篇多更新一点内容的,后面发现大家上CSDN主要是来提问的,就把很多拆分开来了(而且这样每天任务量也小一点哈哈哈哈偷懒大法)。但是我还是希望知识点能成系统,所以我在目录里面都好按章节系统地写的,而且在github上写成了书籍的形式,如果大家觉得有帮助,希望从头看的话欢迎关注我的github啊,谢谢大家!另外我还会分享深度学习-基础知识专栏以及深度学习-论文阅读专栏,很早以前就和小伙伴们花了很多精力写的,如果有对深度学习感兴趣的小伙伴也欢迎大家关注啊。大家一起互相学习啊!可能会有很多错漏,希望大家批评指正!不要高估一年的努力,也不要低估十年的积累,与君共勉!
Policy Optimazation
先说一个我觉得很好的观点,可以把策略梯度法看成一个加权了的最大似然估计法,加的这个权重是轨迹得到的回报,也就是说,我们不是希望学出来的策略和采样得到的轨迹的概率分布接近,而是我们希望最大化那些回报大的轨迹出现的概率,也就是希望策略去实施得到的轨迹尽可能能获得大的回报。
定义
与基于价值的策略不同,基于策略的优化不再去求价值函数,而是直接去算策略参数的梯度去进行优化。也就是说输入是比如前面说的游戏的图片,输出的直接就是每个动作的概率。
Valued-based和Policy-based RL对比
- Value-based RL
- to learn value function 去学价值函数
- implicit policy based on the value function 通过价值函数隐含地学出策略
- Policy-based RL
- no value function 没有价值函数
- to learn policy directly 直接去学策略
- Actor-critic
- to learn both policy and value function 即学价值函数,也学策略
- to learn both policy and value function 即学价值函数,也学策略
Advantages of Policy-based RL
- Advantages:
- better convergence properties: we are guaranteed to converge on a local optimum (worst case) or global optimum (best case) 更好的收敛性,保证起码收敛到一个局部最优点
- Policy gradient is more effective in high-dimensional action space 在高维空间中更有效
- Policy gradient can learn stochastic policies, while value function can’t 基于策略的方法可以学出随机策略,而基于值的方法不行
- Disadvantages:
- typically converges to a local optimum 总是收敛到局部最优点
- evaluating a policy has high variance 评估策略的时候总是方差很大
Policy Optimazation的方法
- Policy-based RL is an optimization problem that find θ \theta θ that maximizes J ( θ ) J(\theta) J(θ)
- If
J
(
θ
)
J(\theta)
J(θ) is differentiable, we can use gradient-based methods: 如果目标函数是可导的,那我们就可以用基于梯度的方式去求解基于策略的强化学习方法
- gradient ascend
- conjugate gradient
- quasi-newton
- If
J
(
θ
)
J(\theta)
J(θ) is non-differentiable or hard to compute the derivative, some derivative-free black-box optimization methods:
- Cross-entropy method (CEM)
- Hill climbing
- Evolution algorithm
Cross-Entropy Method
类似于采样枚举????
Approximate Gradients by Finite Difference
相当于间接地去求了微分。
上一篇:强化学习的学习之路(二十九)_2021-01-29:Practical tips for DQN
下一篇:强化学习的学习之路(三十一)_2021-01-31: REINFORCE