Policy_Gradient

准备函数

把状态s和动作a串起来就得到了轨迹𝞽
T r a j e c t o r y   τ = { s 1 , a 1 , s 2 , a 2 , . . . , s t , a t } Trajectory \ \tau = \{s_1, a_1, s_2, a_2, ..., s_t, a_t\} Trajectory τ={s1​,a1​,s2​,a2​,...,st​,at​}
某轨迹出现的概率和网络参数𝜽有关的。具体：
$$Probability{p}_{\theta }(\tau )=p(s_1)p_{\theta }(a_1|s_1)p(s_2|a_1,s_1)p_{\theta }(a_2|s_2)p(s_3|a_2,s_2)...=p(s_1)\prod _{t=1}^T{p}_{\theta }(a_t|s_t)p(s_{t+1}|a_t,s_t)$$
注意这其中并不是所有的概率都和𝜽有关。

actor做出动作 a_t 时还会输出相应的 r_t ，将其求和得到这一轨迹的Reward：
$$Reward{R}_{\theta }(\tau )=\sum _{t=1}^T{r}_t$$
最终目的是为了最大化R，因此需要找一个衡量指标评价R的大小。在每一个episode，此时𝜃是固定的，R是关于随机变量𝜏的函数，可以对其求期望：
$$\overline{R_{\theta }}=E_{\tau ～p_{\theta }(\tau )}[R_{\theta }(\tau )]=\sum _{\tau =1}^n{R}_{\theta }(\tau )p_{\theta }(\tau )$$

梯度下降/上升

找R的最大值，因此要梯度上升。首先求梯度（tips: 因为在计算梯度的时候，收集到的所有数据应该是使用同一个网络计算来的，因此此时可以将R_𝜃(𝜏)仅看作是和𝜏有关，和𝜃无关。
$$\begin{gathered} {\nabla }_{\theta }\overline{R_{\theta }}={\nabla }_{\theta }\sum _{\tau =1}^n{R}_{\theta }(\tau )p_{\theta }(\tau )={\nabla }_{\theta }\sum _{\tau =1}^{n}R(\tau )p_{\theta }(\tau )= \\ \sum _{\tau =1}^{n}R(\tau ){\nabla }_{\theta }{p}_{\theta }(\tau )=\sum _{\tau =1}^{n}R(\tau )p_{\theta }(\tau ){\nabla }_{\theta }log(p_{\theta }(\tau ))=E_{\tau ～p_{\theta }(\tau )}[R(\tau ){\nabla }_{\theta }log(p_{\theta }(\tau ))] \end{gathered}$$
因为𝜏的分布事先是不知道的，所有我们只能够通过玩游戏，然后收集数据，从中随机采样N个轨迹𝜏求平均来估算，那么上式：
$${\nabla }_{\theta }\overline{R_{\theta }}=E_{\tau ～p_{\theta }(\tau )}[R(\tau ){\nabla }_{\theta }log(p_{\theta }(\tau )]\approx \frac{1}{N}\sum _{n=1}^{n}R({\tau }^n){\nabla }_{\theta }log(p_{\theta }({\tau }^n))$$
其中
$$\begin{gathered} log(p_{\theta }({\tau }^n))=log(p(s_1)\prod _{t=1}^{T_n}{p}_{\theta }(a_t^n|s_t^n)p(s_{t+1}^n|a_t^n,s_t^n))= \\ log(p(s_1))+\sum _{t=1}^{T_n}(log(p(s_{t+1}^n|a_t^n,s_t^n)))+\sum _{t=1}^{T_n}(log(p_{\theta }(a_t^n|s_t^n))) \end{gathered}$$
前两项和𝜃无关，因此
$${\nabla }_{\theta }\overline{R_{\theta }}\approx \frac{1}{N}\sum _{n=1}^{N}R({\tau }^n){\nabla }_{\theta }log(p_{\theta }({\tau }^n))=\frac{1}{N}\sum _{n=1}^{N}R({\tau }^n)\sum _{t=1}^{T_n}{\nabla }_{\theta }log(p_{\theta }(a_t^n|s_t^n))=\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}R({\tau }^n){\nabla }_{\theta }log(p_{\theta }(a_t^n|s_t^n))$$

技巧

Add a baseline or normalization

$${\nabla }_{\theta }\overline{R_{\theta }}\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}(R({\tau }^n)-b){\nabla }_{\theta }log(p_{\theta }(a_t^n|s_t^n))$$

其中b为R(𝜏ⁿ)的期望。

Advantage Function

引入一个定义：
$$R({\tau }^n)-b\triangleq A^{\theta }(s_t,a_t)$$
Advantage Function 的意义是在状态s_t时采取动作a_t相较于采取其他动作有多好（相对值）

并且一般A是由一个network estimate出来的，这个network叫critic

更进一步其实可以对R(𝜏ⁿ)进行归一化。
$${\nabla }_{\theta }\overline{R_{\theta }}\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}\frac{(R({\tau }^n)-\mu )}{\sigma }{\nabla }_{\theta }log(p_{\theta }(a_t^n|s_t^n))$$

Assign suitable credit

上面的式子对于某一个轨迹执行的所有的action乘以相同的R(𝜏ⁿ)，但其实这之中有的action是好的，有的是坏的。又由于前一个动作一般都会影响之后的执行过程，因此我们使用本次得到的reward和之后所有的reward的和作为本次action带来的作用，具体来说：
$${\nabla }_{\theta }\overline{R_{\theta }}\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}\frac{{\sum }_{t^{\prime }=t}^{T_n}({\gamma }^{t^{\prime }-t}{r}_t)-\mu }{\sigma }{\nabla }_{\theta }log(p_{\theta }(a_t^n|s_t^n))$$
直观理解：(a_t时产生的reward)+(之后的action产生的reward*discount)作为衡量a_t好坏的指标。一次episode做的动作不再是同一个加权值

代码执行过程

$${\nabla }_{\theta }\overline{R_{\theta }}\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}\frac{{\sum }_{t^{\prime }=t}^{T_n}({\gamma }^{t^{\prime }-t}{r}_t)-\mu }{\sigma }{\nabla }_{\theta }log(p_{\theta }(a_t^n|s_t^n))$$

1个𝜃执行N个episode；1个episode对应T_n个𝝯_𝜃log(p_𝜃(a_tⁿ|s_tⁿ))

---

在第n个episode中，对应𝜏ⁿ，一共进行了T_n个step，每个step对应一组：
$${\nabla }_{\theta }log(p_{\theta }(a_t^n|s_t^n))和\frac{{\sum }_{t^{\prime }=t}^{T_n}({\gamma }^{t^{\prime }-t}{r}_t)-\mu }{\sigma }$$
将每个step二者相乘得到的结果进行相加，得到：
$$\sum _{t=1}^{T_n}\frac{{\sum }_{t^{\prime }=t}^{T_n}({\gamma }^{t^{\prime }-t}{r}_t)-\mu }{\sigma }{\nabla }_{\theta }log(p_{\theta }(a_t^n|s_t^n))$$
存入到buffer

---

当执行完N（一般N = batch_size）个episode之后，将buffer里面的所有数据相加，得到：
$$\sum _{n=1}^N\sum _{t=1}^{T_n}\frac{{\sum }_{t^{\prime }=t}^{T_n}({\gamma }^{t^{\prime }-t}{r}_t)-\mu }{\sigma }{\nabla }_{\theta }log(p_{\theta }(a_t^n|s_t^n))$$
这就是我们进行更新时要用到的gradient。使用它对𝜃进行更新之后，重复上面的过程。

梯度更新方法

Adam

RMSprop

SGD

Momentum

AdaGrad