MaxEnt框架下的RL

策略概率分布最大熵的角度

从策略概率分布最大熵的角度理解，我们对最优策略的要求不仅仅是最大化长期奖励$\eta (\pi )={\mathbb{E}}_{\tau }\left[{\sum }_{t=0}^{\infty }{\gamma }^{t}r(s_t,a_t)\right]$；同时要求策略随机性尽可能的大，也就是策略的熵$\mathcal{H}(\pi )$尽可能大：
$$\begin{array}{rl}J(\pi )& =\sum _{t=0}^{\infty }{\mathbb{E}}_{(s_t,a_t)\sim \rho (\pi )}\left[r(s_t,a_t)+\alpha \mathcal{H}(\cdot |s_t)\right]\\ & ={\mathbb{E}}_{\tau }\left[\sum _{t=0}^{\infty }r(s_t,a_t)-\alpha \log \pi (\cdot |s_t)\right]\end{array}$$这里没有考虑折扣系数$\gamma$。最终的目标是${\max }_{\pi }J(\pi )$

采样轨迹分布匹配的角度

给定策略$\pi (a|s)$，那么根据这个策略进行交互采样得到不同的采样轨迹$\tau =(s_1,a_1,s_2,a_2,\cdots )$的概率分布可以表示为：
$$q(\tau )=p_1(s_1)\prod _{t=1}p(s_{t+1}|s_t,a_t)\pi (a_t|s_t)$$假如存在一个确定的奖励函数$r(s_t,a_t)$（通常来说MDP存在这样的函数，但是不知道具体的形式，只是交互过程能采样得到采样的奖励值）。那么MaxEnt框架下理想的目标轨迹分布是与采样过程的奖励值的指数函数值成正比的，即：
$$p(\tau )=\frac{1}{Z}{p}_1(s_1)\prod _{t=1}p(s_{t+1}|s_t,a_t)e^{r(s_t,a_t)}$$其中$Z=\int p_1(s_1){\prod }_{t=1}p(s_{t+1}|s_t,a_t)e^{r(s_t,a_t)}d\tau$是正则项；那么MaxEnt RL的目标就是尽可能的使策略下的轨迹分布更加接近目标轨迹分布，一般用KL散度度量的话目标函数为：
$$\begin{array}{rl}& \underset{\pi }{\max }-D_{KL}(q(\tau )||p(\tau ))\\ & =\underset{\pi }{\max }-\int q(\tau )\log \frac{{\prod }_{t=1}\pi (a_t|s_t)}{{\prod }_{t=1}{e}^{r(s_t,a_t)}}d\tau -\log Z\\ & =\underset{\pi }{\max }{\mathbb{E}}_{\tau \sim q(\tau )}\left[\sum _{t=1}r(s_t,a_t)-\log \pi (a_t|s_t)\right]\end{array}$$这里最后忽略了$\log Z$，因为常数，可以看到和从策略最大熵角度的公式推导是一样的。

MaxEnt RL框架下Bellman等式的推导

和标准的Bellman等式类似，MaxEnt RL下也满足类似的Bellman等式：

1. 首先是根据上面的MaxEnt RL的目标函数$J(\pi )$可以类比定义soft值函数（以下均默认$\alpha =1$）：
   $$V_{soft}^{\pi }(s_t=s)={\mathbb{E}}_{\tau }\left[\sum _{T=t}^{\infty }{\gamma }^{T-t}(r(s_T,a_T)+\mathcal{H}(\cdot |s_T))|s_t=s\right]$$这里注意的是下标$T$是变量，$t$是常量。这里用的是熵$\mathcal{H}$不是$\log \pi (\cdot |s)$这是把关于$a_T$的期望写进去了。最重要的这里考虑折扣奖励的同时策略熵值也乘以折扣系数。（参见SAC原文Appendix.A的说明）
2. 同理soft动作值函数也可定义并进一步改写：
   $$\begin{array}{rl}{Q}_{soft}^{\pi }(s_t=s,a_t=a)& =\mathbb{E}\tau \left[r(s_t,a_t)+\gamma \sum _{T=t+1}^{\infty }{\gamma }^{T-t-1}(r(s_T,a_T)+\mathcal{H}(\cdot |s_T))|s_t=s,a_t=a\right]\\ & =r(s_t,a_t)+\gamma T_{s,a}^{s^{\prime }}{V}_{soft}^{\pi }(s_{t+1}=s^{\prime })\end{array}$$这里因为$s_t,a_t$都是已知的，所以第一行的熵值是从$t+1$开始算起的。所以上式其实就是MaxEnt下修正后的Bellman算子：
   $${\mathcal{T}}^{\pi }{Q}_{soft}^{\pi }\triangleq r(s_t,a_t)+\gamma {\mathbb{E}}_{s_{t+1}}\left[V_{soft}^{\pi }(s_{t+1})\right]$$
3. 同样的$V_{soft}^{\pi }$也可以改写为由$Q_{soft}^{\pi }$表示的等式：
   $$\begin{array}{rl}{V}_{soft}^{\pi }(s_t=s)& ={\mathbb{E}}_{\tau }\left[\sum _{T=t}^{\infty }{\gamma }^{T-t}(r(s_T,a_T)+\mathcal{H}(\cdot |s_T))|s_t=s\right]\\ & ={\mathbb{E}}_{\tau }\left[\sum _{T=t}^{\infty }{\gamma }^{T-t}r(s_T,a_T)+\sum _{T=t+1}^{\infty }{\gamma }^{T-t}\mathcal{H}(\cdot |s_T)+\mathcal{H}(\cdot |s_t)|s_t=s\right]\\ & ={\mathbb{E}}_{\tau }\left[r(s_t,a_t)+\gamma \sum _{T=t+1}^{\infty }{\gamma }^{T-t-1}(r(s_T,a_T)+\mathcal{H}(\cdot |s_T))+\mathcal{H}(\cdot |s_t)|s_t=s\right]\\ & ={\mathbb{E}}_{\tau }\left[Q_{soft}^{\pi }(s_t,a_t)+\mathcal{H}(\cdot |s_t)|s_t=s\right]\\ & ={\mathbb{E}}_{a_t}\left[Q_{soft}^{\pi }(s_t,a_t)-\log \pi (\cdot |s_t)|s_t=s\right]\end{array}$$
4. 将3中的等式带入2中有：
   $$\begin{array}{rl}{Q}_{soft}^{\pi }(s_t,a_t)& =r(s_t,a_t)+\gamma {\mathbb{E}}_{s_{t+1},a_{t+1}}\left[Q_{soft}^{\pi }(s_{t+1},a_{t+1})-\log \pi (\cdot |s_{t+1})\right]\\ & =r(s_t,a_t)+\gamma {\mathbb{E}}_{s_{t+1}}\left[\mathcal{H}(\pi (\cdot |s_{t+1}))\right]+\gamma {\mathbb{E}}_{s_{t+1},a_{t+1}}\left[Q_{soft}^{\pi }(s_{t+1},a_{t+1})\right]\\ & =r_{soft}^{\pi }(s_t,a_t)+\gamma {\mathbb{E}}_{s_{t+1},a_{t+1}}\left[Q_{soft}^{\pi }(s_{t+1},a_{t+1})\right]\end{array}$$可见上式就类似标准Bellman等式，不同的是修正奖励函数$r_{soft}^{\pi }(s_t,a_t)\triangleq r(s_t,a_t)+\gamma {\mathbb{E}}_{s_{t+1}}\left[\mathcal{H}(\pi (\cdot |s_{t+1}))\right]$

SAC中的一些注意点

1. 同标准的bellman方程推导的TD算法一样，SAC就利用上面推导的soft Bellman方程来构建TD学习目标，同样用参数化函数估计器来近似值函数：$V_{soft}^{\pi }(s)\approx V_{\psi }(s),Q_{soft}^{\pi }\approx Q_{\varphi }(s,a)$，那么根据上式soft Bellman方程有值函数$V_{\psi }(s)$目标函数：
   $$J_V(\psi )={\mathbb{E}}_{s\sim \mathcal{D}}\left[\frac{1}{2}{\left(V_{\psi }(s)-{\mathbb{E}}_{a\sim {\pi }_{\theta }}\left[Q_{\varphi }(s,a)-\log {\pi }_{\theta }(a|s)\right]\right)}^2\right]$$注意这里的动作$a$重新从策略${\pi }_{\theta }$中采集，而不是使用transition样本中的值。而动作值函数的目标函数则为：
   $$\begin{array}{rl}{J}_Q(\varphi )& ={\mathbb{E}}_{s,a\sim \mathcal{D}}\left[\frac{1}{2}{\left(Q_{\varphi }(s,a)-r(s,a)-\gamma {\mathbb{E}}_{s^{\prime }|s,a}\left[V_{\psi }(s^{\prime })\right]\right)}^2\right]\\ & ={\mathbb{E}}_{s,a\sim \mathcal{D}}\left[\frac{1}{2}{\left(Q_{\varphi }(s,a)-r(s,a)-\gamma {\mathbb{E}}_{s^{\prime }|s,a}\left[{\mathbb{E}}_{a^{\prime }\sim {\pi }_{\theta }}\left[Q_{\varphi }(s^{\prime },a^{\prime })-\log {\pi }_{\theta }(a^{\prime }|s^{\prime })\right]\right]\right)}^2\right]\end{array}$$这里$s,a,r(s,a),s^{\prime }$均来自replaybuffer中的transition样本$⟨s,a,r,s^{\prime }$，而$a^{\prime }$则来自当前策略的采样。第一行的目标是独立维护一个$V_{\psi }$函数时的动作值函数目标，$a^{\prime }$的采样在上一步值函数求解时已经做了。第二行的目标函数是只维护动作值函数$Q_{\varphi }$时候的形式，可看到，和一般的Bellamn方程得到的TD error目标差了一个熵。在构造动作值函数的target时，需要采样$a^{\prime }$，如果采样这个$a^{\prime }$的策略和采样当前样本$⟨s,a,r,s^{\prime }⟩$的策略不一致，那么就是off-policy模式，一致的话就是on-policy。SAC中因为从维护的replaybuffer中采样来更新$Q_{\varphi }$，所以采样策略是过去训练过程中的不同策略，而构造target的则是当前策略，所以是off-policy的。
2. 还有一个容易迷惑的地方，就是策略更新的时候，其目标是最小化以下的KL散度：
   $$\begin{array}{rl}{J}_{\pi }(\theta )& ={\mathbb{E}}_{s\sim \mathcal{D}}\left[D_{KL}\left(\pi (a|s)\Vert \frac{\exp (Q_{\varphi }(s,a))}{Z_{\varphi }(s)}\right)\right]\\ & ={\mathbb{E}}_{s,a\sim \mathcal{D}}\left[\log {\pi }_{\theta }(a|s)-Q_{\varphi }(s,a)\right]\end{array}$$通常我们采用高斯策略，这里涉及到重采样技术，即$a=f_{\theta }(s)={\mu }_{\theta }(s)+ϵ\cdot {\sigma }_{\theta }(s)$，同时${\pi }_{\theta }(a|s)$则代表是一个概率值，也与$\theta$有关。带入上述目标中有：
   $$J_{\pi }(\theta )={\mathbb{E}}_{s\sim \mathcal{D},ϵ\sim \mathcal{N}}\left[\log {\pi }_{\theta }(f_{\theta }(s,ϵ)|s)-Q_{\varphi }(s,f_{\theta }(s,ϵ))\right]$$所以求到的时候一定注意$f_{\theta }$和${\pi }_{\theta }$的区别，这里的第一项$\log {\pi }_{\theta }(f_{\theta }(s,ϵ)|s)$关于$\theta$的导数有两条路径：
   a. 是直接通过概率函数传递导数${\pi }_{\theta }(a|s)\to \theta$：${\nabla }_{\theta }\log {\pi }_{\theta }(a|s)$;
   b. 通过从${\pi }_{\theta }(a|s)\to a\to f_{\theta }(s,ϵ)\to \theta$：${\nabla }_a\log {\pi }_{\theta }(a|s){\nabla }_{\theta }{f}_{\theta }(s,ϵ)$;
   第二项$Q_{\varphi }(s,f_{\theta }(s,ϵ))$的导数只有一条路径$Q_{\varphi }(s,a)\to a\to f_{\theta }(s,ϵ)\to \theta$： ${\nabla }_{a}Q(s,a){\nabla }_{\theta }{f}_{\theta }(s,ϵ)$，以上三项加起来就是：
   $${\nabla }_{\theta }{J}_{\pi }(\theta )={\mathbb{E}}_{s\sim \mathcal{D},ϵ\sim \mathcal{N}}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a|s)+\left({\nabla }_a\log {\pi }_{\theta }(a|s)-{\nabla }_{a}Q(s,a)\right){\nabla }_{\theta }{f}_{\theta }(s,ϵ)\right]$$