强化学习的学习之路（二十四）_2021-01-24：Distributional DQN：Distributional RL with Quantile Regression

作为一个新手，写这个强化学习-基础知识专栏是想和大家分享一下自己学习强化学习的学习历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己在2021年能保证平均每日一更的更新速度，主要是介绍强化学习的基础知识，后面也会更新强化学习的论文阅读专栏。本来是想每一篇多更新一点内容的，后面发现大家上CSDN主要是来提问的，就把很多拆分开来了（而且这样每天任务量也小一点哈哈哈哈偷懒大法）。但是我还是希望知识点能成系统，所以我在目录里面都好按章节系统地写的，而且在github上写成了书籍的形式，如果大家觉得有帮助，希望从头看的话欢迎关注我的github啊，谢谢大家！另外我还会分享深度学习-基础知识专栏以及深度学习-论文阅读专栏，很早以前就和小伙伴们花了很多精力写的，如果有对深度学习感兴趣的小伙伴也欢迎大家关注啊。大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！不要高估一年的努力，也不要低估十年的积累，与君共勉！

接下来的几个博客将会分享以下有关DQN算法及其改进，包括DQN（Nature）、Double DQN、 Multi-step DQN、Pirority Replay Buffer、 Dueling DQN、DQN from Demonstrations、Distributional DQN、Noisy DQN、Q-learning with continuous actions、Rainbow、Practical tips for DQN等。

istributional DQN：Distributional Reinforcement Learning with Quantile Regression

首先我们来介绍一个数学概念,：Wasserstein距离。
Wasserstein距离度量两个概率分布之间的距离, \quad (狭义的) 定义如下：
$W(P,Q)={\min }_{\gamma \in \Pi }{\sum }_{x_p,x_q}\gamma \left(x_p,x_q\right)\Vert x_p-x_q\Vert$
直接看这个式子可能过于抽象了，因为它和我们熟悉的度量不一样, 它好像不是确定性的，而是带有一个 $\min$ 。
这里的Wasserstein距离又叫推土机距离，看下面的图，你就能很形象地理解Wasserstein距离：

它的意思是, 将一个分布转变为另一个分布，所需要移动的最少的“土" 的量。
注意，因为是分布，概率的和为1，也就是说 “土" 的总量是相同的。同时，这个移动的量是指 “土” 的“距离*数量" 。
可以看到，又很多种移动的方案, 而Wasserstein距离指的是最少的那种，当然可能有多个方案都 是最少, 但是这不重要, 重要的是移动的值。

然而上述的定义只算是一个特例，标准的Wasserstein Metric的定义更为复杂, 如果我有两个分布 $U,Y$, 那么它们的p-Wasserstein Metric为
$W_p(U,Y)={\left({\int }_0^1{\left|F_Y^{-1}(\omega )-F_U^{-1}(\omega )\right|}^{p}d\omega \right)}^{1/p}$
其中
F Y − 1 ( ω ) : = inf ⁡ { y ∈ R : ω ≤ F Y ( y ) } F_{Y}^{-1}(\omega):=\inf \left\{y \in \mathbb{R}: \omega \leq F_{Y}(y)\right\} FY−1​(ω):=inf{y∈R:ω≤FY​(y)}
$F_Y(y)=\mathrm{Pr}(Y\le y)$
当 $p=1$ 的时候, 上面的公式就退化成为我们最开始看到的推土机距离。
当 $p=1$ 的时候这个式子还是容易理解的, 这里的 $F_Y(y)$ 就是 $y$ 的CDF函数, 而 $F_Y^{-1}(\omega )$ 可以理解为计算 $P_Y$ 的 $w$ 分位数。
而 $W_p(U,Y)$ 的表达式, 则是将这个代表分位数的 $w$ 从 0 到 1 积分。

下图形象的描述了p=1情况下的Wasserstein Metric，这不过这个定义是连续的，刚才的定义是离散的。

上图中红色和蓝色的线分别是 $P_X$ 和 $P_Y$ 的CDF函数，对于某一个分位数 $\tau$, 我们可以计算得到两个值, 分别是 $F_X^{-1}(\tau )$ 和 $F_Y^{-1}(\tau )$ 。
它们的差值的绝对值就是上图中黑线的长度，这个长度积分就是青色部分的面积, 这就代表了两个分布的差异。

我们在上一篇博客中提到一开始作者们并没有想到合适的方法模拟 Wasserstein Metric这个过程, 于是提出了使用KL散度做近似的想法。紧接着作者们又提出了更 “正统” 的算法QR-DQN，它继承了最开始的理论想法。 首先，我们要做的是改变 “分布” 的表现形式：
$Z(x,a)$ 是 $Z:\mathcal{X}\times \mathcal{A}\to \mathcal{P}(\mathbb{R})$ 的函数, 它的输出是一个分布 $$\mathcal{P}(\mathbb{R})$$

我们一开始是用 $N$ 个atoms { z 0 , z 1 , ⋯   , z N − 1 } \left\{z_{0}, z_{1}, \cdots, z_{N-1}\right\} {z0​,z1​,⋯,zN−1​} 作为基准，再用 $N$ 个离散的分布 { p 0 , p 1 , ⋯   , p N − 1 } \left\{p_{0}, p_{1}, \cdots, p_{N-1}\right\} {p0​,p1​,⋯,pN−1​} 来描述这个分布。这种形式用来计算KL散度是极好的，但是不适合计算Wasserstein Metric度量，现在我们介绍另外一种，是用分位数描述的方法。其实也很直觉，就是按照这个分布的CDF的 $y$ 轴, 把它均等的分成 $N$ 分, 例如下面的是分布的 PDF的 $y$ 轴, 我们把它分成10等分：

那么自然就会得到10个 $\hat{\tau },$ 这10个 $\hat{\tau }$ 就定义了10个分位数
${\hat{\tau }}_i=\frac{2(i-1)+1}{2N},i=1,\dots ,N$
分位数是下图的小红点：

于是，我们现在只需要记录 $N$ 个分位数的位置, 就可以描述整个分布了。
接下来，我们解决如何去学习出这 $N$ 个分位数这个问题：
我们设计一个神经网络 $Z$ ，它的输入是状态 $s,$ 输出是一个矩阵, 矩阵的每 一行代表一个动作的 $N$ 个概率, 分别是 { p 0 , p 1 , ⋯   , p N − 1 } \left\{p_{0}, p_{1}, \cdots, p_{N-1}\right\} {p0​,p1​,⋯,pN−1​} 。

在QR-DQN中，神经网络也是输出一个矩阵, 只不过每列不再是atoms对应的 $p_i$ 了，而是atoms的位置, 也就是 $z_i,$ 因为在QR-DQN中atoms的概率是确定的, 都是 $\frac{1}{N} $。 现在让我们看一下训练的过程。
首先我们从Buffer中采样出 $\left(s,a,r,s^{\prime }\right),$ 接下来我们需要计算出 $a^{\ast },$ 和上一篇博客的想法一样, 我们依旧用 $Q(s,a)$ 来计算。
先算 $Q\left(s^{\prime },a^{\prime }\right)：$$Q\left(s^{\prime },a^{\prime }\right):={\sum }_j{q}_j{\theta }_j\left(x^{\prime },a^{\prime }\right)$
挑出最大的作为 $a^{\ast }$：$a^{\ast }\leftarrow \arg {\max }_{a^{\prime }}Q\left(x,a^{\prime }\right)$
根据这个 $a^{\ast }$ 计算出分布 $Z\left(s^{\prime },a^{\ast }\right)$, 我们设这个分布的atoms的位置表示为 $\left\{{\theta }_0^{\prime },{\theta }_1^{\prime },\dots ,{\theta }_{N-1}^{\prime }\right\}$

那么目标分布表示为：$\mathcal{T}{\theta }_j^{\prime }=r+\gamma {\theta }_j^{\prime },i=0,\dots ,N-1$
这里的好处是不用再对齐了，因为我们的atoms的位置是可以改变的，而正是用这个变量来描述整个分布, 自然没有对齐之说。
最关键的是，我们要让分布 $Z(s,a)$ 和目标分布 $r+\gamma Z\left(s^{\prime },a^{\ast }\right)$ 尽可能相似。
我们假设用 { θ 0 , θ 1 , … , θ N − 1 } \left\{\theta_{0}, \theta_{1}, \ldots, \theta_{N-1}\right\} {θ0​,θ1​,…,θN−1​} 来描述分布 $Z(s,a),$ 这其实就是 $N$ 个分位数。
那么描述目标分布的 $\left\{r+\gamma {\theta }_0^{\prime },r+\gamma {\theta }_1^{\prime },\cdots ,r+\gamma {\theta }_{N-1}^{\prime }\right\}$ 就可以当作ground truth, 也就是把他们看作 $L_{\tau }=\mathbb{E}\left[{\rho }_{\tau }^1\left(y_i-\xi \left(x_i,{\beta }_{\tau }\right)\right)\right]$ 中不同的 $y_i$ 。此外，我们并不是只有一个 $\tau$, 我们有 $N$ 个 $\tau$, 我们需要计算它们的损失函数的和, 也就是
$$\begin{array}{rl}{L}_{\beta }& =\sum _{i=1}^N{\mathbb{E}}_Y\left[{\rho }_{{\tau }_i}^1\left(Y-\xi (\beta {)}_i\right)\right]\\ & =\sum _{i=1}^N{\mathbb{E}}_{\mathcal{T}{Z}^{\prime }}\left[{\rho }_{{\hat{\tau }}_i}^1\left(\mathcal{T}{Z}^{\prime }-{\theta }_i\right)\right]\\ & =\frac{1}{N}\sum _{i=1}^N\sum _{j=1}^N\left[{\rho }_{{\hat{\tau }}_i}^1\left(\mathcal{T}{\theta }_j^{\prime }-{\theta }_i\right)\right]\end{array}$$
其中
$$\mathcal{T}{Z}^{\prime }=r+\gamma Z\left(x^{\prime },a^{\ast }\right)$$
而 ${\hat{\tau }}_i$ 就是用来决定 $N$ 个分位数的值
$${\hat{\tau }}_i=\frac{2i+1}{2N},i=0,\dots ,N-1$$
最终的算法如下：

最终算法的效果如下：

可见最终算法效果很好。

接下来我们来直观的感受一下QR-DQN做了什么，（下面的内容都来自于一个大佬的博客）假设我们现在可以画出$$r+\gamma Z\left(s^{\prime },a^{\ast }\right)$$，它就是下图的红线：

那么蓝色的线就是初始状态的$$Z(s,a)$$
从Distributional DQN定义的角度，我们希望什么呢？我们希望青色的面积更小。

那么QR-DQN希望什么呢？

$$\text{ 它希望 }{\theta }_0\text{ 可以可以作为 }{\tau }_0\text{ 对应的分位数, }{\theta }_1\text{ 可以可以作为 }{\tau }_1\text{ 对应的分位数, 以此类推。 }$$

如果做到了这一点，图像就会变成

Amazing啊，青色这不就变少了。

如果我们调节超参数 N，让QR-DQN的分布描述的更细致，会变成

青色更少了。这就是DQ-DQN在做的事情。

上一篇：强化学习的学习之路（二十三）_2021-01-23：Distributional DQN：A Distributional Perspective on Reinforcement Learning
下一篇：强化学习的学习之路（二十五）_2021-01-25：Distributional DQN：Implicit Quantile Networks for Distributional RL