Rainbow: Combining Improvements in Deep Reinforcement Learning

深度强化学习社区对DQN算法进行了一些独立的改进。然而，目前还不清楚这些扩展中哪些是互补的，可以有效地结合在一起。本文研究了DQN算法的六种扩展，并对它们的组合进行了实证研究。实验表明，该组合在Atari 2600基准上提供了最先进的性能，无论是在数据效率还是最终性能方面。还提供了详细的消融研究的结果，显示了每个组件对整体性能的贡献

背景 ：

1）这些算法中的每一种都能单独实现显著的性能改进。由于它们建立在一个共享的框架上，它们可能会被结合起来。

2）本文建议研究一种结合上述所有成分的agent。本文展示了这些不同的想法如何被整合，它们确实在很大程度上是互补的。事实上，它们的组合在来自街机学习环境的57款Atari 2600游戏基准套件上产生了最新的结果，无论是数据效率还是最终性能。展示了消融研究的结果，以帮助理解不同成分的贡献。

简单的描述DQN

DQN算法是一个重要的里程碑，但目前已经发现了该算法的一些局限性，并提出了许多扩展算法。本文提出六个扩展，每个扩展都解决了一个限制并提高了整体性能。为了保持选择的大小可管理，我们选择了一组解决不同问题的扩展(例如，只是众多寻址探索中的一个)。

1.Double Q-learning.  双Q学习解决这种高估问题。

2 Prioritized replay 我们想要更频繁地对这些过渡进行采样，从中我们可以学到很多东西。 作为学习潜力的代表，