本文论证了值分布的基本重要性:强化学习智能体收到的随机回报的分布。这与强化学习的常见方法相反,后者对这种回报或价值的期望进行建模。尽管已经建立了研究价值分布的文献体系,但迄今为止,它一直被用于特定目的,如实施风险意识行为。我们从策略评估和控制设置的理论结果开始,暴露了后者中的显著分布不稳定性。然后从分布的角度设计了一种新的算法,该算法将Bellman方程应用于近似值分布的学习。使用Arcade学习环境中的一套游戏来评估该算法。获得了最先进的结果和轶事证据,证明了值分布在近似强化学习中的重要性。结合理论和经验证据,强调了值分布在近似环境下影响学习的方式。
The Distributional Bellman Operators
4. Approximate Distributional Learning
在本节中,我们提出一种基于分布式Bellman最优算子的算法。特别地,这需要选择一个近似分布。虽然之前也考虑过高斯分布(Morimura等人,2010a;Tamar et al., 2016),据我们所知,我们是第一个使用丰富的参数分布类。
4.1. Parametric Distribution
阅读者总结:这篇论文想法比较直接,但是理解起来相对不是很容易,还需要阅读