强化学习中的backups

在强化学习中可能会遇到backups，意思就是备份，在本周期中进行评估或者优化的时候会用到上一个周期的value数据，或者策略数据，这些数据在上一个周期结束时都被备份起来了。

backups有两种方式：

Full-Width Backups：
全部备份，用于动态规划，实际上也不算是备份的意思，它需要的model，也就是状态转移概率函数和reward函数。

Sample Backups：
采样备份，这个就不用于动态规划了，因为是model-free，实际上所有model-free的方法都是这样，它保存所有经历