强化学习中同步动态规划和异步动态规划 Synchronous and Asynchronous dynamic programminging

同步动态规划是基础：

一次性更新所有的S的value。

异步动态规划分集中常见类型：
in-place 动态规划：
不对上一周期的value进行备份，直接使用这一周期的value（当然，本周期的value本来就是上一周期优化的结果，只是少了备份这一步，节省了一些内存）

Prioritised Sweeping：

计算优化目标值和现实值之差，对多个S计算后排成一列，差值大的在前，依次优化对应的s的value。

real-time 动态规划：

应该可以翻译为实时动态规划，但是real-time 实际上指的是 real time step，意思是真正经历的时间步，也就是真正经历的S，只更新经历过的S，不管其他