增强学习的初步理解- 周志华《机器学习》

【这是不完整的文章】

马尔可夫决策过程四元组

[X, A, P, R]

X : 状态的集合；
A：动作的集合；
P：状态转移函数，在给定状态x 和动作a 的情况下，转移到其他各个状态的概率；
R：转移到下个状态后获得的奖赏；

另有

策略函数

策略函数是在给定的状态x下，决定采取什么样的动作a；
注意：

1、策略函数和状态转移函数是完全不一样的，策略函数是给定x选择a，状态函数是给定x和a，选定下一个状态，一般来说，策略函数是需要训练的，状态转移函数是给定不变的。
2、状态函数是策略函数的下一步

策略函数的训练目标是获得长期的最大化的受益， 长期指的是在整个训练周期的最大化收益。所以训练一整次之后才回观察到奖赏的结果，再进行反馈纠正。