一次就搞定Policy Gradient算法

策略梯度（Policy Gradient）是一种基于概率策略的强化学习算法，用于解决连续动作空间和高维状态空间下的马尔可夫决策过程（MDP）问题。策略梯度算法的核心思想是直接优化策略函数，即直接学习如何根据当前状态选择最优动作。

在策略梯度算法中，策略函数通常采用神经网络模型来表示，其中输入是状态，输出是每个动作的概率分布。策略梯度算法通过不断地与环境交互，并使用梯度上升法更新神经网络参数，以使得策略函数可以更好地适应环境和任务。

步骤如下：

初始化策略函数，可以使用任何可微分函数。
在每个时间步，根据当前状态使用策略函数生成一个动作。
执行选择的动作，与环境进行交互，获得即时奖励和下一个状态。
计算当前状态下执行该动作的概率和即时奖励，存储到经验回放缓冲区中。
定期使用经验回放缓冲区中的样本计算策略梯度，即计算对数似然函数关于策略函数参数的梯度。
使用梯度上升法更新策略函数的参数，使得策略函数更好地适应环境和任务。
重复步骤2-6，直到达到停止条件。
策略梯度算法的优点是可以处理连续动作空间和高维状态空间，并且可以学习到最优策略和策略函数的映射关系。此外，策略梯度算法具有自然的探索机制，因为策略函数的输出是一个概率分布，可以探索所有动作的可能性。然而，策略梯度算法也存在一些挑战，如易受局部最优和样本效率低等问题。