Policy-Based Reinforcement Learning（2）

最新推荐文章于 2024-08-31 08:01:24 发布
最新推荐文章于 2024-08-31 08:01:24 发布
阅读量161 收藏
点赞数 3
分类专栏： 强化学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangsj1007/article/details/139581657
版权

上篇已经介绍过：

V(s;\theta ) = \sum_{a}^{}\pi (a|s;\theta )Q_\pi (s,a)

Policy Gradient:

\frac{\partial V(s;\theta )}{\partial \theta } = \frac{\partial \sum_{a}^{}\pi (a|s;\theta )Q_\pi (s,a)}{\partial \theta } \newline |\quad \quad = \sum_{a}^{}\frac{\partial \pi (a|s;\theta )}{\partial \theta } Q_\pi (s,a) \newline |\quad \quad =\sum_{a}^{} \pi (a|s;\theta ) \frac{\partial log\pi (a|s; \theta )}{\partial \theta } Q_\pi (s,a) (\frac{\partial log \pi (\theta )}{\partial \theta } = \frac{1}{\pi (\theta ) } * \frac{\partial \pi (\theta )}{\partial \theta }) \newline |\quad \quad = E_A[\frac{\partial log\pi (A|s;\theta ) }{\partial \theta } Q_\pi (s,A)]

这样就得到2种Policy Gradient 公式：

\frac{\partial V(s;\theta )}{\partial \theta } = \frac{\partial \sum_{a}^{}\pi (a|s;\theta )Q_\pi (s,a)}{\partial \theta } \quad (1)

\frac{\partial V(s;\theta )}{\partial \theta } =E_A[\frac{\partial log\pi (A|s;\theta ) }{\partial \theta } Q_\pi (s,A)] \quad (2)

公式（1）用于离散的情形， （2）用于连续的情形

Happy_Traveller
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
强化学习RL 03: Policy-based Reinforcement Learning
天狼啸月1990的博客
02-27 1025
用一个神经网络来近似策略函数π。
策略学习(Policy-Based Reinforcement Learning)
weixin_44924725的博客
04-29 3414
前言 前面我们讲了强化学习的基本概念，这节课来说一说强化学习的策略学习（Policy-based）算法。 在进入正文之前说一句：策略学习的目标就是要用一个神经网络来近似策略函数，这个神经网络叫做策略网络（Policy Network），它可以用来控制agent运动；想要训练策略网络，就要用到Policy Gradient算法，该算法是策略学习的核心； 一、使用步骤 1.策略函数π（a|s）：它是一个概率密度函数，可以用来自动控制agent运动；它的输入是当前的状态s，输出是一个概率分布； 以超级玛丽这.
策略学习（Policy-Based Reinforcement Learning)
qq_41903673的博客
03-22 1864
策略函数是一个概率密度函数。输入是状态s，输出的概率分布，反映的是接下来采取动作的概率。agent从中做一个随机抽样，如向上是0.7，则可能从中抽取向上的动作。 策略网络，用一个策略网络去拟合近似策略函数。例子：输入是当前状态（可能是一张图片），经过若干卷积层之后生成特征向量，然后经过全连接层把特征向量映射到三维向量（因为游戏里有三个动作），然后用softmax激活函数（该激活函数能将输出全为正数且和为1）将其输出为概率分布，输出的即为每个动作的概率。 动作价值函数：是Ut的条件期望，...
Value-based Reinforcement Learning
南极光的专栏
03-19 1815
不久前做了一个关于value-based RL相关的slides，主要讲解了基于值的强化学习方法的几个重要理论方法，同时讲解了Q-learning作为off-policy方法在学习过程中产生的bias的来源已经如何减轻的几种方法。 源文件： Github 讲义： PDF...
【强化学习-03】Policy-based reinforcement learning
HsinglukLiu的博客
01-27 198
Policy-based reinforcement learningPolicy function approximationState-value function approximation 本笔记整理自 (作者: Shusen Wang): https://www.bilibili.com/video/BV1rv41167yx?from=search&seid=18272266068137655483&spm_id_from=333.337.0.0 Policy function a
Policy-Based Reinforcement Learning
weixin_30429201的博客
04-08 119
Policy-based Approach policy-based 强化学习通常是要学习一个actor, actor可以用\(\pi_\theta (S)\) 来确定。如果我们用actor来玩游戏，那么每一局可以看成是一个操作序列\(\tau=\{s_1, a_1, r_1, s_2, a_2, r_2, \dots, s_T, a_T， r_T\}\) 其中\(s_i\) 表示状态，...
Policy-based Reinforcement learning
CltCj的博客
08-22 4435
强化学习 这一章会讲基于策略的强化学习 Value-Based Reinforcement Learning-DQN强化学习前言一、policy函数二、DQN2.1 游戏中agent的目标是什么？2.2 agent如何做决策？2.3 如何理解Q* 函数呢？2.5 DQN打游戏？三、如何训练DQN?3.1 TD算法3.2 TD算法训练DQN四、训练步骤六、总结 前言 说明一下：这是我的一个学习笔记，课程链接如下： 最易懂的强化学习课程 公众号：AI那些事 一、policy函数 我们回顾一下Acti
Model-Based Reinforcement Learning: Theory and Practice 译文
Dr.Zee的博客
07-15 908
目录Model-Based Reinforcement Learning: Theory and PracticeModel-based techniques**Analytic gradient computation****Sampling-based planning****Model-based data generation****Value-equivalence prediction**Trade-offs of model data**The Good News****The Bad New
Pretrain RL:Pre-Training Goal-based Models for Sample-Efficient Reinforcement Learning
wdnmdwsmsa的博客
03-09 772
本文提出的PTGM便是构造为下游任务生成goal的上层策略，指导下游任务的goal-conditioned 低级高效探索利用。此外，在线RL过程中，引入一个预训练的goal prior模型，通过KL散度对high-level的策略进行正则化，保证在线训练的稳定高效。输出的center index，选择对应的goal state，fixed low-level policy将基于goal与环境进行k-steps的交互。模型训练时，类似于训练low-level策略时，选择k-steps后的状态作为goal。
Hands-On-Reinforcement-Learning-With-Python-master.zip
06-12
在《Hands-On Reinforcement Learning with Python》这个项目中，作者提供了丰富的实践教程，帮助读者深入理解并应用强化学习算法。 本项目主要包含以下几个核心知识点： 1. 强化学习基础：介绍强化学习的基本概念...
Model-Based Reinforcement Learning
qq_45191106的博客
06-06 268
# Model-Based Reinforcement Learning## Principle We consider the optimal control problem of an MDP with a **known** reward function $R$ and subject to **unknown deterministic** dynamics $s_{t+1} = f(s_t, a_t)$:$$\max_{(a_0,a_1,\dotsc)} \sum_{t=0}^\infty \g
Multi-agent Reinforcement Learning: An Overview 读书笔记
weixin_43075594的博客
03-11 3223
Multi-agent Reinforcement Learning: An Overview 读书笔记目录abstractintroductionbackgroundbenefit and challengeMARL goalMARL algorithmapplicationexampleOutlookrelated workconclusion 目录 零，abstract 一，introduc...
Reinforcement Learning强化学习系列之一：model-based learning
热门推荐
luchi007的专栏
09-03 1万+
前言在机器学习和深度学习坑里呆了有一些时日了，在阿里实习过程中，也感觉到了工业界和学术界的一些迥异，比如强化学习在工业界用的非常广泛，而自己之前没有怎么接触过强化学习的一些知识，所以感觉还是要好好的补一补更新一下自己的知识库，以免被AI时代抛弃。强化学习初识强化学习要素强化学习可以用下面这张图表示： 从上图可以看出，强化学习的要素是： 1. Agent（图中指大脑） 2. Environm
Learning to Communicate with Deep Multi-Agent Reinforcement Learning
weixin_41697507的博客
06-23 2255
Abstract We consider the problem of multiple agents sensing and acting in environments with the goal of maximising their shared utility. In these environments, agents must learn communication protocol...
深度学习100问27:什么是截断的BPTT
最新发布
yyq916的博客
08-31 250
截断的 BPTT 呢，先确定一个合适的长度，就好比决定每一小段故事有多长。这种方法在很多地方都大显身手哦，比如自然语言处理里训练语言模型、搞机器翻译的时候，就像一个得力的小助手。想象一下，你有一个超级长的故事要讲，一口气从头讲到尾可太难啦，而且很容易把自己绕晕。这时候呢，截断的 BPTT 就像把这个长故事分成一小段一小段来讲。在循环神经网络训练那些长长的序列数据的时候，如果直接像个“愣头青”一样用传统方法，那计算量会大得吓人，还可能出现梯度消失或者爆炸的情况，就像烟花放一半突然熄火或者炸得不可收拾。
【王树森】RNN模型与NLP应用(2/9)：文本处理与词嵌入（个人向笔记）
hxdxiaoming的博客
08-29 786
本次课将使用下列数据集：关于电影评价的数据集。
深度学习基础—池化
sniper_fandc的博客
08-30 438
最大池化的直观理解就是区域内最大值可能就是我们想要提取的重要特征，比如边缘检测，通常边缘附近是数值变化较大的地方，比如由亮变暗，像素值由大变小，如果过滤器覆盖了边缘，就会找到像素值大的特征值提取出来，从而保留重要的边缘信息，减少不是边缘的冗余信息。假设输入的图片是4*4的灰度图片（二维，只有一个通道），过滤器选择2*2，步长选择2，这样的效果就是将4*4的图片分为4块，因此结果是2*2的图像。由于卷积运算的重叠性，很多计算的特征是冗余的，而池化就可以将较大且特征较弱的图转化为较小且特征较强的图。
【Datawhale X 李宏毅苹果书 AI夏令营】《深度学习详解》Task1 打卡
ljj的博客
08-26 1017
本文是【Datawhale X 李宏毅苹果书 AI夏令营】的Task1学习笔记打卡。
development of multi-agent reinforcement learning
03-30
Multi-agent reinforcement learning (MARL) is a subfield of reinforcement learning (RL) that involves multiple agents learning simultaneously in a shared environment. MARL has been studied for several ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值