深度强化学习中的NAF算法-连续控制（对DQN的改进）

最新推荐文章于 2022-11-14 19:58:12 发布
VIP文章 最新推荐文章于 2022-11-14 19:58:12 发布
阅读量5.6k 收藏 5
点赞数
分类专栏： 机器学习 深度强化学习 算法 文章标签： 深度强化学习 算法 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaoying9105/article/details/73503604
版权
DQN算法以及之前的种种改进都是面向离散的action的，DQN算法没有办法面向连续的action，因为Q值更新的时候要用到求最大的action。


本来DQN主要是输出Q值的，aciton是通过argmax顺便实现的，但是现在NAF需要用神经网络输出了，那么就是同时输出Q 和 a。

基本的idea就是引入了Advantage函数A（s,a），也就是每一个动作在特定状态下的优劣。

A(a) = -P(a-x)^2P为正

Q(s,a) = A(s,a) + V(s)



上式是A的矩阵表示，也就是一个二次型。其中x是状态

最低0.47元/天 解锁文章
zhaoying9105
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
强化学习在连续动作空间的应用：DDPG与TD3
禅与计算机程序设计艺术
02-12 185
1. 背景介绍 1.1 强化学习简介 强化学习（Reinforcement Learning，简称RL）是一种机器学习方法，它通过让智能体（Agent）在环境（Environment）中与环境进行交互，学习如何根据观察到的状态（State）选择动作（Action），以最大化某种长期累积奖励（Reward
pytorch-ddpg-naf:实现连续控制算法（DDPG和NAF）
05-10
弃用 该存储库已弃用，不再维护。 请在查看RL的最新实现以进行连续控制。 描述 重新实现并。 欢迎捐款。 如果您知道如何使其更稳定，请随时发送拉取请求。 跑步 使用默认的超参数。 对于NAF： python main.py --algo NAF --env-name HalfCheetah-v2 对于DDPG python main.py --algo DDPG --env-name HalfCheetah-v2
深度学习（四十）——深度强化学习（3）Deep Q-learning Network（2）, DQN进化史
antkillerfarm的专栏
02-24 1876
Deep Q-learning Network（续） Nature DQN DQN最早发表于NIPS 2013，该版本的DQN，也被称为NIPS DQN。NIPS DQN除了提出DQN的基本概念之外，还使用了《机器学习（三十三）》中提到的Experience Replay技术。 2015年初，Deepmind在Nature上提出了改进版本，是为Nature DQN。它改进了Loss函数： L=(r...
NAF(Non-adjacent form) w-NAF及其在curve25519-dalek中scalar的实现
mutourend的博客
08-02 2944
The non-adjacent form (NAF) of a number is a unique signed-digit representation. Like the name suggests, non-zero values cannot be adjacent. For example: (0 1 1 1)2=4+2+1=7(0\ 1\ 1\ 1)_...
强化学习入门（六）：Q-learning系列算法3：连续动作（NAF）
weixin_45459911的博客
04-18 1964
本文是在https://blog.csdn.net/acl_lihan/article/details/104076938的基础上进行了部分改动，加上了一点个人理解，原博客写的非常好，不妨一同查阅。 普通的Q-learning比policy gradient比较容易实现，但是在处理连续动作（比如方向盘要转动多少度）的时候就会显得比较吃力。 因为如果action是离散的几个动作，那就可以把这几个动作...
深度强化学习——连续动作控制DDPG、NAF
热门推荐
草帽BOY的博客
06-14 4万+
传统的DQN只适用于离散动作控制，而DDPG和NAF是深度强化学习在连续动作控制上的拓展。
针对连续动作的DQN
qq_40206371的博客
11-30 5978
1 前言 跟基于策略梯度的方法比起来，DQN在处理连续状态的问题中 是比较好的。（因为前者是计算Q-table，后者是计算Q-function。前者在状态空间连续的时候是很难计算的）。 同时，DQN是比较容易训练的：在 DQN 里面，你只要能够估计出Q函数，就保证你一定可以找到一个比较好的策略。也就是你只要能够估计出Q函数，就保证你可以改进策略。而估计Q函数这件事情，是比较容易的，因为它就是一个回归问题。在回归问题里面， 你可以轻易地知道模型学习得是不是越来越好，只要看那...
深度强化学习——DQN算法原理
weixin_44732379的博客
11-14 4万+
深度Q网络与Q学习的目标价值以及价值的更新方式都非常相似。主要的不同在于：深度Q网络将Q学习与深度学习结合，用深度网络来近似动作价值函数，而Q学习则是采用表格存储；深度Q网络采用经验回放的训练方式，从历史数据中随机采样，而Q学习直接采用下一个状态的数据进行学习。
Android的uiAutomator
u013234805的专栏
04-30 1193
除了对组成安卓应用的组件（例如：Activities，Services和Content Providers）进行单元测试，测试应用程序运行在设备上时的界面也很重要。UI测试确保应用在一系列用户操作后能产生正确的UI界面，例如：通过键盘输入，点击工具栏，菜单，对话框，图片或其他的UI控件。 功能测试或者黑盒测试不需要测试人员了解应用的内部实现细节，只要明白在执行一系列用户操作或输入后返回的U
深度强化学习（文献篇）—— 从 DQN、DDPG、NAF 到 A3C
TangowL
09-02 1万+
自己第一篇 paper 就是用 MDP 解决资源优化问题，想来那时写个东西真是艰难啊。 彼时倒没想到这个数学工具，如今会这么火，还衍生了新的领域——强化学习。当然现在研究的内容已有了很大拓展。 这段时间会做个深度强化学习的专题，包括基础理论、最新文献和实践三大部分。 ...
【学习强化学习】八、连续动作下的DQN设计
weixin_42301220的博客
03-05 989
文章目录参考资料思路1思路2思路34. 练习1. Q-learning相比于policy gradient based方法为什么训练起来效果更好，更平稳？ 参考资料 https://datawhalechina.github.io/easy-rl/#/chapter8/chapter8 思路1 a=arg⁡max⁡aQ(s,a)a=\arg \max _{a} Q(s, a) a=argamax​Q(s,a) 假设a是离散的，即a的可能性都是有限的。我们可以把每一个可能的动作都带到 Q 里面算它的 Q
深度强化学习必读文献
02-22
深度强化学习的入门经典文献： 包括DQN、DDPG、A3C/A2C/PPO/ACKTR等； 包括模仿学习，也包括几篇综述性的文章。
Android开发笔记 今天学到的一些属性
01-06
1.最后程序打包的时候，res文件夹中的文件只有用到的时候才会打包进去，而assets文件夹中的文件无论是否用到都要打包进去 2.安卓主要依靠xml文件来布局，否则textView多的时候布局起来会比较混乱 3.android：singleLine属性为true表示文本在一行显示 android：ellipsize属性：设置当文本过长时该如何显示（显示省略号）start、end、middle分别设置省略号的位置，marquee表示以跑马灯的形式展示 android：autoLink=“web/email/phone/all”设置超链 android:focusable=“true/false”
pytorchrl:在PyTorch中实施的深度强化学习算法
05-14
在pytorch中实施了深度强化学习。 该项目试图模仿rllab代码的结构，并偶尔从和借用代码 实施算法 在线的 DDPG（深度确定性策略梯度） NAF（归一化优势函数） 软Q学习（基于深度能量的策略） 批 TRPO（信任区域...
NAF-tensorflow:TensorFlow中的“基于模型的加速的连续深度Q学习”
04-30
TensorFlow中的归一化优势函数（NAF） 的TensorFlow实现。 要求 Python 2.7 0.9+ 用法 首先，使用以下命令安装必备组件： $ pip install tqdm gym[all] 要为具有连续动作空间的环境训练模型，请执行以下操作： $...
keras-rl：Keras的深度强化学习
02-04
keras-rl在Python中实现了一些最先进的深度强化学习算法，并与深度学习库无缝集成。 此外， keras-rl可与一起使用。 这意味着评估和使用不同算法很容易。 当然，您可以根据自己的需要扩展keras-rl 。 您可以使用...
chainerrl：ChainerRL是建立在Chainer之上的深度强化学习库
02-03
ChainerRL是一个深度强化学习库，它使用灵活的深度学习框架在Python中实现了各种最新的深度强化算法。 安装 ChainerRL已通过3.6测试。 有关其他要求，请参见 。 可以通过PyPI安装ChainerRL： pip install ...
深度学习中sarsa算法和Q-learning算法的区别
zhaoying9105的博客
06-12 9113
sarsa 和 Q-learning都是时序差分下对动作价值函数优化的单步方法，算法基本上一样，只有一点： 为了更新St的动作价值函数，需要St+1的动作价值函数，St+1具体是什么St+1是由上个episode决定了，但是St+1对应的action由什么决定呢？sarsa的处理方式是episinon + greedy，和St选择aciton采取的方法是一样的，称为 on-policy； Q-l
强化学习中的蒙特卡洛（monte-carlo）算法和时序差分算法
zhaoying9105的博客
06-12 6007
【未完成】蒙特卡洛特点周期性更新：一整个周期结束了（到达了终点）才回进行一个更新（更新所有经历过的state的value） 所以是无偏估计 First-Visit：第一个周期经历了 某个状态s，第二个周期也第一次经历了这个状态s，待第二个周期结束之后，计算出了第二个周期s对应的G值（G = 这一步的reward + 打折系数 ^ 1 * 下一步的reward + 打折系数 ^ 2 * 下下步的rew
from slbr_naf import SLBRNAF, SLBR
最新发布
05-18
SLBRNAF 和 SLBR 是两个不同的算法，虽然它们都与强化学习相关，但是它们的思想和实现方式不同。 SLBRNAF 是一种基于深度神经网络的强化学习算法，它使用神经网络来逼近一个值函数，同时使用线性回归来逼近一个动作函数。SLBRNAF 的核心思想是使用神经网络来表示值函数和动作函数，可以更好地适应大规模的状态空间和动作空间。 SLBR 是一种基于线性回归的强化学习算法，它使用线性回归来逼近一个值函数，同时使用线性回归来逼近一个动作函数。SLBR 的核心思想是利用线性回归的简单性和可解释性来适应小规模的状态空间和动作空间。 因此，从这个角度来看，SLBRNAF 和 SLBR 在算法思想和实现方式上有很大的区别。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值