A Distributional Perspective on Reinforcement Learning

最新推荐文章于 2024-06-02 18:21:33 发布
最新推荐文章于 2024-06-02 18:21:33 发布
阅读量417 收藏
点赞数
分类专栏： 强化学习 # 强化学习应用论文 # 强化学习经典文献 文章标签： 人工智能 机器学习 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zj_18706809267/article/details/126708601
版权

本文论证了值分布的基本重要性:强化学习智能体收到的随机回报的分布。这与强化学习的常见方法相反，后者对这种回报或价值的期望进行建模。尽管已经建立了研究价值分布的文献体系，但迄今为止，它一直被用于特定目的，如实施风险意识行为。我们从策略评估和控制设置的理论结果开始，暴露了后者中的显著分布不稳定性。然后从分布的角度设计了一种新的算法，该算法将Bellman方程应用于近似值分布的学习。使用Arcade学习环境中的一套游戏来评估该算法。获得了最先进的结果和轶事证据，证明了值分布在近似强化学习中的重要性。结合理论和经验证据，强调了值分布在近似环境下影响学习的方式。

The Distributional Bellman Operators 

 4. Approximate Distributional Learning

在本节中，我们提出一种基于分布式Bellman最优算子的算法。特别地，这需要选择一个近似分布。虽然之前也考虑过高斯分布(Morimura等人，2010a;Tamar et al.， 2016)，据我们所知，我们是第一个使用丰富的参数分布类。

4.1. Parametric Distribution

 阅读者总结：这篇论文想法比较直接，但是理解起来相对不是很容易，还需要阅读

西西弗的小蚂蚁
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《A Distributional Perspective on Reinforcement Learning》的理解
StreamRock的专栏
01-28 3048
参考： 1、《A Distributional Perspective on Reinforcement Learning》https://arxiv.org/abs/1707.06887 2、《Distributional Bellman and the C51 Algorithm》https://flyyufelix.github.io/2017/10/24/distributional-b...
A Distributional Perspective on Reinforcement Learning.pdf
09-02
关于A Distributional Perspective on Reinforcement Learning的原始论文，适合初学者对深度强化学习A Distributional Perspective on Reinforcement Learning的认识和了解
强化学习的学习之路（二十三）_2021-01-23：Distributional DQN：A Distributional Perspective on Reinforcement Learning
热爱可抵漫长岁月
02-26 886
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看CSDN的话可能还是喜欢短一点的文章，就把很多拆分开来了，目录我单独放在一篇单独的博客里面了。完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ 接下来的几个博客将会分享以下有关DQN算法及其改进，包括DQ
PaperNotes(13)-Conditional Image Generation with PixelCNN Decoders
sinat_40624829的博客
03-07 708
GANs模式坍塌问题相关文章1.MAD-GAN2.Unrolled GAN3.DRAGAN4.D2GAN5.InfoGAN6.Deligan7.EBGAN8.Maximum Entropy Generators for Energy-Based Models 从纳什均衡点来说模式坍塌问题：说有两种方案来解决模式坍塌： https://zhuanlan.zhihu.com/p/86683281：修改网络结构MAD-GAN。 https://zhuanlan.zhihu.com/p/84072188：提高网络能
【方法总结】值分布强化学习（Distributional RL）
深度强化学习实验室：一个“开源开放、共享共进”的强化学习学术组织。
01-13 6142
深度强化学习实验室官网：http://www.neurondance.com/来源：微软研究院AI头条授权转载编辑：DeepRL值分布强化学习（Distributional Reinfo...
Distributional Reinforcement Learning with Quantile Regression.pdf
09-02
Distributional Reinforcement Learning with Quantile Regression
Distributional-Soft-Actor-Critic
04-25
有关更多详细信息，请参见论文 视频： ： ；
保守离线分布强化学习_Conservative Offline Distributional Reinforcement Lea
01-21
保守离线分布强化学习_Conservative Offline Distributional Reinforcement Learning.pdf
A Quantum-Theoretic Approach to Distributional Semantics
03-12
A Quantum-Theoretic Approach to Distributional Semantics，分布式量子算法
强化学习新思潮1：值分布强化学习（01）
07-15 279
原文：https://zhuanlan.zhihu.com/p/65116688 经典强化学习： 在标准强化学习任务中，智能体与环境之间的交互作用常常建模为马尔科夫决策过程，本专栏的第一讲就是马尔科夫决策过程，不熟悉的读者可以到第一讲去看看。为了保证行文连贯性，这里再简单重复下马尔科夫决策过程。 马尔科夫决策过程可以用五元组来描述，即，其中和分别表示状态空间和动作空间，...
不动点理论在《A Distributional Perspective on Reinforcement Learning》上的应用
StreamRock的专栏
03-22 1461
Fixed point理论是 Banach Space 中重要的理论工具。它常被用来讨论某个空间解的存在性，并由此发展出通过迭代的方式进行问题求解的算法。在[1]中，Fixed Piont理论处于整个算法的核心位置，是以分布式Bellman方程代替期望值Bellman方程的理论基础。本文将分成两个部分浅析之：第一部分 Fixed Point的迭代算法介绍；第二部分 Distributional 算...
值分布强化学习
rl小透明
03-28 562
值分布强化学习 1.对比 传统强化学习 目标是为了优化累积回报，但是这个累积回报其实是一个随机变量 值分布强化学习 由于状态转移的随机性、状态表示的混叠效应，以及函数逼近的引入，智能体与环境之间存在着随机性，这就导致了折扣累计回报 [公式] 是一个随机变量，给定策略 [公式] 后，随机变量 [公式] 服从一个分布，这个分布我们称之为值分布。经典强化学习算法是优化值分布的均值，而忽略了整个分布所提供的信息。 用一个图来表示是这样的： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img
强化学习 Reinforcement Learning（七）—— 值分布强化学习算法 C51
wzduang的博客
03-02 3293
本文主要介绍值分布强化学习的一些基本概念，然后聊一聊值分布强化学习的开山之作 —— C51。
QUOTA——对分布强化学习的探索策略改进
weixin_41168254的博客
05-23 926
QUOTA：The Quantile Option Architecture for Reinforcement Learning 今天！我们要介绍的是来自于Alberta大学与华为诺亚实验室合作的一项研究，该研究是对分布强化学习中探索策略的一个改进，其中所蕴含的分布强化学习框架下的探索思想非常值得学习，可以说是大大拓展了我的视野。这里说个题外话，最近中美贸易摩擦导致华为遭到美国的严厉打击，众多科...
强化学习——学习笔记
qq_52302919的博客
05-27 1417
强化学习问题通常可以建模为一个马尔可夫决策过程，包括以下几个要素：1、状态集合 (State Set)：S；2、动作集合 (Action Set)：A；Ps′∣saPs′∣sa，描述在状态s下执行动作a后转移到状态s′s^′s′的概率；Rsas′Rsas′，描述在状态s 下执行动作a并转移到状态s′后获得的奖励。πa∣sπ (a∣s)πa∣s，描述智能体在状态s下选择动作a 的概率。
pytorch学习笔记5
最新发布
drarad的博客
06-02 825
前向钩子（forward hook）在模块的前向传播开始时触发，前向后钩子（forward pre-hook）在前向传播之前触发，反向钩子（backward hook）在反向传播过程中触发。总结来说，钩子提供了一种在 PyTorch 模型的执行过程中插入自定义代码的方法，使得用户可以灵活地调试、监控和扩展模型的功能。作用: 这是一个内部的 C 语言指针，指向张量在底层库（通常是 C++ 实现的 PyTorch 核心）中的具体数据结构。这些钩子可以在张量的梯度计算之前或之后执行自定义的操作。
AI开发初体验：昇腾加持，OrangePi AIpro 开发板
上周的博客
05-27 1346
因为工作需要，以及个人兴趣，本人经常购买开发板进行调试、学习，但具备AI计算的开发板，本人尚未体验过，究其原因，是因为自觉知识储备可能无法胜任AI的开发工作。然而，在体验了OrangePi AIpro 开发板之后，却大大改变了我的看法——AI时代，真的已经来临！OrangePi AIpro 开发板是香橙派联合华为精心打造的高性能 AI 开发板，其内置华为昇腾 AI 处理器，作为国产AI 芯片翘楚，实乃开发板的一大亮点！
AI推文神器，绘唐ai，文刻创作出品，sdmj二合一虹猫
2401_84285498的博客
05-28 611
然而，值得注意的是，AI推文神器虽然能够生成高质量的推文内容，但仍然需要人类的审查和修改。因为它虽然能够模仿人类的写作风格，但仍然无法完全理解人类的情感和语境，因此在使用AI推文神器时，人类编辑和审阅的角色仍然十分重要，以确保推文的准确性和符合品牌形象。AI推文神器的工作原理是通过自然语言处理和机器学习算法，将用户输入的关键词、主题或简要描述转化为语义信息，然后结合相关数据和模型，生成相应的推文内容。它通过分析大量的文字和数据，学习并模仿人类的写作风格和推文技巧，从而能够生成独特、有吸引力的推文内容。
qlearning改进
06-06
Distributional Q-learning通过引入分布函数来描述价值函数，可以更准确地展示不确定性信息，从而更好地应对不确定性问题。 以上是常见的一些Q学习改进方法，它们可以提高Q学习的学习效率、学习稳定性和泛化能力，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值